Metaクローラーによる全記事RSSおよびサイト構造の取得

アクセス観測
  1. 観測事実

2026年2月19日、当サーバーにおいて meta-externalagent/1.1 による網羅的なアクセスを確認した。

User-Agent:
meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)
※Meta Platformsが運用する、リンク共有およびコンテンツ把握用のクローラー。

  1. 主要な取得リソース

クローラーは、以下の主要なRSSフィード（XML）を取得し、サイトの全容をスキャンした。

・GET /retiredlog/posts/index.xml（ステータス：200、サイズ：255,996 byte）
・GET /weblog/posts/index.xml（ステータス：200、サイズ：2,520,979 byte）

これにより、当ブログに存在する全記事のリストおよび、短文記事についてはRSS内に含まれる全文データが取得されたものと判断される。

  1. アクセス・シーケンス（巡回の流れ）

当該クローラーは、一足飛びに全記事リストへ到達したわけではなく、以下のディレクトリおよびリソースを経由する構造探索プロセスを経て、最終的に全記事RSSへ到達している。

① 構造探索: /categories/, /tags/, /archives/ の各インデックス取得
② 階層巡回: /page/2/ 等のアーカイブページへの順次アクセス
③ 主要データ取得: 上記プロセス完了後、posts/index.xml の全件取得を実行

  1. ログ挙動に基づく技術的推測

ログに記録されたアクセスパターンから、以下の用途が推定される。

① SNS共有時のプレビュー生成:

FacebookやInstagram等のMetaサービス上でURLが投稿された際、OGP情報（タイトル、説明文、画像）を生成するための標準的なプレビュー取得。
RSSの取得は、複数のURLを効率的に把握する手段として機能する。

② インデックス作成およびキャッシュ構築:

投稿時の即時展開や、重複URLの検出、リンクの安全性判定をMeta側で一元管理するため、サイト内の全URLを事前に収集・リスト化するプロセス。

③ セキュリティ評価:

リンク先がマルウェア配布やフィッシングに関与していないかを、広範囲の巡回によって機械的に評価するセキュリティチェックの一環。

  1. 現時点での評価

以下の挙動は確認されていない。

・個別記事HTMLの異常な大量取得（全ページクロール）
・短時間での過剰なリクエスト送出によるサーバー負荷

したがって、現時点での挙動は 「Meta系共有クローラーによるサイト構造の把握およびRSSによるコンテンツ取得」 の範囲内であり、通常のクローラー挙動として評価できる・・・が、しかし
殆どアクセスのない自宅サーバーの個人サイトに対し、このように執拗な記事取得を試みようとするのは、ほぼ間違いなく去年7月から続く監視のようなアクセス絡みであると推測される。
記事全文を持って行ったのだから、これで満足するのだろうか。

以下、アクセスログ抜粋

57.141.2.67 - - [19/Feb/2026:07:03:05 +0900] "GET /retiredlog/categories/raspberry-pi-linux/index.xml HTTP/1.1" 200 103736 "-" "meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)"
57.141.2.61 - - [19/Feb/2026:07:04:10 +0900] "GET /weblog/tags/index.xml HTTP/1.1" 200 4111 "-" "meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)"
57.141.2.18 - - [19/Feb/2026:07:06:19 +0900] "GET /weblog/categories/%E3%83%A2%E3%83%90%E3%82%A4%E3%83%AB%E3%81%8B%E3%82%89%E7%8B%AC%E3%82%8A%E8%A8%80/index.xml HTTP/1.1" 200 991941 "-" "meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)"
57.141.2.17 - - [19/Feb/2026:07:06:21 +0900] "GET /retiredlog/categories/%E6%97%A5%E5%B8%B8%E3%81%AE%E5%87%BA%E6%9D%A5%E4%BA%8B/page/2/ HTTP/1.1" 200 24676 "-" "meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)"
57.141.2.46 - - [19/Feb/2026:07:06:57 +0900] "GET /retiredlog/categories/%E9%9B%91%E8%A8%98/page/2/ HTTP/1.1" 200 20281 "-" "meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)"
57.141.2.8 - - [19/Feb/2026:07:08:00 +0900] "GET /weblog/Media/ALBUM/2007/07_08_13/ HTTP/1.1" 404 3842 "-" "meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)"
57.141.2.17 - - [19/Feb/2026:07:08:07 +0900] "GET /weblog/categories/%E3%81%9D%E3%81%AE%E4%BB%96/index.xml HTTP/1.1" 200 8414 "-" "meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)"
57.141.2.32 - - [19/Feb/2026:07:12:26 +0900] "GET /weblog/Media/ALBUM/2007/07_05_02/sent/070502.html HTTP/1.1" 404 3842 "-" "meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)"
57.141.2.45 - - [19/Feb/2026:08:46:13 +0900] "GET /retiredlog/archives/index.xml HTTP/1.1" 200 4155 "-" "meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)"
57.141.2.22 - - [19/Feb/2026:08:59:08 +0900] "GET /weblog/posts/2007-07-16-133720/4547479549174 HTTP/1.1" 404 3842 "-" "meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)"
57.141.2.54 - - [19/Feb/2026:09:01:38 +0900] "GET /retiredlog/categories/index.xml HTTP/1.1" 200 5972 "-" "meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)"
57.141.2.63 - - [19/Feb/2026:09:03:14 +0900] "GET /retiredlog/categories/%E6%97%A5%E5%B8%B8%E3%81%AE%E5%87%BA%E6%9D%A5%E4%BA%8B/index.xml HTTP/1.1" 200 25055 "-" "meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)"
57.141.2.11 - - [19/Feb/2026:09:37:38 +0900] "GET /weblog/categories/raspberry-pi-linux/page/2/ HTTP/1.1" 200 73809 "-" "meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)"
57.141.2.63 - - [19/Feb/2026:09:45:49 +0900] "GET /weblog/categories/%E6%97%A5%E8%A8%98/index.xml HTTP/1.1" 200 263980 "-" "meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)"
57.141.2.2 - - [19/Feb/2026:09:47:10 +0900] "GET /weblog/categories/index.xml HTTP/1.1" 200 6914 "-" "meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)"
57.141.2.51 - - [19/Feb/2026:09:52:33 +0900] "GET /weblog/categories/%E6%97%A5%E8%A8%98/page/2/ HTTP/1.1" 200 61389 "-" "meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)"
57.141.2.15 - - [19/Feb/2026:10:01:56 +0900] "GET /retiredlog/tags/index.xml HTTP/1.1" 200 4125 "-" "meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)"
57.141.2.38 - - [19/Feb/2026:10:13:38 +0900] "GET /retiredlog/categories/%E3%82%A2%E3%82%AF%E3%82%BB%E3%82%B9%E8%A6%B3%E6%B8%AC/index.xml HTTP/1.1" 200 46167 "-" "meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)"
57.141.2.18 - - [19/Feb/2026:10:17:08 +0900] "GET /weblog/archives/index.xml HTTP/1.1" 200 4141 "-" "meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)"
57.141.2.55 - - [19/Feb/2026:10:19:04 +0900] "GET /weblog/categories/%E4%BC%91%E6%97%A5%E3%81%AE%E9%A2%A8%E6%99%AF/page/2/ HTTP/1.1" 200 63434 "-" "meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)"
57.141.2.11 - - [19/Feb/2026:11:25:20 +0900] "GET /retiredlog/posts/index.xml HTTP/1.1" 200 255996 "-" "meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)"
57.141.2.25 - - [19/Feb/2026:11:43:56 +0900] "GET /weblog/categories/%E6%97%A5%E8%A8%98 HTTP/1.1" 301 3986 "-" "meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)"
57.141.2.4 - - [19/Feb/2026:12:08:48 +0900] "GET /weblog/posts/index.xml HTTP/1.1" 200 2520979 "-" "meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)"
57.141.2.17 - - [19/Feb/2026:13:03:26 +0900] "GET /weblog/categories/%E3%83%A2%E3%83%90%E3%82%A4%E3%83%AB%E3%81%8B%E3%82%89%E7%8B%AC%E3%82%8A%E8%A8%80/page/2/ HTTP/1.1" 200 56732 "-" "meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)"
57.141.2.25 - - [19/Feb/2026:13:22:41 +0900] "GET /weblog/categories/%E9%9B%91%E8%A8%98/page/2/ HTTP/1.1" 200 70782 "-" "meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)"

この二つで全記事
57.141.2.11 - - [19/Feb/2026:11:25:20 +0900] "GET /retiredlog/posts/index.xml HTTP/1.1" 200 255996 "-" "meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)"
57.141.2.4 - - [19/Feb/2026:12:08:48 +0900] "GET /weblog/posts/index.xml HTTP/1.1" 200 2520979 "-" "meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)"