robots.txtにXMLサイトマップを指定してYahoo!＆Google検索に送信

　　「robots.txt」は検索エンジンが情報を収集するクローラーの巡回をサイト管理者で制御できるファイルです。世界中のクローラーは、この「The Robots Exclusion Protocol」の規格に従わなければならないとされています。公式サイトはこちら（英語）。

　といういことで、このrobots.txtファイルにXMLサイトマップのファイルパスを指定しておくことで、検索エンジンに通知することも可能です。sitemaps.org準拠のXMLサイトマップファイルについては、こちらの「サイトマップの作成」「Yahoo!にサイトマップ登録」「Googleにサイトマップ登録」のページをチェックしてください。

• robots.txtとは？ （Yahoo!検索 インフォセンター）
• robots.txt ファイルを使用してページをブロックまたは削除する （Googleウェブマスター向けヘルプセンター）

　ちなみに、このrobots.txtファイルを用意できるのは、ホームページのURLアドレスがトップレベルドメインのサイト（ルートディレクトリを持つサイト）だけなのでご注意を。サブディレクトリタイプのホームページならウェブマスター向けのサイト管理ツールで送信します。

☆ うっかりスペルミスに注意！ ⇒ ○robots.txt　×robot.txt

　2007年4月、「Yahoo!」（Yahoo! JAPAN）、「Google」、「Microsoft Bing」（旧Live Search）、「Ask.com」の４社は、このrobots.txtファイルにXMLサイトマップを指定できるパラメータをサポートすると発表しました。（日本の「Ask.jp」はYahoo!エンジン、後にロシアの検索エンジン「Yandex」もこの規格に参加）

　このパラメータは、「Sitemap Autodiscovery」（サイトマップ・オートディスカバリ）というそうな。

• サイトマップの場所を robots.txt ファイルで指定 （sitermaps.org）
• サイトマップによる効率的な巡回 （Yahoo!検索 インフォセンター）

　書式は下のような感じで、XMLサイトマップのパス（URLアドレス）を指定しておきます。この指定１つで複数の検索エンジンに対してXMLサイトマップの送信通知ができるわけですな。

Sitemap: [URLアドレス]

• 「Sitemap:」の文字は大文字・小文字は特に関係なし。
• XMLサイトマップファイルのURLアドレスは、必ずフルパス（完全なパス）で指定。
  → 「http:// 〜」で始まり、末端は「〜 /*.xml」かGZIP形式で圧縮した「〜 /*.gz」
• robots.txt内のどの行に指定してもOK。
• 指定パラメータを特定クローラーに制限する「user-agent:」はいっさい機能しない。
• 送信通知したいXMLサイトマップファイルが複数ある場合は、同様のパラメータを次の行に記述していく。

　各検索エンジンは「robots.txt」ファイルに何を記述してるんでしょ？

Yahoo!	> http://www.yahoo.com/robots.txt > http://www.yahoo.co.jp/robots.txt
Google	> http://www.google.com/robots.txt > http://www.google.co.jp/robots.txt
Microsoft Bing	> http://www.bing.com/robots.txt