robots.txtにサイトマップ指定

　このページでは、robots.txtファイルにサイトマップファイルを指定しておく方法を簡単に説明しましょう。検索エンジンのクローラーを対象としたサイトマップ（sitemaps.org準拠）のXMLファイルについては、こちらの「サイトマップの作成＆送信」のページをチェックしてください。

　robots.txtファイルは、ウェブマスター側が検索エンジンクローラーによるクローリング（ページ巡回）を制御できるシロモノです。世界中のクローラーは、これに必ず従わなければならないと決められてます。公式サイトはこちら（英語）。

• 特定のページ、キャッシュを検索結果から削除したい （Yahoo!検索 ヘルプ）
• robots.txt ファイルでサイトのアクセスを管理する （Googleウェブマスター向けヘルプセンター）

　ちなみに、このrobots.txtファイルを用意できるのは、ホームページのURLアドレスがトップレベルドメインのサイトだけなのでご注意を。（→ 参照、Yahoo!検索 ヘルプ）

　2007年4月、Yahoo!（Yahoo! JAPAN）、Google、Microsoft Live Search、Ask.com（Ask.jpはYahoo!エンジン）は、このrobots.txtファイルにサイトマップファイルを指定できるパラメータをサポートすると発表しました。このパラメータは、「Sitemap Autodiscovery」（サイトマップ・オートディスカバリ）というそうな。

• サイトマップの場所を robots.txt ファイルで指定 （sitermaps.org）
• サイトマップ（Sitemaps）のサポートについて （Yahoo!検索 ヘルプ）
• robots.txt ファイルでサイトマップの場所を〜 （Googleウェブマスター向けヘルプセンター）

　書式は下のような感じで、サイトマップファイルのアドレスを指定しておきます。この指定１つで検索エンジン４社に対してのサイトマップの送信通知ができるわけですな。作成したrobots.txtファイルは、ホームページのトップレベルにアップロードしといてください。

Sitemap: (URLアドレス)

• 「Sitemap:」の文字は大文字・小文字は特に関係なし。
• サイトマップファイルのURLアドレスは必ずフルパス指定。
  　（つまりは「http://」で始まり、末端は「*.xml」かGZIP形式で圧縮した「*.gz」）
• robots.txt内のどの行に指定してもOK。
• 指定パラメータを特定クローラーに制限する「user-agent:」は機能しない。
• 複数のサイトマップを指定したい場合は、次の行に同様のパラメータを指定していく。