このエントリーをはてなブックマークに追加 ツイート

robots.txtにXMLサイトマップを指定してYahoo!&Google検索に送信

Last Update : 2009/02/xx

2010年12月より、Yahoo! JAPANが提供するYahoo!検索は、Googleの検索データをそのまま利用するようになりました。

検索エンジンクローラー向けrobots.txt

  「robots.txt」は検索エンジンが情報を収集するクローラーの巡回をサイト管理者で制御できるファイルです。世界中のクローラーは、この「The Robots Exclusion Protocol」の規格に従わなければならないとされています。公式サイトはこちら(英語)。

 といういことで、このrobots.txtファイルにXMLサイトマップのファイルパスを指定しておくことで、検索エンジンに通知することも可能です。sitemaps.org準拠のXMLサイトマップファイルについては、こちらの「サイトマップの作成Yahoo!にサイトマップ登録Googleにサイトマップ登録」のページをチェックしてください。

 ちなみに、このrobots.txtファイルを用意できるのは、ホームページのURLアドレスがトップレベルドメインのサイト(ルートディレクトリを持つサイト)だけなのでご注意を。サブディレクトリタイプのホームページならウェブマスター向けのサイト管理ツールで送信します。

☆ うっかりスペルミスに注意! ⇒ ○robots.txt ×robot.txt

.

Sitemap Autodiscovery (robots.txtにXMLサイトマップ指定)

 2007年4月、「Yahoo!」(Yahoo! JAPAN)、「Google」、「Microsoft Bing」(旧Live Search)、「Ask.com」の4社は、このrobots.txtファイルにXMLサイトマップを指定できるパラメータをサポートすると発表しました。(日本の「Ask.jp」はYahoo!エンジン、後にロシアの検索エンジン「Yandex」もこの規格に参加)

 このパラメータは、「Sitemap Autodiscovery」(サイトマップ・オートディスカバリ)というそうな。

 書式は下のような感じで、XMLサイトマップのパス(URLアドレス)を指定しておきます。この指定1つで複数の検索エンジンに対してXMLサイトマップの送信通知ができるわけですな。

Sitemap: [URLアドレス]

.

(おまけ) 検索エンジンのrobots.txt

 各検索エンジンは「robots.txt」ファイルに何を記述してるんでしょ?

Yahoo! > http://www.yahoo.com/robots.txt
> http://www.yahoo.co.jp/robots.txt
Google > http://www.google.com/robots.txt
> http://www.google.co.jp/robots.txt
Microsoft Bing > http://www.bing.com/robots.txt

.

¤ 関連 : モバイルサイトマップ | 検索エンジン登録 | 一括PING送信 | Yahoo!に登録されない | 検索避けメタタグ

.

Copyright © 2005-2012 Kpan. All rights reserved.