Yahoo! DE Slurp クローラー

　「Yahoo! DE Slurp」（ヤフー・ディーイー・スラープ）は、検索エンジンYahoo!（ヤフー）が放つウェブ巡回ロボットの１つです。

　Yahoo!は通常のウェブ検索向けに「Yahoo! Slurp」という米国発のクローラーを巡回させてます。一方、この「Yahoo! DE Slurp」は、日本でいうYahoo!カテゴリに登録したサイト専門にアクセスしてきます。Yahoo!カテゴリというのは、Yahoo! JAPANの中の人が審査をしてサイトを登録してきた日本最大級のリンク集です。このクローラーが巡回対象とするファイルは、登録した１ページ分だけです。「Yahoo! Slurp」のようにサイトの隅々を巡回したりはしません。

　このクローラーは、サイトの存在を確認するのも１つの目的なんでしょうが、実は収集したタイトル、スニペット（サイト説明文）、キャッシュなどのデータが、「Yahoo! Slurp」が巡回したデータを差し置いて、日本のYahoo! JAPANの検索結果にかな〜り早く反映されます。

　ただ、これは日本以外のYahoo!（たとえば米国など）の検索結果にはいっさい反映されず、通常の「Yahoo! Slurp」の巡回分のみです。Yahoo!が提供してるサイト管理ツールも同期した情報が提示されます。そのため、クロールの日付情報が日米のYahoo!検索で大きく異なる、なんてな現象も起こります。（日本のYahoo! JAPANから申し込んだら、日本のYahoo! JAPANの検索結果でのみ反映されるのが「Yahoo! DE Slurp」）

クローラーの違いによるYahoo!検索結果への反映
-----	Yahoo! Slurp	Yahoo! DE Slurp
・日本のYahoo! JAPANの検索結果 ・Yahoo!検索 サイトエクスプローラー	反映	反映
・米国Yahoo!など日本以外の検索結果 ・Yahoo! Site Explorer	反映	反映されず

　Yahoo!のヘルプには「Yahoo! DE Slurp」の記述はいっさい登場しません。「DE」が何を意味するかも不明です。日本のYahoo!カテゴリは本家アメリカでは「Yahoo! Directory」という名称なので、「Directory Edition」の略でしょうかねぇ・・・？

• クローラー （Yahoo!検索 インフォセンター）
• Yahoo!'s Web Crawler （Yahoo! Search Help）

　ちなみに、Yahoo!カテゴリに登録した場合の特権をいくつか挙げると下のようなところ。

• ウェブ検索に登録サイトのマーク（フォルダアイコン）が表示されるので少し目立つ。
  → ただ、デフォルトでは表示されないので、ユーザーが設定を変更する必要あり。
• 上で書いたように「Yahoo! DE Slurp」クローラーの巡回分が（日本の）検索結果に反映される。
• 静的なアンカータグによる被リンク・バックリンクが生まれる。
  → こういう風にYahoo!で調べてみるとOK。

site:http://dir.yahoo.co.jp/ link:(サイトのURLアドレス)

　アクセス解析（アクセスログ）をチェックすると、「*.inktomisearch.com」というIPアドレスからの訪問者。いったい何者よ・・・。結論から言えばYahoo!（ヤフー）です。2007年3月、「*.crawl.yahoo.net」というIPアドレスに移行することをYahoo! Search Blogにて発表してますが、たまーに来るようです。

　「Inktomi」（インク・ト・ミ / インク・トゥ・ミ）は、もともとサイトの検索エンジン技術を他社に販売（OEM）してたアメリカの会社です。昔のYahoo!、goo、MSN（Microsoft）なんかはInktomiの元顧客。

　2000年のドットコムバブル崩壊の打撃を受け経営は悪化、2002年12月にYahoo!が買収することを発表しました。現在Inktomiの公式サイト（http://www.inktomi.com/、現在アクセス不可）だったページにアクセスすると、そのままYahoo!のページへリダイレクトされます。

• 米Yahoo!が検索エンジンのInktomiを買収へ （INTERNET Watch）
• ヤフーがインクトゥミ買収、Google離れ進むか （＠IT）
• Yahooが検索エンジンを自社開発した理由 （CNET Japan）

　後に、Yahoo!は検索エンジン「AltaVisat」と「AlltheWeb」も買収してます。当時Yahoo!には、ウェブ検索にGoogleエンジンを採用してましたが、この買収で得た技術を元にした自社開発の検索エンジンへと切り替えます。Yahoo!やYahoo! JAPANで使われてる検索技術「Yahoo! Search Technology」（YST）がこれ。

　もともとInktomiはクローラーとして「Slurp」というロボットを巡回させてました。つまり、これが現在の「Yahoo! Slurp」になるんですな。かつてのSlurp紹介ページ（http://www.inktomi.com/slurp.html、現在アクセス不可）にアクセスすると、そのまま「Yahoo! Slurp」の紹介ページへリダイレクトされます。

• Inktomi's Web Robot Slurp [ WayBack Machineより ]

　ロボット排除プロトコルとしてMETAタグに指定するのロボット名は、今も昔も変わらず「Slurp」です。また、コンテンツ品質ガイドラインのページなんかは、ほとんど当時の文章のまんまです。「Inktomi Slurp」の血が「Yahoo! Slurp」にも流れてるんでしょうな。（＾＾

• Yahoo! Search Content Quality Guidelines （Yahoo! Search Help）
• Inktomi Content Guidelines [ WayBack Machineより ]

　Yahoo!に関連する巡回ロボットをいくつか・・・。まずは米国発のロボットたち。

• Yahoo! Slurp （crawl.yahoo.net） ... ウェブ検索
• Yahoo! DE Slurp （crawl.yahoo.net） ... ウェブ検索＋Yahoo!カテゴリ
• Yahoo-MMCrawler （search.*.yahoo.com） ... 画像検索
• Yahoo-MMAudVid ... 動画検索
• YahooSeeker/M1A1-R2D2 ... モバイル検索 （日本を除く世界向け）

　日本発の主なロボット。通常のウェブ検索のインデックスは米国のものを拝借してます。モバイル検索や動画検索は日本独自のインデックスです。

• Y!J-BSC （bsearch.ogk.yahoo.co.jp） ... ブログ検索
• Y!J-SRD （search.ogk.yahoo.co.jp） ... モバイル検索
• Y!J-MBS （search.ogk.yahoo.co.jp） ... モバイル検索＋Yahoo!カテゴリ
• Y!J-DSC （ogk.yahoo.co.jp/tnz.yahoo.co.jp） ... Yahoo!カテゴリ登録確認
• Y!J-BRK （crawler*.cmatch.shop.bbt.yahoo.co.jp） ... Yahoo!ショッピング
• Y!J-PSC ... 画像検索？
• Y!J-VSC/ViSe ... 動画検索？
• Y!J-NSC ... ニュース検索？
• Y!J-BRO/YFSJ ... YahooFeedSeekerJp

　中国雅虎（Yahoo! China）の運営会社アリババの管轄下にある中国発のロボット。政府の統制下、検閲がらみのためか中国のYahoo!は例外的に独自のクローリングによる検索インデックスを持ってます。

• Yahoo! Slurp China （crawl.yahoo.net） ... ウェブ検索 （中国向け）