このエントリーをはてなブックマークに追加 ツイート

Yahoo! DE Slurp クローラー

Last Update : 2008/06/xx

このページは古い情報が一部に含まれてます。Yahoo! JAPANが運営するYahoo!検索は2010年12月からGoogleの検索データを利用してます。

検索エンジンのウェブ巡回ロボット「Yahoo! DE Slurp」

 「Yahoo! DE Slurp」(ヤフー・ディーイー・スラープ)は、検索エンジンYahoo!(ヤフー)が放つウェブ巡回ロボットの1つです。

 Yahoo!は通常のウェブ検索向けに「Yahoo! Slurp」という米国発のクローラーを巡回させてます。一方、この「Yahoo! DE Slurp」は、日本でいうYahoo!カテゴリに登録したサイト専門にアクセスしてきます。Yahoo!カテゴリというのは、Yahoo! JAPANの中の人が審査をしてサイトを登録してきた日本最大級のリンク集です。このクローラーが巡回対象とするファイルは、登録した1ページ分だけです。「Yahoo! Slurp」のようにサイトの隅々を巡回したりはしません。

 このクローラーは、サイトの存在を確認するのも1つの目的なんでしょうが、実は収集したタイトル、スニペット(サイト説明文)、キャッシュなどのデータが、「Yahoo! Slurp」が巡回したデータを差し置いて、日本のYahoo! JAPANの検索結果にかな〜り早く反映されます。

 ただ、これは日本以外のYahoo!(たとえば米国など)の検索結果にはいっさい反映されず、通常の「Yahoo! Slurp」の巡回分のみです。Yahoo!が提供してるサイト管理ツールも同期した情報が提示されます。そのため、クロールの日付情報が日米のYahoo!検索で大きく異なる、なんてな現象も起こります。(日本のYahoo! JAPANから申し込んだら、日本のYahoo! JAPANの検索結果でのみ反映されるのが「Yahoo! DE Slurp」)

クローラーの違いによるYahoo!検索結果への反映
----- Yahoo! Slurp Yahoo! DE Slurp
日本のYahoo! JAPANの検索結果
Yahoo!検索 サイトエクスプローラー
反映 反映
米国Yahoo!など日本以外の検索結果
Yahoo! Site Explorer
反映 反映されず

 Yahoo!のヘルプには「Yahoo! DE Slurp」の記述はいっさい登場しません。「DE」が何を意味するかも不明です。日本のYahoo!カテゴリは本家アメリカでは「Yahoo! Directory」という名称なので、「Directory Edition」の略でしょうかねぇ・・・?

 ちなみに、Yahoo!カテゴリに登録した場合の特権をいくつか挙げると下のようなところ。

site:http://dir.yahoo.co.jp/ link:(サイトのURLアドレス)

.

(おまけ) inktomisearch.com ってナニ?

 アクセス解析(アクセスログ)をチェックすると、「*.inktomisearch.com」というIPアドレスからの訪問者。いったい何者よ・・・。結論から言えばYahoo!(ヤフー)です。2007年3月、「*.crawl.yahoo.net」というIPアドレスに移行することをYahoo! Search Blogにて発表してますが、たまーに来るようです。

 「Inktomi」(インク・ト・ミ / インク・トゥ・ミ)は、もともとサイトの検索エンジン技術を他社に販売(OEM)してたアメリカの会社です。昔のYahoo!、goo、MSN(Microsoft)なんかはInktomiの元顧客。

 2000年のドットコムバブル崩壊の打撃を受け経営は悪化、2002年12月にYahoo!が買収することを発表しました。現在Inktomiの公式サイト(http://www.inktomi.com/、現在アクセス不可)だったページにアクセスすると、そのままYahoo!のページへリダイレクトされます。

 後に、Yahoo!は検索エンジン「AltaVisat」と「AlltheWeb」も買収してます。当時Yahoo!には、ウェブ検索にGoogleエンジンを採用してましたが、この買収で得た技術を元にした自社開発の検索エンジンへと切り替えます。Yahoo!やYahoo! JAPANで使われてる検索技術「Yahoo! Search Technology」(YST)がこれ。

 もともとInktomiはクローラーとして「Slurp」というロボットを巡回させてました。つまり、これが現在の「Yahoo! Slurp」になるんですな。かつてのSlurp紹介ページ(http://www.inktomi.com/slurp.html、現在アクセス不可)にアクセスすると、そのまま「Yahoo! Slurp」の紹介ページへリダイレクトされます。

 ロボット排除プロトコルとしてMETAタグに指定するのロボット名は、今も昔も変わらず「Slurp」です。また、コンテンツ品質ガイドラインのページなんかは、ほとんど当時の文章のまんまです。「Inktomi Slurp」の血が「Yahoo! Slurp」にも流れてるんでしょうな。(^^

.

(おまけ) Yahoo!関連クローラー

 Yahoo!に関連する巡回ロボットをいくつか・・・。まずは米国発のロボットたち。

 日本発の主なロボット。通常のウェブ検索のインデックスは米国のものを拝借してます。モバイル検索や動画検索は日本独自のインデックスです。

 中国雅虎(Yahoo! China)の運営会社アリババの管轄下にある中国発のロボット。政府の統制下、検閲がらみのためか中国のYahoo!は例外的に独自のクローリングによる検索インデックスを持ってます。

.

コンピュータ・インターネットの書籍 (Amazon.co.jp)

¤ 関連 : 検索エンジン登録 | ロボット拒否メタタグ | Crawl-delay | サイトマップの作成 | Yahoo!に登録されない | 画像検索

.

Copyright © 2005-2012 Kpan. All rights reserved.