Yahoo! DE Slurp

　検索エンジンYahoo!（ヤフー）が放つページ収集ロボットです。

　Yahoo!はウェブ検索用に「Yahoo! Slurp」というクローラーを巡回させてますが、この「Yahoo! DE Slurp」は日本のYahoo!カテゴリに登録したサイト（登録したページ）専門にアクセスしてきます。クローラーの運営管理はどちらもアメリカのYahoo!です。

　「Yahoo! DE Slurp」が収集したタイトルやスニペット（サイト説明文）などのデータは、「Yahoo! Slurp」の巡回を差し置いて、日本の検索結果にかな〜り早く反映されます。ただ、日本以外のYahoo!ではこれは反映されず、「Yahoo! Slurp」の巡回分のみです。

　Yahoo!のヘルプには「Yahoo! DE Slurp」の情報はまったく掲載されてません。「DE」が何を意味するかは不明です。日本のYahoo!カテゴリは本家アメリカでは「Yahoo! Directory」という名称なので「Directory Edition」とか？？？

• サイト管理者向けヘルプ （Yahoo!検索 ヘルプ）
• Yahoo!'s Web Crawler （Yahoo! Search Help）

　アクセス解析（アクセスログ）をチェックすると、「*.inktomisearch.com」というIPアドレスからの訪問者。いったい何者よ・・・。結論から言えばYahoo!（ヤフー）です。2007年3月、「*.crawl.yahoo.net」というIPアドレスに移行することをYahoo! Search Blogにて発表してますが、たまーに来るようです。

　「Inktomi」（インク・ト・ミ / インク・トゥ・ミ）は、もともとウェブサイトの検索エンジン技術を他社に販売してたアメリカの会社です。昔のYahoo!、goo、MSN（Microsoft）なんかはInktomiの元顧客。2000年のドットコムバブル崩壊の打撃を受け経営は悪化、2002年12月にYahoo!が買収することを発表しました。現在Inktomiの公式サイト（http://www.inktomi.com/）だったページにアクセスすると、そのままYahoo!のページへリダイレクトされます。

• 米Yahoo!が検索エンジンのInktomiを買収へ （INTERNET Watch）
• ヤフーがインクトゥミ買収、Google離れ進むか （＠IT）
• Yahooが検索エンジンを自社開発した理由 （CNET Japan）

　後に、Yahoo!は検索エンジン「AltaVisat」と「AlltheWeb」も買収してます。当時Yahoo!には、ウェブ検索にGoogleエンジンを採用してましたが、この買収で得た技術を元にした自社開発の検索エンジンへと切り替えます。Yahoo!やYahoo! JAPANで使われてる検索技術「Yahoo! Search Technology」（YST）がこれ。

　もともとInktomiはクローラーとして「Slurp」というロボットを巡回させてました。つまり、これが現在の「Yahoo! Slurp」になるんですな。かつてのSlurp紹介ページ（http://www.inktomi.com/slurp.html）にアクセスすると、そのまま「Yahoo! Slurp」の紹介ページへリダイレクトされます。

• Inktomi's Web Robot Slurp [ WayBack Machineより ]

　ロボット排除プロトコルとしてMETAタグに指定するのNAME属性は、今も昔も変わらず「Slurp」。単純にクローラー名を変えただけではないでしょうが、影響は受けてるはずです。品質ガイドラインのページなんかは、ほとんど当時の文章のままですな。（＾＾;

• Yahoo! Search Content Quality Guidelines （Yahoo! Search Help）
• Inktomi Content Guidelines [ WayBack Machineより ]

　Googleの圧倒的なシェアに対抗して、MicrosoftによるYahoo!買収騒動・・・そして2006年6月にそれは失敗に終わり、GoogleとYahoo!は広告分野において提携へ。