| |||||||||||||||||||||||||||||||||||||||||||||||||
inktomisearch.com と inktomi.com はどう違うのでしょう? アクセスログのユーザエージェントを見ると、どちらも Yahoo! Slurp の文字があります。
以下は、私が管理しているサイトの28日のアクセスログの一部です。
時間:01:34:11
HN:lj1319.inktomisearch.com
UA:Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
時間:07:47:50
HN:reval2003.inktomi.com
UA:Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
時間:19:14:07
HN:dj1000.inktomisearch.com
UA:Mozilla/5.0 (compatible; Yahoo! DE Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
上記内容から2点気づくことがあります。
inktomi(インクトゥミ)とは、米Yahoo!が買収した検索エンジン会社なのですが、この会社の検索技術が、現在のYahoo!のロボット型検索エンジンのベースとなっています。
(検索エンジンのことを勉強するまで、inktomiなんて聞いたことも無かったです)
さて、1:34と19:14にやって来た inktomisearch.com のホスト名をよく見ると頭2文字が違います。「lj」と「dj」です。
情報検索したところ、su-jineの独り言のYST インデックス更新の記事で下記のようなことが書かれてありました。
lj****.inktomisearch.com がディープクロール用、fj****.inktomisearch.com がフレッシュクロール用と言う可能性がある。おーっと最初は思ったのですが、よく見ると su-jineさんのところは「lj」と「fj」。私のところは、「lj」と「dj」なので、ちょっと違う。
ユーザエージェントの文字列に「DE」があるか無いかだけですが、何か違うのでしょうか?
情報検索してみたところ、くれなずみBlogのyahooのクローラー:Yahoo! DE Slurpという記事で、下記のようなことが書かれてありました。
Yahoo! DE Slurpは、トップディレクトリーのみGETしているようでかつ、Yahooの登録サイトのみ対象にしているように思われます。
当ブログは、Yahoo!の登録サイトではないので、後半の仮説は違うようです。
確かに、上記 Yahoo! DE Slurp というクローラが訪れたサイトは、Yahoo!Japan ディレクトリに登録されています。
しかし残念ながら、今日調べたところでは、これ以上の情報は見つけられませんでした。
私の予想では、「DE」は「DEEP」の略で、これがディープクローラではないかと思っています。単純? (^^;
あっ、でもディレクトリに登録されているサイトに対するクローラならば、「DE」は「Directory Entry」の略なのかも。
誰か詳しい方教えてください。(笑)
それにしても、サイト画面に訪問者の使用ブラウザを表示するサイトが多く、YSTのクローラがキャッシュした情報には、「Yahoo! Slurp」の文字が残っていて、検索し辛いです。(笑)
一部、記事内容に誤りがありましたので、修正いたしました。
既に、記事をお読みになられた方、御免なさい。