2007年02月28日

[参考情報]GoogleBotの恐るべき食欲について

bots.gif

以前、GoogleBotが、いったいどの程度クローリングするのか調べていたことがありましたが、調べるための「えさ箱」を放置しておいたら、なんとレンタルサーバの転送上限値(Bandwidth Limit)10GBを超えてしまいました。

その他のbotは、割におとなしいようです。
awstatによれば、botの種類は、次の通り。

Googlebot
Inktomi Slurp
AskJeeves
MSNBot
Alexa (IA Archiver)
EchO!
Unknown robot (identified by 'spider')
Unknown robot (identified by 'crawl')
Unknown robot (identified by 'robot')
posted by TAKEJI at 04:57| Comment(0) | TrackBack(0) | 日記 | このブログの読者になる | 更新情報をチェックする
この記事へのコメント
コメントを書く
お名前:

メールアドレス:

ホームページアドレス:

コメント: [必須入力]

認証コード: [必須入力]


※画像の中の文字を半角で入力してください。
この記事へのトラックバックURL
http://blog.seesaa.jp/tb/34877201
※言及リンクのないトラックバックは受信されません。

この記事へのトラックバック

広告


この広告は60日以上更新がないブログに表示がされております。

以下のいずれかの方法で非表示にすることが可能です。

・記事の投稿、編集をおこなう
・マイブログの【設定】 > 【広告設定】 より、「60日間更新が無い場合」 の 「広告を表示しない」にチェックを入れて保存する。


×

この広告は1年以上新しい記事の投稿がないブログに表示されております。