crawler のニューフェイス

久しぶりだが自分の Web サーバーのアクセスログに残った Web クローラーの足跡を見て行こう。

NuSearch Spider www.nusearch.com

検索サイト NuSearch のクローラー

Tkensaku/1.02 (http://www.tkensaku.com/q.html)

検索エンジン TKENSAKU のロボット

samidare

五月雨 という Web サイトの更新時刻取得エージェント。

KnowItAll(knowitall@cs.washington.edu)

ワシントン大学の
Web 検索系プロジェクト のクローラーっぽい。