crawler のニューフェイス

Search Crawler

新しい検索サイト & 検索プロジェクトはどんどん生まれているようだ。新規に見つけた Web クローラーの足跡を記録しておく。

IRLbot/1.0 (+http://irl.cs.tamu.edu/crawler)
MJ12bot/v1.0.0 (http://majestic12.co.uk/bot.php?+)
NutchCVS/0.06-dev (Nutch; http://www.nutch.org/docs/en/bot.html; nutch-agent@lists.sourceforge.net)
UnChaos, From Chaos To Order, Hybrid Web Search Engine at http://www.unchaos.com (info@unchaos.com)