crawler のニューフェイス

id:nminoru:20050119:p3 で見つけた ConveraCrawler だが、バージョンが上がって自分の所属を名乗るようになった。
準備中の検索サイトのクローラーのようだ。

ConveraCrawler/0.9d (+http://www.authoritativeweb.com/crawl)

フィンランドの検索サイトのクローラー。

HooWWWer/2.1.3 (debugging run) (+http://cosco.hiit.fi/search/hoowwwer/ | mailto:crawler-infohiit.fi)

Yahoo の検索サイトのクローラーの新バージョン？

YahooSeeker-Testing/v3.9 (compatible; Mozilla 4.0; MSIE 5.5; http://search.yahoo.com/)

リンク先に「aipbot は robots.txt を守ります。指定方法はカクカクシカジカ」という説明があるが、aipbot 自体が何なのかは不明。

aipbot/1.0 (aipbot; http://www.aipbot.com; ａｉｐｂｏｔ＠ａｉｐｂｏｔ．ｃｏｍ)

Java で書かれた Web クローラー messor。

messor.redants.net/3.0 (+http://messor.redants.net/; mailto:ｍｅｓｓｏｒ＠ｒｅｄａｎｔｓ．ｎｅｔ)