Search
http://digg.com/links/Google_Now_Supports_UPC_Code_Lookup米 Google がアメリカでバーコードなどに使われている UPC コードの検索を追加したようだ。 日本だと JAN-13 になるけど対応してくれるのかしら？
念願かなって自分の Web サイトにトラックバッカーを貼り付けることができた (12/11の日記)。ところでこの貼り付けには C 言語で作った自作 SSI 用コマンドを使っているのだが、トラックバック関連のリンクは最初から A 要素に rel="nofollow" を付けるよう…
11月17日より以下の User-Agent を持つ Web クローラーがページを取りにきている。 Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)ホストのIPは中国内にあるようだ。中国の Yahoo! の検索サービスは、ページのクローラ…
id:nminoru:20050119:p3 で見つけた ConveraCrawler だが、バージョンが上がって自分の所属を名乗るようになった。 準備中の検索サイトのクローラーのようだ。 ConveraCrawler/0.9d (+http://www.authoritativeweb.com/crawl)フィンランドの検索サイトのクロ…
CydralSpider/1.9 (Cydral Web Image Search; http://www.cydral.com)Cydral という画像とサイトの検索サイトのロボットのようだ。 Cydral の検索をすると主要な検索エンジン (Google、Yahoo!、Ask Jeeves、Fast、Dir) でキャッシュされているかどうかもリス…
BruinBot (+http://webarchive.cs.ucla.edu/bruinbot.html)UCLA 大の Web 検索エンジンのプロトタイプ
新しい検索サイト & 検索プロジェクトはどんどん生まれているようだ。新規に見つけた Web クローラーの足跡を記録しておく。 IRLbot/1.0 (+http://irl.cs.tamu.edu/crawler) MJ12bot/v1.0.0 (http://majestic12.co.uk/bot.php?+) NutchCVS/0.06-dev (Nutch; …
久しぶりだが自分の Web サーバーのアクセスログに残った Web クローラーの足跡を見て行こう。 NuSearch Spider www.nusearch.com検索サイト NuSearch のクローラー Tkensaku/1.02 (http://www.tkensaku.com/q.html)検索エンジン TKENSAKU のロボット samida…
Ocelli/1.3 (http://www.globalspec.com/Ocelli)検索エンジンサイト GlobalSpec のクローラー。 GlobalSpec はエンジニアリング Web のための検索を謳っており、「製品」、「特許」、「標準仕様」といった分類から検索ができるようだ。ただし日本語非対応。
毎度、毎度おなじみの新顔クローラーの User-agent。 "appie 1.1 (www.walhello.com)"ミニ google を目指す検索サイトのクローラー (Appie spider というらしい) みたい。
地図会社の 米KeyHole社 を買収した Google に先んじて、Amazon が地図検索サービスのベータ版を提供とのこと。http://a9.com/coffeeキーワードに連動して地図と近隣の写真が表示されるようだ。
Google がコメントスパムによってリンクファームを作り、Web 検索エンジンの結果に影響を与えようとする手法への対応策を提案している。A タグの rel 属性に nofollow が指定されている場合、検索エンジンはそのリンクを手繰らない(カウントしない) というも…
新しい User-Agent を発見。国立国会図書館のデジタルアーカイブ用の Web ロボットのようだ。 "ndl-japan-research-robot-1.1 (http://www.ndl.go.jp/jp/aboutus/bulkresearch2004/index.html)(http://e-public.nttdata.co.jp/bulkresearch2004/index.html)"…
Apache のログに見慣れない crawler を User-Agent を二つ発見。 一つは 当サイト では 1/6 の 15:43 に出現した新顔で、User-Agent は以下のようになっている。 "ichiro/1.0 (ｉｃｈｉｒｏ@ＮＴＴＲ.ＣＯ.ＪＰ)"*1id:nminoru:20041230#p1 と同様に画像ファ…
Apache のログに新顔の crawler を発見。 当サイト では 12/3 から画像ファイルも含めて広くページを収集している。 "gazz/5.0 (ＧＡＺＺ@ＮＴＴＲ.ＣＯ.ＪＰ)"*1メールアドレスから判断すると NTTレゾナントという会社の crawler のようだ。goo 用かしら？ …
Apache のログに新顔の crawler を発見。 11/27 からイメージファイルのあるディレクトリを中心にファイルを引っ張っているが、何故だかイメージファイルそのものを GET していない。 psbot/0.1 (+http://www.picsearch.com/bot.html)
Amazon の携帯向けサイトで、商品バーコードの EAN-13/JAN-13 による商品検索が可能になった。Amazon Web Services(AWS) が Amazon E-Commerce Service(ECS) 4.0 になって EAN-13/JAN-13 による検索ができるようになっていたので、こういうサービスが出てく…
Apache のログに新顔のクローラーを発見。アンテナサービスの巡回ロボットのようだ。 "Comaneci_bot/1.2 (+http://help.i-know.jp/?crawler)"
http://www.itmedia.co.jp/news/articles/0411/12/news022.htmlMicrosoft の新しい検索エンジン が公開された。いろいろ検索語をいれてみるが 当方のホームページ はあまり引っかからない。http://www.itmedia.co.jp/news/articles/0411/12/news011.html新し…
Web 上で英語のシソーラス(類語辞典) の検索サービスを公開しているサイト。自分の Web ページに取り付けられる検索BOXも公開されている。 Thesaurus.com という名前と、運用されている URL がずれているのがいい味出している。
いろんな所で話題に出ているが、Google が衛星写真を使った地図ソフトメーカーのKeyhole を買収した。Keyhole が出しているのはデスクトップアプリケーションのようだが、Google としてはid:nminoru:20041023#p1 で紹介した Karte:Schweiz のような地図サー…
スイス全土をカバーする国土地図。人工衛星からの写真を使って1メートルぐらいの解像度まで迫れる。 スイス人曰く「もっと細かくできるけど (そういうのを公開すると) 安全保障上 (まずいので) やってない」そうな。 かなり細かい道路まで認識されていて、こ…
新顔の User-Agent。新手の Web 検索サイトでした。 "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; Girafabot; girafabot at girafa dot com; http://www.girafa.com)"
http://www.google.co.jp/nwshp?hl=ja&tab=wn
http://blogwatcher.pi.titech.ac.jp/アクセスログに blogWatcher_Spider/0.1 (http://www.lr.pi.titech.ac.jp/blogwatcher/) という見慣れない User-Agent が残っていて気づいたが、東工大の奥村研究室がやっている blog に特化した検索エンジンの crawler …
