2005-11-29から1日間の記事一覧

中国の Yahoo! Search は Web クローラーから別

11月17日より以下の User-Agent を持つ Web クローラーがページを取りにきている。 Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)ホストのIPは中国内にあるようだ。中国の Yahoo! の検索サービスは、ページのクローラ…

Web クローラーの User-Agent を偽証するアクセス?

User-Agent を見ると MSN Search のクローラーと同じ文字列だが、逆引きがドメイン名が胡散臭い。.gbl なんて Top Level Domain は知らんよ。 by1sch4041903.phx.gbl - - [29/Nov/2005:14:48:55 +0900] "GET /~nminoru/dvd/dvd_to_hdd.html HTTP/1.0" 200 21…