EDGE Now! crawler User-Agent test

Tweet

EDGE Now!は、紹介したURLの先のデータを取得して、HTMLであればtitle要素のところを取得し、EDGE Now!内部のDBに登録するわけですが、

http://labo.dtpwiki.jp/user_agent/user_agent.cgi

のような、アクセスしたブラウザ・bot・クローラのUser-Agentをtitle要素にするようなCGIを作って仕込んでおくと、EDGE Now!の次のクローリング時に、EDGE Now!のクローラ自身のUser-AgentをEDGE Now!にさらすことになるはずです。

というわけで次のクローリングで確認できたらスクリーンショットとってここに追記しようかなーと思っています。

なお、このCGIの中身については、

M.C.P.C.: SBMのロボットのUserAgent名が分かるCGIスクリプト

をどうぞ。

（2008-04-17 03:19追記）

お約束通り、EDGE Now!のクローラーがきたので、キャプチャをとってみました。

▲User-Agentがとれなかったようだ

これはこれでおもしろい結果。アドビともあろう企業が、User-Agent設定せずにクローラ作るわけ無いと思うし、これはどう判断したらいいんだろう。

2008.04.17 01:45 投稿　大野 義貴 [Web] | 固定リンク |