| トップページ |

2008.04.17

EDGE Now! crawler User-Agent test

このエントリーをはてなブックマークに追加 mixiチェック

EDGE Now!は、紹介したURLの先のデータを取得して、HTMLであればtitle要素のところを取得し、EDGE Now!内部のDBに登録するわけですが、

http://labo.dtpwiki.jp/user_agent/user_agent.cgi

のような、アクセスしたブラウザ・bot・クローラのUser-Agentをtitle要素にするようなCGIを作って仕込んでおくと、EDGE Now!の次のクローリング時に、EDGE Now!のクローラ自身のUser-AgentをEDGE Now!にさらすことになるはずです。

というわけで次のクローリングで確認できたらスクリーンショットとってここに追記しようかなーと思っています。

なお、このCGIの中身については、

M.C.P.C.: SBMのロボットのUserAgent名が分かるCGIスクリプト

をどうぞ。


（2008-04-17 03:19追記）

お約束通り、EDGE Now!のクローラーがきたので、キャプチャをとってみました。

Edgenowuseragent
▲User-Agentがとれなかったようだ

これはこれでおもしろい結果。アドビともあろう企業が、User-Agent設定せずにクローラ作るわけ無いと思うし、これはどう判断したらいいんだろう。

2008.04.17 午前 01:45 [Web] | |

トラックバック

この記事のトラックバックURL:
http://app.cocolog-nifty.com/t/trackback/19018/40902168

この記事へのトラックバック一覧です: EDGE Now! crawler User-Agent test:

コメント

コメントを書く






検索


  • Google
    Web blog 内   

プロフィール

あわせて読みたい

カテゴリー

総エントリー数：3814

ﾅﾐﾓﾆ

  • PowerEdge T105

    • DELLのサーバ（意外に安価）。64bitLinux載っけるといいよね、ちょっと高くなるけどRAIDオプションとHDD２台構成にしておくと安心です。

最近のコメント

RSS

最近の記事

○○○

最近のトラックバック

バックナンバー

RSS 1.0 RSS 1.0
はてぶカウンタ++
スカウター : M.C.P.C. ―むり・くり―プラスコミュニケーション
フィードメーター - M.C.P.C.