当サイトで生成している RSS（野良feed）：

dtpwiki.jpで提供しているサービス：

DTPWiki（DTP・印刷関連ドキュメント共有）
Planet DTP@jp（DTP・印刷従事者 blog最新投稿一覧）
Planet Inddscript（InDesign Script関連最新投稿一覧）
印刷会社はてなブックマークランキング（印刷企業番付）
印刷会社Twitterフォロワー数ランキング（印刷企業番付）
Windows JIS90/JIS2004確認Webアプリ
ドット絵メーカー（source）
EDGE Now!の覆面の中の人暴露（Source）
はてな牧場（説明）

« PS3の無償ダウンロードコンテンツはキャラの選択を間違えたと思う | トップページ | WordPressのUser-Agentを語るReferer spamもきていた »

2007.01.12

MT4iと百度（Baidu）クローラの相性問題、mod_securityによるアクセス拒否

MT4i ていう、MovableType が標準で持っていないケータイ閲覧機能を付けることができる CGI スクリプトがありまして、これがちょっと重めな CGI なんですけれども、これで公開されているケータイ用ページが、百度（Baidu）のクローラに取られてしまうと、短時間に集中して MT4i の CGI のプロセスが走ってしまって、ロードアベレージがやたら上がってしまうっていう現象が出てしまったんで、申し訳ないけれども、百度のクローラの User-Agent がきたら 406 出すように設定させてもらいました。

今回いらしたクローラのUser-Agent: Baiduspider+(+http://www.baidu.com/search/spider_jp.html)

どちらかというと、MT4i で展開されたケータイ用ページのリンク先がすべて MT4i を通ることになっているから起きる問題ではありますけれども。

mod_security 入れてある apache の httpd.conf あたりで、

<Files "mt4i.cgi">
    SecFilterEngine On
    SecFilterScanPOST On
    SecFilterDefaultAction "deny,log,status:406"
    SecFilterSelective HTTP_USER_AGENT "^Baiduspider"
</Files>

等とすることで対処しました。

（2007-01-12 23:14追記）

たねちゃんズ12: 百度(Baidu)酷過ぎるぞ！ [blog.tanechan.jp]

にて、ふつうの apache での Baidu 拒否の方法があります。

2007.01.12 午後 10:42 [Web] | 固定リンク