MT4i ver.2などの重いCGIを時間制限で殺す設定

Tweet

百度（baidu）のクローラの凶悪さが公式に露呈して、改善されるっていうことなんで、もう用済みかと思ったけれども、同じようなクローラが来たときのためのメモ。

MT4i.cgi で公開するケータイ用のページですが、CGI によって新たなページのツリーが構成されてしまい、検索エンジンのクローラーが律儀にそれをたどってインデキシングをしようとしますから、そのたびに MT4i.cgi が起動しちゃうのですけれども、百度（baidu）は短時間に集中してアクセスしようとしますので、プチ DoS 攻撃になっちまっていたわけです。

つうわけで、短時間に集中して起動するので、メモリ不足になってスラッシングを起こさないようにしなきゃいけないので、httpd.conf で、MT4i.cgi があるディレクトリ向けにこんなディレクティブを入れましょう。

<Directory "/var/www/html/mt4i">
  RLimitCPU 10
</Directory>

これで、該当ディレクトリにある 10 秒間で終了しなかった CGI は殺されますので、クローラが多い日も安心です。

ちなみに、プロセスが殺されたときに core を吐くので注意。しゃれで設定値を 1 にしたら見る見るディレクトリ内がコアダンプの海になってしまいました。

2007.02.24 16:16 投稿　大野 義貴 [Web] | 固定リンク |