Google News日本語版はUser-Agentが“Wget”で始まると403

Tweet

D.T.P.+営業メモ - Google News日本語版でRSSフィードの提供を開始。さぁ何をする？ [d.hatena.ne.jp]

とりあえずこれのGoogle News版を作ろうと思います。ってwgetでRSS持ってこれねー。403エラーじゃー。なのでFeedBurner経由でRSSを持って来るという軟弱仕様。User-Agent見ているのかなぁ。

ご明察。

[cl@gates ~]$ wget http://news.google.com/  -O test.xml --user-agent="WWget/1.62"
--04:53:34--  http://news.google.com/
           => `test.xml'
news.google.com をDNSに問いあわせています... 72.14.203.104
news.google.com|72.14.203.104|:80 に接続しています... 接続しました。
HTTP による接続要求を送信しました、応答を待っています... 200 OK
長さ: 特定できません [text/html]
 
    [         <=>                                                                                  ] 135,510       68.45K/s             
 
04:53:37 (68.33 KB/s) - `test.xml' を保存しました [135510]
 
[cl@gates ~]$ wget http://news.google.com/  -O test.xml --user-agent="Wge"
--04:53:49--  http://news.google.com/
           => `test.xml'
news.google.com をDNSに問いあわせています... 72.14.203.104
news.google.com|72.14.203.104|:80 に接続しています... 接続しました。
HTTP による接続要求を送信しました、応答を待っています... 200 OK
長さ: 特定できません [text/html]
 
    [          <=>                                                                                 ] 135,354       59.70K/s             
 
04:53:52 (59.60 KB/s) - `test.xml' を保存しました [135354]
 
[cl@gates ~]$ wget http://news.google.com/  -O test.xml --user-agent="Wget"
--04:53:54--  http://news.google.com/
           => `test.xml'
news.google.com をDNSに問いあわせています... 72.14.203.104
news.google.com|72.14.203.104|:80 に接続しています... 接続しました。
HTTP による接続要求を送信しました、応答を待っています... 403 Forbidden
04:53:55 エラー 403: Forbidden。
 
[cl@gates ~]$ 

RSS 取得時も同様です。

2006.04.07 04:49 投稿　大野 義貴 [Web] | 固定リンク |