真是被百度網給氣死
一直收到系統商的EMAIL說我的BLOG站上的系統資源使用率太大,搞啥東西!我的站上我的站上天來的人數才三十個人,最好是會超過CPU使用率。
後來我去查詢了一下LOG檔,發現有一隻該死的蜘蛛(searchspider)在一直爬我的網頁抓東西,再看一下到底是哪一家沒有公德心的網路公司,結果是百度網,天阿他總共爬我的網頁達四萬多次,最好我是有這麼多資料可以給他抓,一氣之下我就寫了個 ROBOT.txt檔案去擋他,因為他抓我著麼多東西結果我看 REFFER 到我網頁的資料也沒有比較多,反而是 YAHOO!、GOOGLE還有MSN 都比他多好幾倍。
不管怎樣短期之內都不會再開放他的權限。
以下是我從網路上找來資料然後如法炮製寫出來的 REBOT.txt 檔,需要的人可以複製或者是去 GOOGLE 找一下寫法,寫完後把他存成 robot.txt 丟到你的根目錄下去就可以了,不過他可能要幾天後才會生效。
User-agent:baiduspider
Disallow: /
searchspider:泛指一些專門抓取你資料回去該公司主機存放的程式。
百度網