大豬隨手記

真是被百度網給氣死

一直收到系統商的EMAIL說我的BLOG站上的系統資源使用率太大,搞啥東西!我的站上我的站上天來的人數才三十個人,最好是會超過CPU使用率。

後來我去查詢了一下LOG檔,發現有一隻該死的蜘蛛(searchspider)在一直爬我的網頁抓東西,再看一下到底是哪一家沒有公德心的網路公司,結果是百度網,天阿他總共爬我的網頁達四萬多次,最好我是有這麼多資料可以給他抓,一氣之下我就寫了個 ROBOT.txt檔案去擋他,因為他抓我著麼多東西結果我看 REFFER 到我網頁的資料也沒有比較多,反而是 YAHOO!、GOOGLE還有MSN 都比他多好幾倍。

不管怎樣短期之內都不會再開放他的權限。

以下是我從網路上找來資料然後如法炮製寫出來的 REBOT.txt 檔,需要的人可以複製或者是去 GOOGLE 找一下寫法,寫完後把他存成 robot.txt 丟到你的根目錄下去就可以了,不過他可能要幾天後才會生效。

User-agent:baiduspider
Disallow: /

searchspider:泛指一些專門抓取你資料回去該公司主機存放的程式。
百度網

Leave a Reply

Your email address will not be published. Required fields are marked *