第 1 頁 (共 1 頁)
[問題] 咕狗大軍入侵
發表於 : 2005-08-13 11:53
由 MOTO CITY
站長們請 檢測 這個IP 66.249.65.42 就知道他是哪來的
來更新搜尋引擎的內容當然歡迎
不過也來的太過份了
幾乎每天造三餐來報到\r
一次都五六十組複製兵團
把網站砍的死死的
有必要這樣嗎?
若是您的站 您會封了他嗎?
發表於 : 2005-08-13 12:10
由 神川小羽
比較大型的站台的話，最好是限制他不要抓取你內部的文章資料
映象中，有可以讓他只到門口就抓抓網頁上面的標題段就離開的方法
不過我沒嘗試過，相關資料你可能要到辜狗的網站上找看看。
不過我是覺得辜狗雖然每天也是會光顧我家，不過沒啥感覺耶...
百度跟msn的比較變態的感覺....。
發表於 : 2005-08-13 12:27
由 Kill
百度不知道為什麼不會來我家
google倒是每天來
發表於 : 2005-08-13 23:19
由 bu
在.. 目錄下.. 放 robots.txt
代碼: 選擇全部
User-agent: *
Disallow: /
(我放了)
發表於 : 2005-08-14 12:59
由 MOTO CITY
bu 寫:在.. 目錄下.. 放 robots.txt
代碼: 選擇全部
User-agent: *
Disallow: /
(我放了)
發表於 : 2005-08-20 10:09
由 swbchen
有何作用???
發表於 : 2005-08-20 10:16
由 StickyKid
可以禁止搜尋引擎的機器人(robot)進入你的論壇抓資料
通常機器人一進來流量就會暴增，甚至破表
放robots.txt有好有壞
好處是「正常情況下」不會有流量暴增的問題
但相對的網站被放到搜尋引擎的機會也大大降低
來這個網站看看吧^__^"
下次有問題可以先上google或雅虎奇摩知識+找找\r
http://www.hkwebs.net/catalog/teach/setting/robots.php
發表於 : 2005-08-21 21:10
由 MOTO CITY
感謝StickyKid的分享\r
很受用的資料參考