[閒聊]搜尋引擎真的很煩

文章由 **yuei** » 2007-02-13 07:43

網站不斷被百度跟google掃到資料庫掛掉
封鎖ip也沒用,robots.txt也沒用
誰能提供根絕搜尋引擎bot的好辦法呀呀呀

文章由 **ckmarkhsu** » 2007-02-16 21:05

最近一直很常看到，封鎖IP也沒用

我一直非常疑惑，難道 spider 會欺騙防火牆XD?

明明我就可以，很顯然是你們封鎖錯了:p

文章由 **chiouss** » 2007-02-17 08:23

ckmarkhsu 寫:最近一直很常看到，封鎖IP也沒用
我一直非常疑惑，難道 spider 會欺騙防火牆XD?
明明我就可以，很顯然是你們封鎖錯了:p

因為現在 spider 變聰明了，會用 proxy 上網，鎖一個 class C 也可以換另一個 XD
所以我都擋 User-Agent...

至於用 robots.txt 嘛...你認為土匪來你家會先按門鈴嗎？想也知道當然不會嘛

文章由 **sashow** » 2007-04-08 19:21

chiouss 寫:
ckmarkhsu 寫:最近一直很常看到，封鎖IP也沒用
我一直非常疑惑，難道 spider 會欺騙防火牆XD?
明明我就可以，很顯然是你們封鎖錯了:p
因為現在 spider 變聰明了，會用 proxy 上網，鎖一個 class C 也可以換另一個 XD
所以我都擋 User-Agent...

至於用 robots.txt 嘛...你認為土匪來你家會先按門鈴嗎？想也知道當然不會嘛

我爬過文了, 但仍找不到相關詳細方法, "擋 User-Agent", 即是要如何做呢?
可以教教我嗎? 謝謝.

文章由 **進藤光** » 2007-04-09 01:00

你沒爬對地方... XD

在 phpBB 裡面封鎖 IP 是沒用的啦～～

文章由 **sashow** » 2007-04-09 01:05

進藤光寫:你沒爬對地方... XD
在 phpBB 裡面封鎖 IP 是沒用的啦～～

所以我就是在問如何"擋 User-Agent"的方法?
我沒有問在phpBB 裡面封鎖 IP, 就知沒有用.

文章由 **Meowmeow** » 2007-04-09 18:38

為何Google就對我網站不理不睬呢？

文章由 **sashow** » 2007-04-09 22:47

sashow 寫:
chiouss 寫:
ckmarkhsu 寫:最近一直很常看到，封鎖IP也沒用
我一直非常疑惑，難道 spider 會欺騙防火牆XD?
明明我就可以，很顯然是你們封鎖錯了:p
因為現在 spider 變聰明了，會用 proxy 上網，鎖一個 class C 也可以換另一個 XD
所以我都擋 User-Agent...

至於用 robots.txt 嘛...你認為土匪來你家會先按門鈴嗎？想也知道當然不會嘛

我爬過文了, 但仍找不到相關詳細方法, "擋 User-Agent", 即是要如何做呢?
可以教教我嗎? 謝謝.

自問自答：
我找到這了這個方法
http://www.robotstxt.org/wc/exclusion-admin.html
不知是否就是大家所言建議有效的"擋 user-agent" 的方法?
就是這麼簡單嗎?

文章由 **chiangww** » 2007-04-13 14:18

擋 user-agent 跟 robots.txt 無關的，剛好我也一篇介紹，請參考這裡.

文章由 **chison** » 2007-04-17 01:35

GOOGLE 的好像可以登記你的網站,要不要宣傳云云~~?

文章由 **Meowmeow** » 2007-04-17 17:33

我早就登記多次了。

文章由 **DVDplayer** » 2007-05-26 00:30

Meowmeow 寫:我早就登記多次了。

我也是，而且現在我的站莫名其妙的會擋住google

我安裝google analytic 很多功能都被自己的站擋住，無法使用