為什么站內沒有鏈接的私密性網頁，或需要訪問權限的網頁，也會被百度收錄？
2014-09-23 瀏覽：150
百度spider的訪問權限和普通用戶一樣的，因此，普通用戶沒有權限訪問的內容，spider也沒有訪問權限。之所以看上去某些訪問權限限制的內容被百度收錄，原因有兩點：
（1） 該內容在spider訪問時是沒有權限限制的，當抓取之后，內容的權限發(fā)生了變化。
（2） 該內容有權限限制，但是由于網站安全漏洞問題，導致用戶可以通過某些特殊路徑直接訪問。而一旦這樣的路徑被公布在互聯網上，則spider就會循著這條路徑抓出受限內容。
如果你不希望這些私密性內容被百度收錄，一方面可以通過robots協(xié)議加以限制；另一方面，也可以通過反饋中心反饋給我們進行解決。
上一條: 為什么被robots屏蔽的網站還會被百度收錄？
下一條: 百度是否支持crawl-delay，是否支持使用robots文件控制抓取頻率和時間？