為什么站內(nèi)沒有鏈接的私密性網(wǎng)頁，或需要訪問權限的網(wǎng)頁，也會被百度收錄？

2014-09-23　瀏覽：150

百度spider的訪問權限和普通用戶一樣的，因此，普通用戶沒有權限訪問的內(nèi)容，spider也沒有訪問權限。之所以看上去某些訪問權限限制的內(nèi)容被百度收錄，原因有兩點：
（1） 該內(nèi)容在spider訪問時是沒有權限限制的，當抓取之后，內(nèi)容的權限發(fā)生了變化。
（2） 該內(nèi)容有權限限制，但是由于網(wǎng)站安全漏洞問題，導致用戶可以通過某些特殊路徑直接訪問。而一旦這樣的路徑被公布在互聯(lián)網(wǎng)上，則spider就會循著這條路徑抓出受限內(nèi)容。
如果你不希望這些私密性內(nèi)容被百度收錄，一方面可以通過robots協(xié)議加以限制；另一方面，也可以通過反饋中心反饋給我們進行解決。

上一條: 為什么被robots屏蔽的網(wǎng)站還會被百度收錄？
下一條: 百度是否支持crawl-delay，是否支持使用robots文件控制抓取頻率和時間？

新聞資訊

相關資訊