百度是否支持crawl-delay，是否支持使用robots文件控制抓取頻率和時間？
2014-09-23 瀏覽：150
User-agent：Sosospider
Crawl-delay：5
抓取時間和頻率限制是否支持呢？
可以在robots中的Crawl-delay中設置，這個參數是baidu spider對網站訪問頻率的重要參考信息之一，但spider系統(tǒng)會根據網站規(guī)模、質量、更新頻率等多方面信息綜合計算得出最終的執(zhí)行壓力，因此并不保證嚴格遵守Crawl-delay中的設置值。
上一條: 為什么站內沒有鏈接的私密性網頁，或需要訪問權限的網頁，也會被百度收錄？
下一條: 百度是否支持通過robots提交sitemap？