robots是網(wǎng)站非常重要的一個指令,公司網(wǎng)站上線之前部署好非常重要。我們可以用這個指令告知搜索引擎哪些內(nèi)容是需要它們收錄的,哪些敏感信息是不需要它們收錄的。如下圖:
該指令意思就是:允許所有蜘蛛爬行網(wǎng)站,但是有些目錄做了限制。/*?*這個指令是禁止所有動態(tài)頁面被蜘蛛抓取到。(如果企業(yè)網(wǎng)站是純靜態(tài)編寫,這個指令是非常有用的??梢越鉀Q引擎重復(fù)收錄的煩惱和黑客攻擊流量的煩惱)。
網(wǎng)站運(yùn)維者在部署robots協(xié)議的時候一定要仔細(xì),防止所有頁面被引擎清空。小編就遇到這么一次,不小心設(shè)置了禁止所有引擎抓取網(wǎng)站,悲催的事情發(fā)生了——所有索引一夜之間消失。好在更新及時才挽回?fù)p失。下一次小編專門給大家講一下失誤是如何解決的,很實用。
最好是可以在站長robots工具進(jìn)行設(shè)置,很方便。工具地址大家在度娘搜索。今天就給大家講到這里,希望您收獲滿滿。中秋快樂!
【版權(quán)聲明】:本站內(nèi)容來自于與互聯(lián)網(wǎng)(注明原創(chuàng)稿件除外),供訪客免費(fèi)學(xué)習(xí)需要。如文章或圖像侵犯到您的權(quán)益,請及時告知,我們第一時間刪除處理!謝謝!