上一篇我們提到： 今天我們來說說新都網(wǎng)站推廣蜘蛛池做seo優(yōu)化排名推廣的文章，說白了，蜘蛛池就是一組由垃圾域名組成的網(wǎng)站。 每個站點下都會生成大量頁面（一堆文本內容相互組合），頁面模板與普通網(wǎng)頁沒有太大區(qū)別。 由于每個站點都有大量的頁面，整個站點組的蜘蛛抓取總量也是巨大的。 未收錄頁面引入蜘蛛就是在站群正常頁面的模板中單獨
接下來我們進入今天的正文:今天新都網(wǎng)站建設公司無意中發(fā)現(xiàn)我的兩個站點的訪問速度都很慢。 登錄阿里云查看ECS服務器后，發(fā)現(xiàn)CPU使用率經常達到99-100%。 看了日志，發(fā)現(xiàn)yisouspider（一只蜘蛛，應該是現(xiàn)在的蜘蛛在瘋狂爬行，即使我在robots.txt中設置了禁止爬行的路徑，它們也在爬行。如果是凌晨爬行，我 不說了，原來是光天化日之下瘋狂爬，分分鐘就可以癱瘓我們的網(wǎng)站，我發(fā)現(xiàn)很多人都在吐槽這個yisouspider，新都網(wǎng)站建設公司Yisou爬行如何屏蔽一搜蜘蛛訪問網(wǎng)站了啦？最后的解決辦法就是直接禁止yisouspider的爬取和訪問。
robots.txt必須放在網(wǎng)站根目錄下，且文件名要小寫。
具體寫法：
1) 完全禁止yisouspider抓?。?/p>
User-agent: yisouspider
Disallow: /
2) 禁止yisouspider抓取指定目錄
User-agent: yisouspider
Disallow: /update
Disallow: /history
禁止抓取update、history目錄下網(wǎng)頁
以上就是新都網(wǎng)站建設公司Yisou爬行如何屏蔽一搜蜘蛛訪問網(wǎng)站的處理辦法。
掃一掃，瀏覽關注本文
功夫螞蟻餐飲火鍋加盟網(wǎng)站建設
新文必生印務、印刷網(wǎng)站建設、包裝網(wǎng)站建設
嬰之皇/孕嬰/母嬰連鎖加盟/網(wǎng)站建設
宏冠服飾網(wǎng)站建設
晉沙匯川服裝定制網(wǎng)站建設
金鹿凱斯服飾/服裝網(wǎng)站建設
天翊裝飾網(wǎng)站建設
五菱電動觀光車網(wǎng)站建設
網(wǎng)站以定制，訂制服裝網(wǎng)站建設為主的關鍵詞，網(wǎng)站全新的以HTML5框架定制設計，整站目錄清新明了，利于網(wǎng)站優(yōu)化，搜索引擎蜘蛛爬行···
成都印刷網(wǎng)站建設,成都印刷廠網(wǎng)站設計,成都畫冊印刷網(wǎng)站制作,成都畫冊制作網(wǎng)站建設,成都印刷廠家網(wǎng)站建設,四川印刷網(wǎng)站建設,四川···
網(wǎng)站以HTML5制作，pc+wap網(wǎng)站制作自動跳轉。關鍵詞：五菱觀光車網(wǎng)站建設,五菱巡邏車網(wǎng)站建設,封閉電動巡邏車網(wǎng)站建設,封閉電動觀···
功夫螞蟻是一家專注于麻辣燙,火鍋,串串香行業(yè)的優(yōu)質餐飲連鎖加盟公司。提供火鍋串串香加盟免費指導、火鍋加盟店選址等,讓您在加盟···
金鹿凱斯服飾/服裝網(wǎng)站建設以html5響應式一體化設計制作，手機端自動響應，高端大氣上次，關鍵詞：成都職業(yè)裝網(wǎng)站建設,成都職業(yè)裝···
掃碼訪問手機網(wǎng)站
版權所有 Copyright ? 2007-2025 四川冠辰科技開發(fā)有限公司 
川公安網(wǎng)備案：51010602001006號
地址：四川省成都市金牛區(qū)五福橋東路229號龍湖北城天街28棟903 蜀ICP備11012605號-1
始于2007年，十五年品牌網(wǎng)站建設,值得信賴!
手機
官網(wǎng)
掃碼訪問手機官網(wǎng)
