1、編輯代碼如下Useragent *Disallow 網(wǎng)頁代碼方法 在網(wǎng)站首頁代碼與之間，加入代碼，此標(biāo)記禁止搜索引擎抓取網(wǎng)站并顯示網(wǎng)頁快照在網(wǎng)站首頁代碼與之間，加入即可禁止百度搜索引擎抓取網(wǎng)站并顯示網(wǎng)頁快照在網(wǎng)站首頁代碼與之間，加入即可禁止谷歌搜索引擎抓取網(wǎng)站并顯示網(wǎng)頁快照。

2、3聯(lián)系百度管理人員，信箱地址為webmaster@baiducom，用網(wǎng)站聯(lián)系人信箱發(fā)電郵，如實說明刪除網(wǎng)頁快照的情況，經(jīng)百度核實后，網(wǎng)頁停止收錄抓取4登陸百度自己的“百度快照”帖吧和“百度投訴”帖吧，發(fā)個帖子，表明刪除網(wǎng)頁收錄網(wǎng)站快照的原因，當(dāng)百度管理人員，看到會給予處理如何禁止Google搜索引擎收錄。

3、UseragentDisallow css Disallow admin 禁止所有搜索引擎訪問css 和admin 目錄，將CSS或admin目錄修改為你指定的文件目錄或文件即可第二種網(wǎng)頁代碼方法 與之間，加入代碼，此標(biāo)記禁止搜索引擎抓取網(wǎng)站并顯示網(wǎng)頁快照注已經(jīng)加了禁止代碼，但是搜索引擎還可以搜索出來，因為搜索引擎索引數(shù)據(jù)庫。

4、可以將該內(nèi)容添加nofollow標(biāo)簽，格式如下內(nèi)容。

5、方法一1 第一種方法需要我們使用robotstxt屏蔽百度蜘蛛抓取下圖所示頁面2 屏蔽效果如下圖所示3 除此以外，我們也可以通過使用robotsMeta標(biāo)簽，屏蔽搜索引擎抓取，在頭部加入下圖紅框所圈代碼即可4 屏蔽代碼如下圖所示方法二1 通過使用htaccess，將下圖紅框所圈代碼屏蔽2 然后再。

6、在網(wǎng)頁代碼與的之間，加入nofollow屬性如果是超鏈接，就是標(biāo)簽里加入rel=quotnofollowquot即可。

7、1登錄wordpress網(wǎng)站后臺 2進(jìn)入wordpress后臺后，點擊“設(shè)置”按鈕 3然后再點擊“閱讀”4然后找到“建議搜索引擎不索引本站點”前面的框框，然后勾選這個框框，然后點擊“保存更改”即可 二上傳robots文件的方式 1先在本地創(chuàng)建一個robots文件robotstxt 2然后在robots文件里面寫入靜止搜索引擎抓取。

8、沒有針對搜索引擎的屏蔽代碼如果不想網(wǎng)站內(nèi)容被搜索引擎抓取就在網(wǎng)站根目錄建立一個robotstxt文件內(nèi)容填寫為UseragentDisallow 如果只是要屏蔽百度搜索蜘蛛，那就是 Useragentbaiduspider Disallow 把這個文件放入根目錄，搜索引擎會遵循協(xié)議，不再去抓取網(wǎng)站的內(nèi)容了。

9、比如允許百度收錄，按如下的方式寫Useragent baiduspider DisallowUseragentDisallow 5禁止搜索引擎訪問某些目錄 UseragentDisallow cgibin Disallow tmp Disallow images 使用方法很簡單，將代碼存為一個文本文件，命名為Robotstxt ，放在網(wǎng)頁根目錄即可。

10、原來在目錄為158下的所有鏈接，因為目錄地址的改變，現(xiàn)在都變成死鏈接了，那么我們可以用robotstxt把他屏蔽掉Disallow 158 3屏蔽動態(tài)的相似頁面 假設(shè)以下這兩個鏈接，內(nèi)容其實差不多XXX？123123html我們要屏掉XXX？123 頁面，代碼如下Disallow XXX？ 4告訴搜索引擎你的。

11、基本語法示例如下UseragentDisallow 上述代碼表示禁止所有搜索引擎抓取網(wǎng)站任何內(nèi)容若要允許所有頁面被抓取，只需刪除或保留一個空的robotstxt文件允許特定搜索引擎抓取時，需要在Useragent后指定搜索引擎名稱以下是robotstxt文件的不同寫法及其用途1 禁止所有搜索引擎抓取任何頁面User。

12、在網(wǎng)站的根目錄下上傳robots文件禁止百度抓取網(wǎng)站所有頁面robots文件的寫法新建一個TXT文檔，命名為robots，雙擊打開，輸入以下內(nèi)容保存Useragent Baiduspider Disallow 擴(kuò)展Baiduspider是指百度蜘蛛，不讓百度抓取，如果是不希望所有的搜索引擎比如還有360，搜狗，谷歌等抓取，可把Baiduspider。

13、三禁止某個目錄被搜索引擎蜘蛛抓取，設(shè)置代碼如下UseragentDisallow 目錄名字1 Disallow 目錄名字2 Disallow 目錄名字3 把目錄名字改為你想要禁止的目錄即可禁止搜索引擎蜘蛛抓取，目錄名字未寫表示可以被搜索引擎抓取四禁止某個目錄被某個搜索引擎蜘蛛抓取，設(shè)置代碼如下Useragent。

14、如果只是禁止某一個搜索引擎抓取收錄網(wǎng)站的某一個目錄，比如要禁止百度抓取收錄jinzhi目錄，則如圖設(shè)置保存文件后，把文件上傳到服務(wù)器根目錄，即表示搜索引擎和網(wǎng)站之間的協(xié)議生效，可以禁止搜索引擎抓取收錄網(wǎng)站內(nèi)容5 除了設(shè)置robots協(xié)議之外，還可以在網(wǎng)頁代碼里面設(shè)置在網(wǎng)頁之間加入代碼表示緊致所有。

15、403狀態(tài)碼象征著一個明確的拒絕信號，它表示訪問被禁止或者不被允許當(dāng)遇到這個代碼時，意味著網(wǎng)站可能設(shè)置了權(quán)限限制，或者網(wǎng)頁內(nèi)容當(dāng)前不對外公開百度搜索引擎在遇到403返回碼時，會采取一定的策略對于新發(fā)現(xiàn)的鏈接，蜘蛛會暫時不抓取，等待一段時間后再重新嘗試訪問對于已收錄的鏈接，即使被禁止訪問。

16、MJ12bot蜘蛛可能影響較小，因其主要服務(wù)于國際用戶但該蜘蛛的抓取操作仍會輕度增加服務(wù)器負(fù)擔(dān)，特別是在高流量時段，影響可能更為明顯若不希望在網(wǎng)站日志中出現(xiàn)MJ12bot蜘蛛的訪問記錄，可直接在robotstxt文件中將其屏蔽由于MJ12bot蜘蛛遵循robots協(xié)議，此操作即可實現(xiàn)對其的屏蔽屏蔽代碼如下。