1樓：匿名使用者
disallow: 後面就是跟的你禁止蜘蛛抓取的目錄或檔案 如果全部允許就寫/
2樓：聚名
robots 是站點與 spider 溝通的重要渠道，站點通過 robots 檔案宣告該**中不想被搜尋引擎收錄的部分或者指定搜尋引擎只收錄特定的部分。請注意，僅當您的**包含不希望被搜尋引擎收錄的內容時，才需要使用 robots.txt 檔案。
如果您希望搜尋引擎收錄**上所有內容，請勿建立 robots.txt 檔案。
robots 檔案往往放置於根目錄下，包含一條或更多的記錄，這些記錄通過空行分開（以 cr,cr/nl, or nl 作為結束符），每一條記錄的格式如下所示： :
在該檔案中可以使用#進行註解，具體使用方法和 unix 中的慣例一樣。該檔案中的記錄通常以一行或多行 user-agent 開始，後面加上若干 disallow 和 allow 行 , 詳細情況如下：
user-agent:該項的值用於描述搜尋引擎 robot 的名字。在 "robots.
txt" 檔案中，如果有多條- user-agent 記錄說明有多個 robot 會受到 "robots.txt" 的限制，對該檔案來說，至少要有一條 user-agent 記錄。如果該項的值設為 ，則對任何 robot 均有效，在 "robots.
txt" 檔案中，"user-agent:" 這樣的記錄只能有一條。如果在 "robots.
txt" 檔案中，加入 "user-agent:somebot" 和若干 disallow、allow 行，那麼名為 "somebot" 只受到 "user-agent:somebot" 後面的 disallow 和 allow 行的限制。
disallow:該項的值用於描述不希望被訪問的一組 url，這個值可以是一條完整的路徑，也可以是路徑的非空字首，以 disallow 項的值開頭的 url 不會被 robot 訪問。例如 "disallow:
/help" 禁止 robot 訪問
html，而 "disallow:/help/" 則允許 robot 訪問 /help.html、/helpabc.
html，不能訪問 /help/index.html。"disallow:
" 說明允許 robot 訪問該**的所有 url，在 "/robots.txt" 檔案中，至少要有一條 disallow 記錄。如果 "/robots.
txt" 不存在或者為空檔案，則對於所有的搜尋引擎 robot，該**都是開放的。
allow:該項的值用於描述希望被訪問的一組 url，與 disallow 項相似，這個值可以是一條完整的路徑，也可以是路徑的字首，以 allow 項的值開頭的 url 是允許 robot 訪問的。例如 "allow:
/hibaidu" 允許 robot 訪問
html。一個**的所有 url 預設是 allow 的，所以 allow 通常與 disallow 搭配使用，實現允許訪問一部分網頁同時禁止訪問其它所有 url 的功能。
使用 "*"and"$"：baiduspider 支援使用萬用字元 "" 和 "$" 來模糊匹配 url。 "" 匹配 0 或多個任意字元 "$" 匹配行結束符。
robots.txt怎麼寫？robots.txt怎麼設定
3樓：賁德桑詞
robots.txt的使用方法和詳細解釋
robots.txt對於大多數有**優化經驗抄的朋友來說並不算太陌生，用過的朋友肯定會有感受，設定好robots.txt對**優化來說利遠遠大於弊。
今天彭宇誠就與大家分享一下robots.txt的使用方法襲，希望對大家有所幫助。
我們先來認識一下什麼是robots.txt？
我理解的是robots.txt是通過**控制搜尋引擎蜘蛛索引的一個手段，百以便減輕**伺服器的頻寬使用率，從而讓**的空間更穩定，同時也可以提高**其他頁面的索引效率，提高**收錄。
下面我們再來熟悉一下怎樣使度用robots.txt？
首先，我們需要建立一個robots.txt文字檔案，然後在文件內設定好**，告訴搜尋引擎我**的哪些檔案你不能知訪問。然後上傳到**根目錄下面，因為當搜尋引擎蜘蛛在索引一個**時，會先爬行檢視**根目錄下是否有robots.
txt檔案。
robots.txt檔案內的**書寫規範我們也要注意，其中user-agent:*是必須存在的，表示對所有搜尋引擎蜘蛛有效。道disallow:是說明不允許索引哪些資料夾
一個新**，怎麼寫robots協議
4樓：天偉網路公司
user-agent: * 這裡的*代表copy的所有的搜尋引擎種類，bai*是一個通du配符
disallow: /admin/ 這裡定義是禁止爬尋
zhiadmin目錄dao下面的目錄
disallow: /require/ 這裡定義是禁止爬尋require目錄下面的目錄
disallow: /abc 這裡定義是禁止爬尋abc整個目錄
disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為字尾的url(包含子目錄)。
disallow: /*?* 禁止訪問**中所有的動態頁面
disallow: .jpg$ 禁止抓取網頁所有的.jpg格式的**
disallow:/ab/adc.html 禁止爬去ab資料夾下面的adc.html所有檔案
user-agent: * 這裡的*代表的所有的搜尋引擎種類，*是一個萬用字元
allow: /cgi-bin/ 這裡定義是允許爬尋cgi-bin目錄下面的目錄
allow: /tmp 這裡定義是允許爬尋tmp的整個目錄
allow: .htm$ 僅允許訪問以".htm"為字尾的url。
allow: .gif$ 允許抓取網頁和gif格式**robots.txt檔案用法舉例
怎麼撕掉標籤不留痕跡，玻璃餐具上的標籤怎樣不留痕跡的撕下來？
怎樣塑料標籤不留痕跡那當然是你把標籤扯下來後用清涼油或者洗潔洗潔精給標籤並進行再一次清理。玻璃餐具上的標籤怎樣不留痕跡的撕下來？如何去掉包裝產品上的標籤紙且不留痕跡 掉包裝產品上的標籤紙且不留痕跡需要準備 化妝棉 白醋。1 首先檢視一下產品上的標籤紙，具體見下圖。先把外面一層紙撕了，再在上面擦點油 ...
怎樣去除標籤殘留的膠水，怎麼才能去除撕標籤後殘留在物體表面的膠？
去除標籤留下的粘膠的方法是很多的。我們可以用抹布粘一些酒精擦拭再蹭幾下就乾淨了。還可以用丙酮進行擦拭這種比酒精更加的好用效果更好。還可以使用洗甲水效果也是不錯的洗甲水不要求 的或者一般的都是可以的。還有就是用護手霜也是可以的，先把表面的銀製品撕掉，還可以把護手霜擠一些在上面用大拇指搓搓，一會就能把粘...
男友在標籤上寫心如止水是什麼意思
從字面上看這個意思是，心裡很平靜，猶如一攤死水，毫無波瀾，心不受外界影響。這句話在過去一般都是形容得道高僧。但是現在社會的發現，人們受外界的影響越來越大，心境成熟的也比過去早的多。你男友用這句話形容自己的心境有兩種可能，一是，經歷的很多，但心理承受能力也很強，萬事都很看的開，用心如止水形容自己的心理...