禁止搜索引擎收錄的方法
當(dāng)前位置：點(diǎn)晴教程→知識(shí)管理交流
→『 技術(shù)文檔交流 』
1.什么是robots.txt文件?
搜索引擎通過一種程序robot（又稱spider），自動(dòng)訪問互聯(lián)網(wǎng)上的網(wǎng)頁(yè)并獲取網(wǎng)頁(yè)信息。 您可以在您的網(wǎng)站中創(chuàng)建一個(gè)純文本文件robots.txt，在這個(gè)文件中聲明該網(wǎng)站中不想被robot訪問的部分，這樣，該網(wǎng)站的部分或全部?jī)?nèi)容就可以不被搜索引擎收錄了，或者指定搜索引擎只收錄指定的內(nèi)容。 2.robots.txt文件放在哪里? robots.txt文件應(yīng)該放在網(wǎng)站根目錄下。舉例來說，當(dāng)robots訪問一個(gè)網(wǎng)站（比如http://www.abc.com）時(shí)，首先會(huì)檢查該網(wǎng)站中是否存在http://www.abc.com/robots.txt這個(gè)文件，如果機(jī)器人找到這個(gè)文件，它就會(huì)根據(jù)這個(gè)文件的內(nèi)容，來確定它訪問權(quán)限的范圍。 3.robots.txt文件的格式 "robots.txt"文件包含一條或更多的記錄，這些記錄通過空行分開（以CR,CR/NL, or NL作為結(jié)束符），每一條記錄的格式如下所示： " 在該文件中可以使用#進(jìn)行注解，具體使用方法和UNIX中的慣例一樣。該文件中的記錄通常以一行或多行User-agent開始，后面加上若干Disallow行,詳細(xì)情況如下： User-agent: 該項(xiàng)的值用于描述搜索引擎robot的名字，在"robots.txt"文件中，如果有多條User-agent記錄說明有多個(gè)robot會(huì)受到該協(xié)議的限制，對(duì)該文件來說，至少要有一條User-agent記錄。如果該項(xiàng)的值設(shè)為*，則該協(xié)議對(duì)任何機(jī)器人均有效，在"robots.txt"文件中，"User-agent:*"這樣的記錄只能有一條。 Disallow: 該項(xiàng)的值用于描述不希望被訪問到的一個(gè)URL，這個(gè)URL可以是一條完整的路徑，也可以是部分的，任何以Disallow開頭的URL均不會(huì)被robot訪問到。例如"Disallow:/help"對(duì)/help.html 和/help/index.html都不允許搜索引擎訪問，而"Disallow:/help/"則允許robot訪問/help.html，而不能訪問/help/index.html。任何一條Disallow記錄為空，說明該網(wǎng)站的所有部分都允許被訪問，在"/robots.txt"文件中，至少要有一條Disallow記錄。如果"/robots.txt"是一個(gè)空文件，則對(duì)于所有的搜索引擎robot，該網(wǎng)站都是開放的。 4.robots.txt文件用法舉例  該文章在 2011/3/14 16:36:58 編輯過 |
關(guān)鍵字查詢
相關(guān)文章
正在查詢... 
|
400 186 1886
