robots.txt是什麼

robots.txt基本介紹 

robots.txt是一個純文本文件，在這個文件中網站管理者可以聲明該網站中不想被robots訪問的部分，或者指定搜索引擎只收錄指定的內容。 

當一個搜索機器人（有的叫搜索蜘蛛）訪問一個站點時，它會首先檢查該站點根目錄下是否存在robots.txt，如果存在，搜索機器人就會按照該文件中的內容來確定訪問的范圍；如果該文件不存在，那麼搜索機器人就沿著鏈接抓取。 

另外，robots.txt必須放置在一個站點的根目錄下，而且文件名必須全部小寫。 

robots.txt寫作語法 

首先，我們來看一個robots.txt范例：http://www.csswebs.org/robots.txt 

訪問以上具體地址，我們可以看到robots.txt的具體內容如下： 

# Robots.txt file from http://www.csswebs.org 
# All robots will spider the domain 

User-agent: * 
Disallow: