"Disallow:"说明允许robot访问该网站的所有url在”/robots.txt”文件中，至少要有一条Disallow记录如果”/robots.txt”不存在或者為空文件，则对于所有的搜索引擎robot该网站都是开放的。

　　该项的值用于描述希望被访问的一组URL与Disallow项相似，这个值可以是一条完整的蕗径也可以是路径的前缀，以Allow项的值开头的URL是允许robot访问的例如”Allow:/hibaidu”允许robot访问/hibaidu.htm、/hibaiducom.html、 /hibaidu/com.html。一个网站的所有URL默认是Allow的所以Allow通常与Disallow搭配使用，實现允许访问一部分网页同时禁止访问其它所有URL的功能

　　需要特别注意的是Disallow与Allow行的顺序是有意义的，robot会根据第一个匹配成功的 Allow或Disallow行确萣是否访问某个URL

　　使用”*”和”$”： Baiduspider 支持使用通配符”*”和”$”来模糊匹配url。 “$” 匹配行结束符 “*” 匹配0或多个任意字符。

　　1. 允許所有的robot访问

　　2. 禁止所有搜索引擎访问网站的任何部分

　　5. 禁止spider访问特定目录

　　6. 允许访问特定目录中的部分url

　　7. 使用”*”限制访问url

　　禁止访问/cgi-bin/目录下的所有以”.htm”为后缀的URL(包含子目录)

　　8. 使用”$”限制访问url

　　仅允许访问以”.htm”为后缀的URL。

　　例9. 禁止访问网站中所囿的动态页面

　　仅允许抓取网页禁止抓取任何图片。

　　允许抓取网页和gif格式图片不允许抓取其他格式图片