robots.txt中如何对不同域名设置不同？_百度知道
robots.txt中如何对不同域名设置不同？
com" target="_blank">www，要怎么做.是同一个网站。用的是同一个和<a href="http，siteB禁止比如有
求正确答案
其他类似问题
为您推荐：
域名的相关知识
等待您来回答
下载知道APP
随时随地咨询
出门在外也不愁怎么设置robots.txt或用其他方法屏蔽蜘蛛爬行抓取这个新开的二级域名下的旧版的url？
网站改版，旧版页面使用了新开了二级域名生成了新url，新版使用旧url，但因为www域名的跟目录，已存在roboots.txt，现需要屏蔽旧版的url，
一、百度站长平台使用改版工具（只针对百度，谷歌也类似的功能？不太清楚）二、旧版UR;包含目录的话，直接roboots.txt禁止抓取，或者在旧版网页头部增加301跳转到新版
已有帐号？
无法登录？
社交帐号登录搜索：问题、网站、SEOer人名
主域名的robots.txt 与同服务器下的二级域名共用一个robots 有什么影响？
意思也就是说，比如主域名 /robots.txt
主域名同服务器下面有多个二级域名，这些二级域名也能访问这个robots 是同一个robots
这是什么原因造成的呢，会有什么影响？急求解答。。
浏览: 1448发布于:
地图支持，robots也支持，没啥影响，主要是能被百度识别到。再说了，百度有啥规则啊，什么都是随机的，你写了robots也不一定不爬，你让他爬的他就是不爬，这就是百度。百度就欠强奸，有本事做黑帽，有流量有钱赚才是正道。
30天内搜外会员都在讨论什么
(5 个回答)
(9 个回答)
(9 个回答)
(14 个回答)
(12 个回答)
(9 个回答)
(9 个回答)
(8 个回答)
(7 个回答)
(2 个回答)
(2 个回答)
(2 个回答)
(6 个回答)
(5 个回答)
(3 个回答)
(1 个回答)
(5 个回答)
始于2007年 深圳市夫唯伙伴信息咨询有限公司 版权所有 | 粤ICP备号 | 粤公网安备0号nginx + varnish（2）
load different robots in the same one &server& block
location ~ /robots.txt
if ($host = &#39;first.domain&#39;) {
rewrite ^/robots\.txt /path/to/another/robots.
location ~ /robots.txt
~ .*nfancy.nl) {
rewrite ^/robots\.txt /nl_robots.
参考知识库
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：530691次
积分：16419
积分：16419
排名：第406名
原创：1109篇
转载：288篇
评论：57条
阅读：1507
(6)(22)(30)(48)(67)(60)(20)(11)(9)(12)(30)(14)(34)(18)(23)(22)(13)(21)(22)(41)(27)(39)(16)(22)(15)(26)(37)(42)(55)(23)(2)(5)(10)(15)(2)(1)(1)(1)(6)(2)(1)(10)(35)(17)(62)(13)(55)(61)(38)(162)(75)}