discuz
discuz论坛的robots.txt文件设置
discuz论坛的robots.txt文件设置
User-agent: * Allow: /redirect.php Allow: /viewthread.php Allow: /forumdisplay.php Disallow: /? Disallow: /*.php
搜索引擎对robots.txt的支持情况
1. 对于allow 及 * $ 通佩符都支持,定义是一样的。
2.对于同一个User-agent 段内的 allow 和 disallow,匹配规则是不一样的。
google,baidu,sogou对于allow的优先级高,只要有allow允许,不管在段内什么位置,不管之前disallow设置如何,蜘蛛就会索引;
而live serch, yahoo对于allow和disallow的定义是平级的,按照从下到下的顺序只要匹配成功就退出。youdao未知
from:http://seo.banmutian.org/thread-2-1-1.html