集权重法之—-蜘蛛抓取协议（robots）

26群，军军规范蜘蛛换取网站的页面，有利于网站权重集中和网站的整体平分。User-agent: *Disallow: /login/用户登录页面，无质量的权限页面。Disallow: /reg/ 用户注册帐号页面， 无质量的权限页面。Disallow: /fabu/用户发布信息的页面，无质量又不需要用来排名的页面。Disallow: /grgz/用户发面信息细分页面，无质量又不需要用来排名的页面。Disallow: /qypz/用户发面信息细分页面，无质量又不需要用来排名的页面。Disallow: /zjpz/ 用户发面信息细分页面，无质量又不需要用来排名的页面。Disallow: /qypz/用户发面信息细分页面，无质量又不需要用来排名的页面。Disallow: /zzfw/用户发面信息细分页面，无质量又不需要用来排名的页面。Disallow: /pxxx/用户发面信息细分页面，无质量又不需要用来排名的页面。Disallow: /gsfw/用户发面信息细分页面，无质量又不需要用来排名的页面。Disallow: /about/ 网站的关于我们，联系我们，招聘英才，都是些单页面，也不用来排名的页面。Disallow: /admin/ 网站的后台登录页面，无质量又不需要用来排名的页面。Disallow: /*?*/ 避免出现动态路径而被抓取。