robots.txt

可使用robots协议:建立robots.txt 文件,上传至网站根目录:

屏蔽所有搜索引擎爬取网站的语法:

User-agent: *

Disallow: /

允许所有搜索引擎爬取网站所有内容

User-agent: *

Disallow:

只禁止百度抓取你网站的内容

User-agent: Baiduspider

Disallow: /

只允许百度抓取你网站的内容

User-agent: Baiduspider

Disallow:

User-agent: *

  • QQ群:253510359
  • 建议:VPS商家层出不穷,根据需要购买,切莫剁剁剁!
  • 评测:很多VPS虽已评测,但网络环境改变稳定性,速度也会随之改变.评测只能作为一般性参考.不负任何法律,道义责任.
  • 申明:所有vps,域名,服务器优惠信息均来自网络公开内容,由于水平有限不免有谬误.请以官方为准.
标签: