robots.txt admin 资源分享 2022-02-13 可使用robots协议:建立robots.txt 文件,上传至网站根目录:屏蔽所有搜索引擎爬取网站的语法:User-agent: *Disallow: /允许所有搜索引擎爬取网站所有内容User-agent: *Disallow:只禁止百度抓取你网站的内容User-agent: BaiduspiderDisallow: /只允许百度抓取你网站的内容User-agent: BaiduspiderDisallow:User-agent: *
近期评论