主观题：h0014. Robots协议

谈谈Robots协议。@[](5)






答案：Robots Exclusion Standard，网络爬虫排除标准 1分
作用：
网站告知网络爬虫哪些页面可以抓取，哪些不行 2分
形式：
在网站根目录下的robots.txt文件 2分