robots协议也称爬虫协议、爬虫规则等

robots协议并不是一个规范，而只是约定俗成的，所以并不能保证网站的隐私。

robots协议：https://baike..com/item/robots协议

示例

https://baike.baidu.com/robots.txt

https://www.baidu.com/robots.txt

Refrences

https://baike.baidu.com/item/robots协议