Robots协议（也称为爬虫协议、爬虫规则、机器人协议等）也就是robots.txt，网站通过robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。

Robots协议是网站国际互联网界通行的道德规范，其目的是保护网站数据和敏感信息、确保用户个人信息和隐私不被侵犯。因其不是命令，故需要搜索引擎自觉遵守。
Robots协议是网站SEO必备的常用知识，robots.txt是SEO的基本工作之一。
 

以上就是说说什么是爬虫协议说明。凯铧互联提供阿里云服务器/腾讯云服务器/华为云服务器/百度云服务器等产品的代购服务，为您提供云产品专属优惠折扣，通过凯铧互联购买可以获得折上折，若您需要帮助可以直接联系我方客服！同样的品质，更多贴心的服务，阿里云代理商凯铧互联专业技术团队同时为您提供便捷专业的7x24一对一专业全面的技术服务。 电话专线：136-5130-9831，QQ:3398234753。

为什么选择我们：北京凯铧互联科技有限公司（简称凯铧互联）由多名前阿里云资深技术专家创立,核心员工来自阿里巴巴、腾讯等,作为阿里云,华为云,腾讯云，百度云,金山云,华为云重要的合作伙伴,专注于为企业用户提供云计算及基于云服务器的解决方案。总部设在北京,并在内蒙设有办事处。做为一家综合性方案商,凯铧互联向各行业用户提供基于云服务器的各种解决方案。为用户获得优质服务的同时,秉承"专业规划、周到服务"的服务理念,根据用户的实际情况,充分考虑各种网络资源的特点及功效,为用户量身定做一套适合于其实际应用需求的网络应用方案。帮助用户利用互联网的力量展开新的营销方式,并大大缩短了项目实施周期,获得用户的一致好评。