摘要：如果你的网站添加了robots协议文件，并且设置了禁止搜索引擎蜘蛛的指令，那么你的网站内容将不会被抓取，但有可能会被收录（索引）。robots禁止搜索引擎蜘蛛后为什么会被收录呢？一个页面想要去搜索引擎索引（收录），收录要有蜘蛛爬行和抓取，既然不抓取，理所当然的就会被认为这个页面是不会被收录。
robots.txt文件的作用
Robots.txt文件位于网站根目录，负责管理搜索引擎蜘蛛的访问权，包括允许和禁止抓取网页的命令。如页面明确不许抓取禁止百度收录，且已作优化，仍可能无法呈现，原因在于搜索引擎恪守这个规定，不接触任何已禁之页。
网站优化工作中，合理管理robot.txt文件至为关键。若设置不妥，搜索引擎可能对网站内容产生误判，进而影响网页在搜索与排序中的表现。可见，调整好robots.txt文件对提升整个网站的SEO效果具有举足轻重的地位。
robots禁止抓取与搜索引擎索引
我们普遍存在对搜索引擎的误解，以为受限页面就无法被索引。其实，搜索引擎运行由爬取、搜集和索引等多个阶段组成。即便是被访问控制的页面，仍有可能被收录进搜索引擎的索引。
以淘宝为例，尽管电商平台制定了机器人协议阻止搜索引擎检索，但是仍有网页频繁出现于搜索结果中。这主要源于搜索引擎不仅依赖协议，也从多个途径，如外部链接，推荐数据等采集并分析页面信息。尽管可能无法直接获取详细内容，搜索引擎却能够依据页面标题以及其它相关数据推断出大致情况。
如何理解robots协议
机器人协议为搜索引擎与网站间确立严谨准则，其主旨于robots.txt文件揭载。当爬虫发起请求时，依据文件所载指令确定可收录页面，而明确禁止收录之内容则被排除在外。
网站内页索引须历经爬虫及抓取流程。禁用抓取将导致无法实现索引功能。然，未经抓取亦非绝对无索引可能性。
深入探讨robots协议与收录关系
对于非技术人员而言，虽然爬行、抓取和索引这些概念较为抽象，但在搜索引擎优化过程中，他们是至关重要的元素。只有准确掌握其功能及彼此之间的关系，方能高效优质地实现网站优化。
例如，淘宝网（Taobao）设定了明确的禁令，然而百度这类搜索引擎仍有可能收录网站内容。原因在于，即便存在访问限制，搜索引擎依旧可以通过其他路径获取并整合所需信息。
外部链接对收录的影响
互联网环境下，虽然部分网页无法直接获取，但是大量外链仍能为搜索引擎传送相关信息。即便网页受到限制，只要含有相关信息的外链存在（如标题、描述等），搜索引擎便可从中搜集并索引相关内容。
综述而言，SEO战略制定应注重内外优化并考量外链对收录的影响。适当运用外部链接有助于提升网站在搜索结果中的曝光度与排名。
结合实例分析
我们通过深度解析得出结论，遵循类似淘宝这样大型电商平台制定的机器人协议并不能保证网站内容完全不会被搜索引擎抓取，甚至在某些特定环境中，可能出现“异常”情况——即即便有相关限制也能实现成功索引。
在SEO优化过程中，充分评估各项因素对于收录效果的影响力尤为关键禁止百度收录，务必依据具体情形制定全局性策略并适时进行调整。
