北京网站robots设置自查：别把抓取通道关上

网站上线几个月，页面一条也没进搜索结果，多数人的第一反应是内容不行或者服务器有问题。实际排查里，原因常常在更靠前的位置：robots 文件把抓取通道关上了。北京网站robots设置这一项，通常在建站阶段按测试环境写好，交付之后没人再动，问题就一直留在那里。本文按可执行的顺序，把这件事从头到尾走一遍。

北京企业官网最容易踩的那一个坑

测试环境和线上环境共用一个文件，是本地企业站最常见的写法。开发阶段为了不让测试内容被搜到，随手写上一行禁止抓取；站点正式上线时只换了域名和内容，这一行没删。北京企业官网上线前通常要过几轮确认，市场、法务、技术各看一遍，偏偏没人看这个纯文本文件——它不在页面上，也不在设计稿里。结果是站点能打开、客户能访问，抓取方却被告知不要进来。

第一步：先确认这个文件到底能不能打开

在浏览器地址栏里直接输入「域名后接 /robots.txt」，能正常打开才谈后面的事。打不开有两种情况：一种是文件不存在，抓取方会按全站允许处理；另一种是服务器把它拦住了，返回拒绝访问或者找不到。这两种结果对抓取方来说含义完全相反，前者是敞开，后者是堵住。北京不少企业站用的是同一套主机环境，安全规则里顺手把文本类文件全拦了，最基础的这一项反而没人验证过。

四种常见的误屏蔽写法

通道关上之后，页面会有什么表现

最直接的表现是「站点能访问，但搜索里查不到」——用站点限定查询看不到任何结果，而站点限定查询本身返回的是抓取方索引里的存量，索引里没有，查自然就没有。第二种表现是抓取记录里几乎看不到回访，服务器日志里只有零星几次请求，且集中在首页。第三种表现是提交站点地图之后长时间没有反馈，因为地图里的地址与规则冲突，抓取方会优先遵守规则。这三种表现指向同一个原因，排查顺序也应该从规则开始，而不是先去改内容。

某企业服务公司的排查记录

某企业服务公司在国贸一带办公，站点两百多个页面，上线半年只有首页偶尔出现在结果里。检查发现规则文件里既有整站禁止，又有三条针对栏目目录的禁止项，全部是建站时留下的。删掉禁止项、放开图片与样式资源之后，两周内抓取记录从每天几次升到几十次，第三周产品页开始进入索引。这家公司的经历说明，问题不在内容量，而在通道。

改完之后怎么确认真的放开了

1. 直接打开规则文件，确认没有整站禁止这一行
2. 逐条看禁止项，每一条都能说清「为什么不让看」，说不清的直接删掉
3. 确认图片与样式资源没有被挡住，否则页面渲染依旧不完整
4. 改完在后台提交一次规则检测，再用站点限定查询复核索引变化

规则文件多久需要重看一次

每次上新栏目、上商城子站、上手机版，都应该顺手看一眼。北京企业站的改版往往和品牌升级同步做，域名、目录、模板一起动，规则文件却常常被落下。把这一项写进上线检查表，位置放在「域名解析确认」的后面，改动前后各看一次，基本可以避免同一类问题反复出现。

规则文件与站点地图谁更管用

这两份东西常被当成一回事，其实分工不同。规则文件管的是「能不能来」，站点地图管的是「建议来看哪些」。冲突的时候，抓取方按规则执行，地图里的地址会被直接跳过。所以核对顺序永远是先规则、后地图：规则把通道堵住了，地图写得再全也是空转。反向也成立——规则放开了、地图里却全是失效地址，抓取方仍然走不到有效页面上。北京企业站上线时通常只做其中一项，建议两份同时过一遍，并且由同一个人负责，避免两条线各写各的。

把它交给谁维护才不会再次漏掉

最常见的失守环节不是没人管，而是「大家都以为别人管」。北京企业站的人员配置一般比较齐整，市场、技术、行政各有一摊，反而容易出现交接缝隙。务实的做法是明确一个岗位作为唯一责任人，把核对动作写进站点上线的固定清单，位置放在域名解析确认之后、页面标题检查之前。每次改动留下一条记录：什么时候改的、改了什么、谁复核的。记录不需要复杂，一行字就够，作用是在下一次出问题时能快速回溯，而不是重新排查一遍。

三处最容易被带着一起出问题的配套项

• 站点地图的地址清单，是否与规则文件里放开的目录一致，有没有把被禁止的目录列进去
• 页面头部的索引声明，首页放开了不代表内页也放开，模板可能来自不同的来源
• 栏目目录的命名，中英文混用与大小写不一致会让规则条目与实际地址对不上

这三项有一个共同特点：单看都很小，合起来就能让前面所有工作量作废。核对时不必逐页翻，抽查首页、一个栏目页、一个详情页三处即可覆盖大多数模板。

延伸阅读：网站建设基础、SEO优化方法、GEO优化方法、文化传媒行业建站方案。本文讲的是北京网站robots设置这件事本身的判断与做法，页面结构、收录与内容组织可以对照上面几篇一起看。

常见问题

北京网站robots设置错了一次，改正后多久能看到收录变化？

规则放开之后，抓取回访通常在一到两周内恢复，收录进入索引还需要一到三周，页面量越大周期越长。观察抓取记录比盯着收录结果更早看到反应。

规则文件里能不能写敏感信息？

不能。这个文件对外公开，任何访问者都能读到，写进去等于公开。需要限制访问的内容应该用账号权限处理，而不是写在规则文件里。

禁止抓取和不收录是一回事吗？

不是。禁止抓取是让抓取方不来访问，页面仍然可能因为别处的链接而被索引；要让页面彻底不出现，应该在页面上声明不索引。两者的处理位置不同。

站点地图被提交了但没反应，先查哪里？

先查规则文件与地图条目是否冲突。地图只是建议清单，规则优先级更高，冲突时抓取方按规则执行。

规则文件里能不能用通配的方式一次放开整个目录？

可以，但要确认语法被正确识别。写完之后用抓取诊断工具模拟访问一个该目录下的页面，看返回结果是否放行。语法写错时效果与预期相反，是这类问题里最隐蔽的一种。

小结

这件事不需要技术功底，需要的是一次认真核对：文件能打开、没有整站禁止、禁止项都有理由、图片与样式没被挡住。这四件事花不了多少时间，却能决定后面所有内容工作是否白做。把这项工作固定进上线流程，比事后再补要省力得多。