深圳网站响应速度偏慢，抓取次数也跟着下滑

抓取次数在一个月里掉了一半，页面内容没有大改，站内链接也没动。这种情况往往不是抓取方对站点失去兴趣，而是它每次来都等得太久。深圳网站响应速度偏慢带来的影响是双重的：客户等不及会走，抓取方等不及会把访问次数降下来，而后者更难被察觉。

响应慢和页面慢不是一回事

页面打开慢可能是因为首屏图片大、脚本多，这些属于前端资源问题；响应慢指的是服务器接到请求之后，返回第一个字节所花的时间。抓取方在意的是后者，因为它决定了它在同样时间内能访问多少个页面。南山科技园的企业站点前端做得越来越精致，服务器这一层反而常年没人看，接口调用一多，响应时间就从几百毫秒涨到几秒。

怎么把响应时间测准

1. 同一页面连测十次取中位数，单次结果受网络波动影响太大
2. 区分静态页与动态页，动态页响应通常更长，两类要分开看
3. 在不同时段各测一轮，早晚高峰与闲时的数据差往往能说明问题
4. 把响应时间与抓取记录对照，看次数下滑是否与耗时上升同步

常见的四类原因

某智能硬件公司的提速记录

某智能硬件公司的站点响应时间一度超过三秒，抓取次数随之下降。排查发现症结在列表页：一次请求里串了七次数据查询，还有一次外部接口同步调用。优化方式是给查询加索引、把外部调用改成异步、给不常变的内容加缓存。改完响应时间落到半秒以内，第三周抓取次数恢复，一个月后新产品的收录周期从一个多月缩短到两周左右。

移动端要单独看

跨境客户的访问路径更长，移动网络下的响应时间通常比办公网络差一截。深圳企业的客户分布在全球，不同区域的访问体验差别很大。核查时应该挑几个有代表性的区域分别测，尤其是客户集中的区域。如果只有远端慢，问题多半在分发环节；如果哪都慢，问题的根子还是在服务器本身。

缓存该加在哪一层

缓存不止一种。页面级的缓存把整页结果存下来，下次访问直接返回，适合内容不常变的页面；数据级的缓存把查询结果存下来，适合列表与检索这类需要实时组合的页面；资源级的缓存把图片与脚本存在客户本地，适合重复访问。三层各有适用场景，加错地方要么效果不明显，要么出现内容更新后迟迟不刷新。判断办法是按页面类型分：栏目页与详情页走页面级，检索与筛选走数据级，静态资源走资源级。

外部调用不要挡在主流程上

页面在返回之前等待第三方接口回数据，是响应时间忽长忽短的主要原因。第三方通常不受自己控制，它慢一秒，页面就慢一秒。处理方向是把这类调用从主流程里移出去：能提前取得的提前取，能异步拿到的异步拿，实在必须同步的加一层自己的缓存，并给调用设置一个超时上限。设置超时这一步尤其重要，没有上限的情况下，第三方无响应会把页面一起拖住。

速度改善之后要守住的几件事

• 新上线的页面按同样的标准检查一次响应时间，别让慢页面重新长出来
• 新接入的第三方服务先评估会不会进主流程，必要时先加缓存再接
• 把响应时间纳入日常观察，与抓取记录放在一起看，异常能更早发现

速度是一项会退化的指标。没有持续观察的站点，往往在半年之后又回到原来的水平，原因就是新增的功能一项项叠加进来，没人再回头看总账。

延伸阅读：网站建设基础、SEO优化方法、GEO优化方法、电商供应链行业建站方案。本文讲的是深圳网站响应速度这件事本身的判断与做法，页面结构、收录与内容组织可以对照上面几篇一起看。

常见问题

深圳网站响应速度多少算合格？

多数站点控制在半秒以内是比较务实的目标。超过两秒，抓取方通常会开始减少访问次数。

提速之后抓取次数一定会回升吗？

通常会在两到四周内回升。如果没反应，要检查是不是别的问题同时存在，比如页面层级太深或者无效地址太多。

需要换服务器吗？

先测再判断。测出来是接口或查询的问题，换服务器解决不了；确认是资源瓶颈，才考虑升级。

前端资源要不要一起优化？

要，但它解决的是客户体验问题，和抓取次数关系不大。两件事分开安排，别混在一起看效果。

响应时间和页面打开时间都测了，该以哪个为准？

两个都要看，但用途不同。响应时间用来判断对方来访问时的效率，打开时间用来看客户的等待感受。抓取相关的问题先看前者，客户体验相关的问题先看后者。

小结

深圳网站响应速度是抓取效率的地基。测准响应时间、分清静态页与动态页、把查询、接口、缓存、资源四项逐个查一遍，再对照抓取记录验证。响应时间改善之后，抓取次数与收录节奏通常会跟着好转，这一步走稳，后面的内容工作才有意义。