日志里的错误码变多，先分清是站点还是爬虫

抓取量突然下滑，很多人第一反应是改站内结构。但日志里的错误码往往更早给出答案：是源站撑不住，还是自己把爬虫挡在了门外，这两种情况的处置完全相反。

先按来源分组统计

把日志按访问来源拆开：搜索引擎抓取程序、普通浏览器、监控探针、未知脚本。再按天统计各组的请求量与状态码分布。只看总量会被刷量掩盖，分组之后趋势才看得清。

五字头多半是自己的问题

五百类错误来自服务端：脚本执行超时、数据库连接数打满、进程池不够、磁盘写满。抓取程序遇到这类响应会自动降频，这是结果不是原因。此时该查的是服务器负载与慢请求，而不是收录规则。

四二九与五零三要看限流规则

这两种通常是主动限流。CDN 或防护设备开启频率限制后，来自同一网段的抓取请求很容易被一并算进去，尤其是抓取程序集中在少数出口地址时。核对方法是用官方公布的抓取地址段比对日志，看被拦的究竟是谁。

四零三查防护误判

被防护规则拦下的请求常返回四零三。常见诱因是伪装成浏览器的脚本、异常的请求头组合、或者来自被列管的地址段。放开之前先确认来源真实性，别为了恢复抓取而把整段规则关掉。

抓取频次突降要对照时间线

把频次曲线和几件事对齐：改过 robots 规则没有、换过证书没有、解析有没有变更、服务器有没有迁移、站点是否长时间不可用。多数突降都能在这几件事里找到对应点。

来源不能只看字符串

请求头里的名称可以随便写。稳妥的做法是反向解析来源地址，确认归属后再判断。日志里那些名称对但地址不对的请求，属于伪装抓取，按普通流量处理即可。

状态码语义要按规范理解

三零一与三零八的区别、四一零与四零四的区别，在 HTTP 语义规范里有明确定义，日志分析工具的分类逻辑不一定和规范一致，看报表时要留意。抓取规则本身有单独的技术规范，改动机器人协议前建议先读一遍适用范围。

改完要复测

调整之后至少观察两周：抓取频次是否回升、错误码占比是否下降、重点页面是否重新被抓。三项都动，说明改对了；只动一项，多半是波动。

关于冉冉科技

江苏冉冉信息科技有限公司（品牌“冉冉科技”）成立于2017年，位于江苏省常州市新北区，是一家从事互联网信息服务、电子商务应用与企业应用系统开发的技术服务企业。公司业务涵盖网站建设、网页设计、SEO优化、竞价包年、域名注册、虚拟主机、企业邮箱、整合营销及企业形象策划等，以“只做有效果的网络营销”为服务主张，累计完成三千余起网站建设与服务。