429错误：机器人和内部工具如何超载您的网站

429错误 - "请求太多" - 当某些东西在短时间内太频繁地登陆您的网站时，它会显示出来。起初，这似乎是一个小问题，或者只是您试图管理流量的服务器。

但是在许多情况下，这并不是引起问题的真正访客的匆忙 - 它的机器人。有些很有帮助，例如Googlebot。其他人，例如刮刀或激进的工具，可以无意义地超载您的网站。有时，罪魁祸首根本不是外部的 - 它是您自己的软件或监视系统触发错误的系统。

实际上导致429错误是什么？

您的服务器的说法是429错误：

"您发送的请求太快了。退缩一点."

此响应通常与速率限制相关，方法网站和API用于控制单个客户端（例如浏览器，爬网或脚本）可以发送一段时间的时间。

虽然可能突然流量来自真实用户的激增，但通常是自动化活动的结果。这些机器人和工具不一定是恶意的，因为许多互联网都取决于它们来处理人类输入的重复性任务。但是，当他们发送太多请求太快时，他们可能会不知不觉地触发429错误。

谁发送了太多请求？

很容易假设尖峰是来自交通激增甚至恶意活动的。但是在许多情况下，原因属于这些群体之一：

• 搜索引擎爬网： 像Googlebot，Bingbot和其他人这样的机器人扫描您的网站以保持其搜索索引的最新信息 - 通常是一件好事。也就是说，如果网站经常更新或有许多相互联系的页面，它们仍然可以超载服务器。
• SEO工具： 诸如尖叫青蛙，Ahrefs和Semrush之类的工具模拟了机器人行为以审核您的网站。他们可以在短时间内发送数百或数千个请求，以检查每个页面，链接和标签。如果没有适当的节气门设置，这些工具会淹没Web服务器。
• 网站刮刀： 这些通常不受欢迎。刮板通常用于提取价格，评论或 产品描述。许多人不遵循礼貌的机器人行为，可能会反复登录某些页面或尝试下载整个网站。
• 正常运行时间监视和脚本： 如果将这些设置为过于频繁或没有智能间隔，它们可能会无意中的行为像垃圾邮件流量一样。
• 内部服务： 您自己的基础架构（例如Cron Jobs，API或集成）会意外地压倒您的网站，尤其是当它们不是为了尊重限制而设计的时。

最重要的是：这些不是浏览您的网站的人，而是自动化的流程。有些是有帮助的，有些不是，但是无论哪种方式，它们都可以超载您的基础架构，尤其是当您的服务器未构建以处理突然的尖峰时，例如在此期间发生的突然钉 DDoS攻击.

如何跟踪429错误的来源

在更改网站的速率限制或防火墙设置之前，它有助于确切了解导致问题的原因。

从日志开始：

• 服务器日志： 这些是检查的第一个地方。您正在寻找在短时间内反复出现的IP地址，用户代理或路径。通用日志文件包括apache或access.log/error.log for nginx的access.log。查找返回429状态代码的请求。
• 速率限制日志（如果有）： 某些服务（例如API网关，代理或内容交付网络）提供专用日志以限制速率。这些可以确定哪些请求超过了IP来自哪个阈值，以及访问哪些端点。
• 模式： 注意明显的自动化迹象。要求：
  • 不要携带会话cookie或浏览器的典型标题
  • 使用普通或可疑用户代理，例如python-reququests，卷发或自定义刮刀
  • 来自已知的托管提供商或数据中心（AWS，Azure，Hetzner等）

一旦出现模式，您就可以决定流量是否良好（例如Googlebot）或需要阻止或放慢速度。

您的费率限制是正确的吗？

利率限制有助于防止您的网站过载，但是如果它过于侵略性，它也可能会阻止有用的流量 - 领导到诸如之类的问题 504网关超时错误。正确的配置可以防止滥用，而不会阻止合法流量。

要考虑的事情：

• 限制方法：您是通过IP地址，API令牌，用户会话或其他内容跟踪请求吗？基于IP的限制很常见，但如果多个用户共享相同的IP，可能不会有效。
• 极限类型：
  • 固定窗口：以固定间隔的限制请求（例如，每分钟100个请求）。易于实施，但可以被授予。
  • 滑动窗口：更灵活，随着时间的推移，请求差。
  • 令牌存储桶或漏水桶：偶尔会发生爆发，但可以控制整体速率。
• 标题和回答： 确保您正在返回像重试的标头，以便机器人和工具知道何时暂停并重试。这可以提高与行为良好的爬行者的兼容性。
• 自定义阈值： 不要平等地对待所有流量。您可能会允许更多要求登录用户，搜索机器人或内部工具的请求，同时在未知或未经身心的访问者上保持更严格的皮带。

归根结底，这是一个平衡的行为 - 如果您的费率限制太紧，您可能会阻止合法机器人或阻止用户访问您的网站。如果它们太松了，那么糟糕的机器人可能会吞噬资源或更糟。

让好机器人通过

搜索引擎和可信赖的SEO工具对于可见性和性能至关重要。您想允许他们加入，但要以受控的方式。

这是有帮助的：

• robots.txt和爬网： 您可以使用爬网指令来告诉bots放慢速度。这并不是所有爬行者的荣誉，但是有些，尤其是好人，尊重它。
• 白名单可信赖的机器人： 查看日志中的用户代理字符串，以识别Googlebot，Bingbot等。确认它们 反向DNS检查 避免冒名顶替者。
• 调整已知工具的速率限制： 基于已知用户代理或经过验证的IP范围的设置速率限制或异常。例如，允许GoogleBot的请求限制更高或更长的会话超时。
• 单独的费率限制： 如果您正在运行API或内容繁重的网站，请为人类访问者与自动化工具使用不同的规则。

这样，搜索机器人可以在不压倒基础架构的情况下完成工作。

如何处理不良的机器人和爬行者

有些机器人显然是滥用的。他们对索引您的内容不感兴趣 - 他们试图将其刮擦，复制它或寻找漏洞。这些需要更积极地阻止或管理。

处理它们的方法：

• 用户代理块： 如果您看到使用特定用户代理的重复犯罪者，请将其阻止 .htaccess，您的服务器配置，或 WAF（Web应用程序防火墙）.
• 通过IP或ASN块：如果滥用来自数据中心，则使用防火墙规则阻止特定IPS甚至整个托管网络的流量。
• 使用WAF： Web应用程序防火墙可以自动检测并阻止滥用模式，例如登录页面或搜索端点的请求太多。
• 添加轻质摩擦： 在敏感页面（例如搜索或定价端点）上，添加JavaScript挑战或基本验证码。这会停止大多数非浏览器工具而不会损害用户体验。
• 随着时间的推移迹象： 创建一个放置列表，当机器人触发违反多率限制时，可以自动更新。

不要忘记自己的工具

处理429个错误时，很容易专注于外部流量，但是一些最糟糕的罪犯可能是您或您的团队设置的工具。内部脚本，SEO审核，正常运行时间监视器或仪表板可以像第三方机器人一样容易地淹没您的网站。

区别？您可以完全控制这些。

常见的内部过载来源

即使是旨在帮助帮助的工具，也可能在错误配置时引起问题：

SEO爬行者（例如尖叫的青蛙，Semrush和Ahrefs）
这些工具将您的整个网站抓取审核元数据，链接和技术健康。

如果设置使用高并发性（例如10+线程）并且没有爬网延迟，则它们可能会压倒您的服务器，尤其是在共享或较低规格的环境上。

自定义脚本或内部机器人
您可能会有脚本查询自己的API端点，以进行数据分析，测试或分期目的。

如果它们不包含限制，延迟或缓存，则可以无意中敲打您的应用程序 - 有时每分钟通过Cron运行。

站点监控工具
检查正常运行时间，响应时间或页面性能的工具如果设置过于频繁检查，可能会很吵。

每15秒检查一次主页似乎无害，但将其乘以多个区域或服务，并迅速增加。

如何检查内部工具

好消息是，内部流量最容易解决 - 因为您控制了行为。

降低爬网速度和并发
在尖叫青蛙等工具中：

• 减少线程数或并发连接的数量。
  
• 在请求之间添加几秒钟的爬网延迟。
  
• 如果您正在审核多个站点，请错开爬网，以免一次运行。

即使从10个线程降至2个线程也可以大大减少服务器应变而不会丢失功能。

尽可能使用缓存

• 内部仪表板或不需要实时数据的工具的缓存API响应。
  
• 在监视工具中，缓存主页检查或站点快照，以了解什么都可能不会改变的间隔。

这减少了以相同的结果重复击中您的应用程序的需求。

在少量流量时进行审核和扫描

• 安排爬网和内部脚本在隔夜或清晨（在服务器的时区）中运行。
  
• 这样可以避免与客户或访问者使用您的网站的时期重叠。

如果您的网站是全球的，请考虑在区域或时间窗口之间进行审核。

将重试逻辑构建到脚本中

• 如果脚本得到429响应，请不要锤击服务器。
  
• 在出现该状态时，添加逻辑以等待或退缩 - 理想地尊重任何重试标题（如果存在）。
  
• 短暂的延迟或指数向后方法（每次重试后等待更长的时间）可以防止重试的反馈循环，从而使问题变得更糟

记录并查看自己的工作

• 保留哪些脚本或工具在调用您的网站，一次和何时调用您的网站的共享记录。
  
• 如果出现新的429期，您将有一个清晰的地方可以开始寻找外部来源。

您可以长期做什么

一旦您追踪并停止了导致429个错误的原因，就可以提前思考。解决当前问题只是工作的一部分 - 现在是时候防止同一问题再次出现了。

以下是一些实用步骤，可以帮助您长期保持稳定：

使用重试标头

如果您的服务器返回429，则在响应中包括重试标头是一个好主意。这告诉机器人和自动化工具需要等待多长时间，然后再尝试。

• 例如，重试：120告诉客户等待120秒。
  
• 大多数举止良好的机器人（包括Googlebot）将尊重这一点，并放慢他们的爬行。

它不会停止忽略标头的刮擦或滥用工具，但是它确实为合法服务提供了一种自动退缩的方式而不会引起进一步的问题。

在哪里应用它：

• Web服务器配置（Apache，nginx）。
  
• 应用程序级别的响应（用于使用Express，Flask等框架的API或Web应用程序）

定期监视机器人流量

不要等待事情破裂。一点点的可见性走了很长一段路。

• 设置日志评论，仪表板或报告从已知爬行者跟踪活动的报告。
  
• 注意行为的变化 - 例如，搜寻器击中了网站的新部分或发送比平常更频繁的请求。
  
• 密切关注新的用户代理或意外的IP块。这些可能是刮擦或虐待的早期迹象。

您可以使用的工具：

• 访问日志（用GoAccess或Awstats之类的东西进行分析）。
  
• 服务器分析工具（例如Netdata，Grafana或Prometheus）。
  
• BOT管理功能在Cloudflare或您的WAF中。

随着您的成长调整速率限制

费率限制不是"设置并忘记它"。随着流量的增加，内容的变化或基础架构的发展，您之前设定的阈值可能变得过于侵略性或放松。

定期审查您的利率限制政策：

• 您是否正在使用正确的方法（基于IP，基于用户等）？
  
• 您的高流量终点是否受到保护？
  
• 合法工具是否仍会偶然被阻止？

您可能需要增加某些路径的限制或在其他路径上减少限制。您还可以尝试使用滑动窗口算法而不是固定窗口，以避免突然截止。

团队的提示： 记录您的费率限制和影响谁。这使得他们以后出现时更容易调试问题。

使用具有机器人管理功能的CDN

好 内容交付网络 不仅仅是缓存内容，还可以帮助过滤或油门不必要的流量到达服务器之前。

大多数主要的CDN（例如Cloudflare，farly或Akamai）提供了方便的工具，例如：

• IP或路径请求限制限制
  
• 机器人评分或指纹（以说出人类和机器人之间的差异）
  
• 自动阻止或挑战不良行为的规则
  
• JavaScript挑战或管理挑战以减慢非浏览器客户

卸载此流量在撞击您的原始服务器之前有助于减少负载，降低带宽成本，并防止诸如429s之类的问题首先发生。

如果您已经使用了CDN，请花一些时间探索其安全性或机器人保护设置 - 您可能已经拥有所需的工具，并且只需要打开它们即可。

奖励提示：将上下文添加到您的错误页面

如果您要返回429错误，请不要提供空白屏幕。添加简短的解释和友好的信息。例如：

"我们收到的请求超出了预期。如果您使用的是自动化工具，请在几分钟内重试。"

这可以帮助开发人员和SEO团队了解发生了什么并进行了相应的调整。如果适用，您甚至可以在文档或网站的robots.txt上包含一个链接。

包起来

429错误并不总是意味着您的网站被超载 - 通常意味着某人或某物太急切。

学习跟踪，识别和管理这些请求，您可以减少问题，保护您的资源，并确保您的网站仍然可用于人们以及机器人 - 您实际上想服务。