发帖到 HN 后网站被 AI 爬虫淹没
来自 Hacker News · 期号 2026-10-13
摘要
作者把自己的网站发到 Hacker News 后，发现流量暴涨，但大部分不是真人。 90% 以上的请求来自 AI 爬虫，包括 OpenAI、Anthropic、Google 等公司的抓取工具。它们比真实用户更早到达，消耗了服务器资源，却没有带来任何互动。 评论区有人指出，robots.txt 可以限制部分爬虫，但很多 AI 公司并不遵守。也有人认为，这是网站被收录的代价，不值得大惊小怪。
来自 Hacker News · 期号 2026-10-13
作者把自己的网站发到 Hacker News 后，发现流量暴涨，但大部分不是真人。 90% 以上的请求来自 AI 爬虫，包括 OpenAI、Anthropic、Google 等公司的抓取工具。它们比真实用户更早到达，消耗了服务器资源，却没有带来任何互动。 评论区有人指出，robots.txt 可以限制部分爬虫，但很多 AI 公司并不遵守。也有人认为，这是网站被收录的代价，不值得大惊小怪。
本站只做摘要与索引，全部内容版权归原作者所有。