💬 观点Simon Willison
Creepy crawlies — Linux内核仓库遭爬虫滥用，CPU资源被浪费，Simon Willison担忧
Linux内核仓库遭爬虫滥用，CPU资源被浪费，Simon Willison担忧Datasette面临同样问题。
2026-09-07原文
本文为要点摘要，完整细节以原文为准。
- Konstantin Ryabitsev指出，git.kernel.org 上用于渲染提交给爬虫的CPU周期超过了所有合法访问（包括git克隆）的总和。
- 在5个地理分布节点上，有14个CPU核心持续用于为爬虫渲染HTML，这反映了滥用爬虫已成为普遍问题。
- Simon Willison由此联想到自己的Datasette项目，它提供大量可爬取的网页，担心也会遭受类似资源浪费，提示开发者需考虑爬虫防护策略。
原文：Creepy crawlies · 作者 Simon Willison