💬 观点Simon Willison
Creepy crawlies — Linux内核仓库遭爬虫滥用，CPU资源被浪费，Simon Willison担忧
Linux内核仓库遭爬虫滥用，CPU资源被浪费，Simon Willison担忧Datasette面临同样问题。
2026-09-07原文
本文为要点摘要，完整细节以原文为准。
🧭 一图看懂
由原文自动提炼 · 以原文为准点击任一分支，查看这一点的一句话解读
Linux内核仓库遭爬虫滥用
渲染提交给爬虫消耗的CPU超过所有正常访问总和
- 5个地理分布节点共14个CPU核心专用于渲染git提…
- 爬虫消耗超过包括git clone在内的合法访问
🔗 涉及的概念与玩家
- Linux概念
- git.kernel.org产品
- Konstantin Ryabitsev人物
- Simon Willison人物
- Datasette产品
- crawling概念
- Konstantin Ryabitsev—讨论→git.kernel.org
- git.kernel.org—托管→Linux
- Simon Willison—担忧→Datasette
- crawling—滥用→git.kernel.org
- Konstantin Ryabitsev指出，git.kernel.org 上用于渲染提交给爬虫的CPU周期超过了所有合法访问（包括git克隆）的总和。
- 在5个地理分布节点上，有14个CPU核心持续用于为爬虫渲染HTML，这反映了滥用爬虫已成为普遍问题。
- Simon Willison由此联想到自己的Datasette项目，它提供大量可爬取的网页，担心也会遭受类似资源浪费，提示开发者需考虑爬虫防护策略。
原文：Creepy crawlies · 作者 Simon Willison
🕸 顺着图谱继续读
- Quoting Linus Torvalds — Linus Torvalds 分享 AI 辅助调试内核的实战体验，AI 虽多次放2026-08-22 · 共同涉及 Simon Willison、Linux
- Quoting Linus Torvalds — Linus Torvalds 明确表态：Linux 不是反 AI 项目，AI 已2026-07-16 · 共同涉及 Linux、Simon Willison
- datasette-explain 0.2.2 — Datasette 查询解释插件更新，让只读存储查询页也能看执行计划2026-09-20 · 共同涉及 Datasette、Simon Willison
- datasette-auth-github 1.0 — Datasette 的 GitHub 登录插件升到 1.0，起因是一个 cook2026-09-19 · 共同涉及 Datasette、Simon Willison