💬 观点Simon Willison
ttok 1.0 — ttok 1.0 发布：默认分词器从 GPT
ttok 1.0 发布：默认分词器从 GPT-4 切到 GPT-5/6，并附上社区对 GPT-6 分词器一致性的实测证据
2026-10-09原文
本文为要点摘要，完整细节以原文为准。
- Simon Willison 发布 ttok 1.0：起因是他升级到 0.4 后发现默认仍用 GPT-4 分词器，于是把默认切到 GPT-5/GPT-6 家族，并借此机会正式发 1.0。对做 token 预算、上下文裁剪的工具链来说，默认值选错会直接导致计数偏差。
- OpenAI 尚未官方确认 GPT-6 与 GPT-5 家族共用分词器，社区还有相关 issue 在争论。这意味着依赖 token 计数的 agent 框架不能把「同家族同分词器」当成稳定契约。
- 他引用 William Liu 的一次实验提交：7 个 GPT 模型（5.5、5.6 Sol/Terra/Luna、6 Astra/Sol/Luna）在该语料上均报 44,794 tokens，31 个 fixture 全部互相匹配，GPT-6 未带来输入计数变化。这为默认值切换提供了可复现的验证方式，也提示开发者应自建 fixture 回归测试而非只信文档。
原文：ttok 1.0 · 作者 Simon Willison