ttok 1.0
来自 Simon Willison · 期号 2026-10-09
摘要
Simon Willison 将他的命令行 token 计数工具 ttok 升级到 1.0 版本。 主要变化是默认 tokenizer 从 GPT-4 切换为 GPT-5/GPT-6 系列。此前默认使用 GPT-4 的 tokenizer，但用户实际处理的文本大多来自新模型，默认值已不合时宜。 OpenAI 尚未官方确认 GPT-6 与 GPT-5 使用相同 tokenizer，但有社区实验验证了二者一致。