ttok 1.0 发布,默认分词器切换至 GPT-5 系列
热点事件持续更新
ttok 1.0 发布,默认分词器切换至 GPT-5 系列
1 篇报道1 个报道来源6 小时前更新
先了解这件事
AI 综述
2026年10月9日,Simon Willison 发布了 ttok 1.0 版本。此次更新的主要变化是将默认的 tokenizer 从 GPT-4 系列切换至 GPT-5 系列。一项实验显示,GPT-5.5、GPT-5.6的三个变体以及GPT-6的三个变体均报告了44,794个token,并在31个测试用例上完全匹配。
AI 根据报道生成 · 1 小时前更新
最新进展10月9日 08:34
ttok 1.0 发布,默认 tokenizer 切换至 GPT-5 系列报道时间线
沿着报道,了解事件的不同侧面。
10月9日
- Simon Willisonttok 1.0 发布,默认 tokenizer 切换至 GPT-5 系列
ttok 1.0 发布,其默认 tokenizer 从 GPT-4 切换至 GPT-5 系列。一项实验显示,GPT-5.5、GPT-5.6 的三个变体以及 GPT-6 的三个变体均报告 44,794 个 token,并在 31 个测试用例上完全匹配。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。