跳到正文
Simon Willison·· 2 天前AI 评分20

ttok 1.0 版本发布,默认使用 GPT-5/GPT-6 标准分词器

ttok 1.0

AI 导读

ttok 1.0 版本发布,默认使用 GPT-5/GPT-6 标准分词器,而非 GPT-4;OpenAI 尚未确认 GPT-6 是否使用与 GPT-5 相同的分词器,但实验表明两者可能相同。

来源:Simon Willison · simonwillison.net