Simon Willison·· 2 天前AI 评分20
ttok 1.0 版本发布,默认使用 GPT-5/GPT-6 标准分词器
ttok 1.0
AI 导读
ttok 1.0 版本发布,默认使用 GPT-5/GPT-6 标准分词器,而非 GPT-4;OpenAI 尚未确认 GPT-6 是否使用与 GPT-5 相同的分词器,但实验表明两者可能相同。
来源:Simon Willison · simonwillison.net
ttok 1.0
ttok 1.0 版本发布,默认使用 GPT-5/GPT-6 标准分词器,而非 GPT-4;OpenAI 尚未确认 GPT-6 是否使用与 GPT-5 相同的分词器,但实验表明两者可能相同。
来源:Simon Willison · simonwillison.net