arXiv:2611.13059v1 Announce Type: new Abstract: Languages of India need 1.6 to 14 times as many tokens as English on GPT-4o's tokenizer for the same content, which makes them more expensive and slower to serve. We train tokenizers from scratch on human-written text in about 200 languages. Havon v3 is a byte-level BPE tokenizer with 262,144 tokens and a pre-tokenizer that keeps combining marks with their letters and chunks scripts written without spaces. On FLORES-200 devtest it needs fewer tokens than GPT-4o's o200kbase on all 25 languages of India (median 0.74 of GPT-4o's count) and on 172 of
本站保留中文简介与原始文档入口。查阅具体函数、参数和版本行为时，请对照官方原文；基础概念可以先通过下面的站内中文资料学习。
先写标准答案与拒答条件，再记录正确性、格式和失败；附可运行计分例子，避免只挑一张好结果宣布升级。
打开站内手册 →这是一份精选资源导读，依据标题与简介编写。本站没有获取完整正文，因此未提供逐段总结。完整内容请查看原站。
arXiv · 计算与语言（cs.CL）
保留作者与原始链接，第三方资料的权利属于原作者。
收录：2026年11月12日 · 原文日期：2026年11月11日
核对原始资料适用范围：尚未标注，请结合原文与实际环境核对
人工核验：尚无核验记录
