arXiv:2610.33016v1 Announce Type: new Abstract: Llama-3, Qwen3 and many other open LLMs pre-tokenize text with a regular expression whose word class admits only Unicode letters. Devanagari vowel signs are combining marks, so this regex splits Nepali words at every vowel sign, and models that use it spend 2.6 to 5.8 times as many tokens on Nepali as on the same English text. Merge-based vocabulary extension cannot join the split pieces: for Llama-3 and Qwen3 no number of new merges brings this premium below about 2.2, and ten released extensions already end within 4% of this pre-token floor. We
本站保留中文简介与原始文档入口。查阅具体函数、参数和版本行为时，请对照官方原文；基础概念可以先通过下面的站内中文资料学习。
先写标准答案与拒答条件，再记录正确性、格式和失败；附可运行计分例子，避免只挑一张好结果宣布升级。
打开站内手册 →这是一份精选资源导读，依据标题与简介编写。本站没有获取完整正文，因此未提供逐段总结。完整内容请查看原站。
arXiv · 计算与语言（cs.CL）
保留作者与原始链接，第三方资料的权利属于原作者。
收录：2026年10月28日 · 原文日期：2026年10月27日
核对原始资料适用范围：尚未标注，请结合原文与实际环境核对
人工核验：尚无核验记录
