arXiv:2611.04032v1 Announce Type: new Abstract: Serving an LLM efficiently depends on the engine, how the model is split across GPUs, precision, scheduler settings, speculative decoding, KV-cache management, and prefill-decode disaggregation. The best configuration depends on the model, hardware, workload, and objective. Operators usually find it by trial and error. Exhaustively measuring the candidates in our study would take about 25,000 GPU-hours. ROCm InferaSim predicts serving performance from a few short measurements. Choices such as batch size, prompt length, and GPU count change the am
本站保留中文简介与原始文档入口。查阅具体函数、参数和版本行为时，请对照官方原文；基础概念可以先通过下面的站内中文资料学习。
先写标准答案与拒答条件，再记录正确性、格式和失败；附可运行计分例子，避免只挑一张好结果宣布升级。
打开站内手册 →这是一份精选资源导读，依据标题与简介编写。本站没有获取完整正文，因此未提供逐段总结。完整内容请查看原站。
arXiv · 人工智能
保留作者与原始链接，第三方资料的权利属于原作者。
收录：2026年11月5日 · 原文日期：2026年11月4日
核对原始资料适用范围：尚未标注，请结合原文与实际环境核对
人工核验：尚无核验记录
