腾讯云TokenHub在线推理和批量推理有什么区别？
在线推理和批量推理有什么区别？顾名思义，批量推理就是大批量的数据处理，在线推理就是交互式逐条推理并返回结果。在腾讯云TokenHub大模型平台在线推理支持AI模型如Hy3、Kimi K3、DeepSeek-V4-Pro等，批量推理支持GLM-5.1或GLM-5。如果业务必须立即拿到结果，选在线推理；如果允许等待且数据量较大，选批量推理。详细参考腾讯云TokenHub官网：https://curl.qcloud.com/AqxTFnlv
关于在线推理和批量推理详细说明：在线推理适合实时交互，逐条调用 API 并即时返回结果；批量推理适合非实时的大规模数据处理，提交任务后异步执行，完成后统一获取结果，通常成本更低。对比表如下：
| 对比项 | 在线推理 | 批量推理 |
|---|---|---|
| 返回方式 | 同步返回 | 异步返回 |
| 实时性 | 高，适合聊天、实时审核 | 较低，需等待任务完成 |
| 数据规模 | 少量或持续请求 | 大量文本、图片或多模态数据 |
| 接入方式 | 直接调用模型 API | 准备 JSONL 文件并通过 COS 读写 |
| 典型场景 | 在线客服、实时问答、实时内容生成 | 文档摘要、对话质检、批量改写、离线审核 |
| 成本 | 按在线推理价格计费 | 通常按批量处理价格计费，部分模型可能不支持 |
云服务器官方活动：https://curl.qcloud.com/oRMoSucP
腾讯云优惠代金券：https://curl.qcloud.com/KssMgHpD