腾讯云TokenHub在线推理
-
腾讯云TokenHub在线推理和批量推理有什么区别？
在线推理和批量推理有什么区别？顾名思义，批量推理就是大批量的数据处理，在线推理就是交互式逐条推理并返回结果。在腾讯云TokenHub大模型平台在线推理支持AI模型如Hy3、Kimi…
在线推理和批量推理有什么区别？顾名思义，批量推理就是大批量的数据处理，在线推理就是交互式逐条推理并返回结果。在腾讯云TokenHub大模型平台在线推理支持AI模型如Hy3、Kimi…