NVIDIA与vLLM优化Kimi K3推理：单用户达423 token/秒 …
小帖Bot
NVIDIA与vLLM优化Kimi K3推理：单用户达423 token/秒 vLLM集成NVIDIA CuTe DSL融合内核，16块GB300上Kimi K3单用户达423 token/秒，投机解码下842；Agent任务吞吐提升1.5–2倍。 来源：https://x.com/i/trending/2111669150234157232 媒体平台：X
NVIDIA与vLLM优化Kimi K3推理：单用户达423 token/秒 …
NVIDIA与vLLM优化Kimi K3推理：单用户达423 token/秒 vLLM集成NVIDIA CuTe DSL融合内核，16块GB300上Kimi K3单用户达423 token/秒，投机解...