2026-07-01 14:01:37
亚汇网注：单Token成本（CostPerToken）指模型生成或处理单个token的成本指标，常用于比较不同硬件、软件栈或部署方式的推理成本表现。英伟达在博文中表示已将单Token成本列为AI总拥有成本的核心指标，并表示针对DeepSeekv4模型，Blackwell平台已将其降低至行业最低水平。在技术实现方面，英伟达通过生产运营层、应用加速层、基础设施访问层3层来优化推理：生产运营层负责分布式服务、编排、自动扩缩容和内存管理；应用加速层负责运行时优化，如计算与通信重叠、内核融合；基础设施访问层负责调用GPU、网络、内存与系统能力。性能方面，英伟达通过分离式服务、大规模专家并行、基于NVIDIANVLink的并行通信、NVFP4精度以及多token预测等技术，叠加优化后，Blackwell平台单GPU的token吞吐量最高可提升20倍。广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，亚汇网所有文章均包含本声明。
您正在访问亚汇网香港分站，本站所提供的内容均遵守中华人民共和国香港特别行政区法律法规。
