DeepSeek开源DeepInfer：其生产服务背后的推理引擎

中国AI实验室DeepSeek于2026年10月20日开源了DeepInfer。该公司称，这一推理框架支撑着其大规模生产服务。代码以Apache 2.0许可证发布在GitHub上。

发布内容

• DeepInfer目前只支持一个模型——DeepSeek-V4.1-Flash，默认检查点为DeepSeek-V4.1-Flash-1017。
• 可运行于英伟达SM100数据中心GPU和华为昇腾950 NPU。
• GitHub列出的功能包括优化内核、多种并行方式（含混合专家模型的专家并行）、推测解码、异步批调度、确定性采样和结构化输出。
• 此次发布仅涵盖离线推理。仓库说明称，完整服务还需要未包含的组件：KV缓存系统、预填充/解码分离，以及数据并行副本间的负载均衡。
• 据The Next Web报道，DeepInfer最初主要基于开源引擎vLLM构建；DeepSeek还发布了与其API分词方式一致的deepseek-recipe库。

意义

推理——即运行训练好的模型来响应请求——是AI服务成本的重要组成部分。The Next Web援引彭博社报道称，云服务商和在自有服务器上运行DeepSeek模型的公司可借助同样的技术降低成本，而这类方法通常不对外公开。速度数据为DeepSeek自行公布，尚未经过独立验证。

此次发布前一天，美国下令联邦民事机构从其系统中移除DeepSeek产品。