DeepSeek libera el código de DeepInfer, el motor de inferencia de su servicio en producción

El laboratorio chino de IA DeepSeek liberó el 20 de octubre de 2026 el código de DeepInfer, el marco de inferencia que, según la empresa, impulsa sus servicios de producción a gran escala. El código está en GitHub con licencia Apache 2.0.

Qué incluye

• Por ahora DeepInfer admite un solo modelo, DeepSeek-V4.1-Flash; el checkpoint por defecto es DeepSeek-V4.1-Flash-1017.
• Funciona en GPU de centro de datos Nvidia SM100 y NPU Huawei Ascend 950.
• Entre las funciones que lista GitHub figuran kernels optimizados, varios tipos de paralelismo (incluido el de expertos para mixture-of-experts), decodificación especulativa, planificación asíncrona de lotes, muestreo determinista y salidas estructuradas.
• La publicación cubre la inferencia offline. El repositorio indica que un servicio completo necesita piezas no incluidas: un sistema de caché KV, la separación prefill/decode y el balanceo de carga entre réplicas.
• Según The Next Web, DeepInfer se construyó originalmente sobre todo a partir del motor abierto vLLM, y DeepSeek también publicó deepseek-recipe, una biblioteca que reproduce la tokenización de su API.

Por qué importa

La inferencia —ejecutar un modelo entrenado para responder peticiones— es una parte grande del coste de los servicios de IA. Bloomberg, citado por The Next Web, informó de que proveedores de nube y empresas que usan modelos de DeepSeek en sus propios servidores podrían aplicar las mismas técnicas para ahorrar; normalmente estos métodos se guardan en casa. Las cifras de velocidad son de DeepSeek y aún no se han verificado de forma independiente.

La publicación llegó un día después de que EE. UU. ordenara a las agencias civiles federales retirar los productos de DeepSeek de sus sistemas.