DeepSeek abre o código do DeepInfer, o motor de inferência do seu serviço em produção

O laboratório chinês de IA DeepSeek abriu a 20 de outubro de 2026 o código do DeepInfer, a estrutura de inferência que, segundo a empresa, alimenta os seus serviços de produção em grande escala. O código está no GitHub com licença Apache 2.0.

O que inclui

• Por agora o DeepInfer suporta um único modelo, o DeepSeek-V4.1-Flash; o checkpoint por defeito é o DeepSeek-V4.1-Flash-1017.
• Corre em GPU de centro de dados Nvidia SM100 e NPU Huawei Ascend 950.
• Entre as funções listadas no GitHub estão kernels otimizados, vários tipos de paralelismo (incluindo paralelismo de especialistas para mixture-of-experts), descodificação especulativa, agendamento assíncrono de lotes, amostragem determinística e saídas estruturadas.
• A versão cobre a inferência offline. O repositório diz que um serviço completo precisa de peças não incluídas: um sistema de cache KV, a separação prefill/decode e o balanceamento de carga entre réplicas.
• Segundo o The Next Web, o DeepInfer foi construído originalmente sobretudo a partir do motor aberto vLLM, e a DeepSeek publicou também o deepseek-recipe, uma biblioteca que reproduz a tokenização da sua API.

Porque importa

A inferência — executar um modelo treinado para responder a pedidos — é uma grande parte do custo dos serviços de IA. A Bloomberg, citada pelo The Next Web, noticiou que fornecedores de nuvem e empresas que correm modelos da DeepSeek nos seus servidores poderão usar as mesmas técnicas para cortar custos; normalmente estes métodos ficam em casa. Os números de velocidade são da própria DeepSeek e ainda não foram verificados de forma independente.

A publicação surgiu um dia depois de os EUA ordenarem às agências civis federais que retirassem os produtos da DeepSeek dos seus sistemas.