DeepSeek открыла исходный код DeepInfer — движка инференса, на котором работает её сервис
Китайская DeepSeek опубликовала под лицензией Apache 2.0 DeepInfer — программу, которой она обслуживает свои модели в продакшене. Пока поддерживается только DeepSeek-V4.1-Flash, движок работает на GPU Nvidia SM100 и чипах Huawei Ascend 950 и не является полноценным онлайн-сервисом.
Китайская ИИ-лаборатория DeepSeek 20 октября 2026 года открыла исходный код DeepInfer — фреймворка инференса, который, по её словам, обслуживает её крупномасштабные производственные сервисы. Код выложен на GitHub под лицензией Apache 2.0.
Что входит в релиз
- Пока DeepInfer поддерживает одну модель — DeepSeek-V4.1-Flash; чекпойнт по умолчанию — DeepSeek-V4.1-Flash-1017.
- Движок работает на GPU для дата-центров Nvidia SM100 и NPU Huawei Ascend 950.
- Среди функций на GitHub — оптимизированные ядра, несколько видов параллелизма (в том числе экспертный для mixture-of-experts), спекулятивное декодирование, асинхронное планирование батчей, детерминированная выборка и структурированный вывод.
- Релиз охватывает офлайн-инференс. В репозитории сказано, что для полноценного сервиса нужны не включённые компоненты: система KV-кэша, разделение prefill/decode и балансировка нагрузки между репликами.
- По данным The Next Web, DeepInfer изначально строился в основном на открытом движке vLLM; DeepSeek также выпустила deepseek-recipe — библиотеку, повторяющую токенизацию её API.
Почему это важно
Инференс — запуск обученной модели для ответов на запросы — составляет большую часть затрат ИИ-сервисов. Bloomberg (в пересказе The Next Web) сообщил, что облачные провайдеры и компании, запускающие модели DeepSeek на своих серверах, смогут использовать те же методы для снижения затрат; обычно такие приёмы держат в секрете. Данные о скорости — собственные цифры DeepSeek, независимо они пока не проверены.
Релиз вышел через день после того, как власти США приказали федеральным гражданским ведомствам удалить продукты DeepSeek из своих систем.