Meta, MIT и Вашингтонский университет представили «контекстные языковые модели», управляющие собственной памятью
Модель сама решает, что сохранить, изменить или удалить из контекста; авторы сообщают о росте точности при меньших вычислениях, но предупреждают о потере данных и prompt-инъекциях.
Исследователи Meta, MIT и Вашингтонского университета описали контекстные языковые модели (Context Language Models) — метод, при котором языковая модель сама управляет своим рабочим контекстом, а не просто дописывает в него всё подряд, сообщило 11 октября издание AI and Tech News.
Результаты по данным авторов
- Модели без дообучения показали на 11,4% более высокую точность при 21,5% меньшем числе операций на тесте BrowseComp-Plus.
- Обучение с подкреплением подняло результат Qwen3.5-9B на BrowseComp-Plus с 28,8% до 42,5% при примерно на 12% меньших вычислениях.
- Обучение в контексте улучшило точность на ContextBench до 35,9 процентного пункта.
Нерешённые проблемы
Авторы сами называют ограничения: модель может выбросить информацию, которая понадобится позже; редактируемый контекст может стать новым каналом, через который prompt-инъекции сохраняются между ходами; а больший контроль над контекстом не гарантирует лучших решений. Результаты получены на собственных тестах исследователей и пока не воспроизведены независимо.