Meta, el MIT y la Universidad de Washington presentan «modelos de lenguaje de contexto» que gestionan su propia memoria
El modelo decide qué conservar, editar o descartar de su contexto; los autores reportan más precisión con menos cómputo, pero advierten de pérdida de datos e inyecciones de prompt.
Investigadores de Meta, el MIT y la Universidad de Washington han descrito los Context Language Models, un método que permite a un modelo de lenguaje gestionar su propio contexto de trabajo en lugar de limitarse a acumularlo todo, informó AI and Tech News el 11 de octubre.
Resultados reportados
- Los modelos sin ajuste lograron un 11,4% más de precisión con un 21,5% menos de operaciones en BrowseComp-Plus.
- El aprendizaje por refuerzo elevó a Qwen3.5-9B en BrowseComp-Plus del 28,8% al 42,5% con alrededor de un 12% menos de cómputo.
- El aprendizaje en contexto mejoró la precisión en ContextBench hasta 35,9 puntos porcentuales.
Problemas abiertos
Los propios autores señalan límites: el modelo puede descartar información que luego necesite; un contexto editable puede convertirse en un canal por el que las inyecciones de prompt persistan entre turnos; y más control no garantiza mejores decisiones. Son evaluaciones propias y aún no se han replicado de forma independiente.
También disponible en: EnglishСаха тылаРусский中文Portuguêsالعربية