Meta, MIT e Universidade de Washington apresentam «modelos de linguagem de contexto» que gerenciam a própria memória
O modelo decide o que manter, editar ou descartar do contexto; os autores relatam mais precisão com menos computação, mas alertam para perda de dados e injeção de prompts.
Pesquisadores da Meta, do MIT e da Universidade de Washington descreveram os Context Language Models, um método que permite a um modelo de linguagem gerenciar o próprio contexto de trabalho em vez de apenas acumular tudo, informou o AI and Tech News em 11 de outubro.
Resultados relatados
- Modelos sem ajuste tiveram precisão 11,4% maior com 21,5% menos operações no BrowseComp-Plus.
- O aprendizado por reforço elevou o Qwen3.5-9B no BrowseComp-Plus de 28,8% para 42,5%, com cerca de 12% menos computação.
- O aprendizado em contexto melhorou a precisão no ContextBench em até 35,9 pontos percentuais.
Problemas em aberto
Os próprios autores apontam limites: o modelo pode descartar informações de que precisará depois; um contexto editável pode virar um canal para injeções de prompt persistirem entre turnos; e mais controle não garante decisões melhores. São avaliações dos próprios pesquisadores, ainda sem replicação independente.
Também disponível em: EnglishСаха тылаРусскийEspañol中文العربية