Context
Engineering.

Apesar de sua velocidade e capacidade crescente de lidar com volumes maiores de dados, LLMs — como humanos — perdem o foco ou entram em confusão após certo ponto. Estudos em benchmarks do tipo needle-in-a-haystack descobriram um fenômeno que ficou conhecido como context rot, documentado pela pesquisa da Chroma: conforme o número de tokens na janela de contexto aumenta, a capacidade do modelo de recuperar informação corretamente diminui.

Alguns modelos exibem degradação mais suave que outros — mas a característica emerge em todos. Contexto, portanto, deve ser tratado como um recurso finito com retornos marginais decrescentes. Assim como humanos têm capacidade limitada de memória de trabalho, LLMs têm um "attention budget" — um orçamento de atenção — do qual sacam ao processar grandes volumes de contexto. Cada novo token introduzido deprecia esse orçamento em alguma medida, aumentando a necessidade de curar com cuidado o que é disponibilizado ao modelo.

A raiz arquitetural da escassez

Essa escassez de atenção deriva de restrições arquiteturais dos LLMs. Eles são baseados na arquitetura transformer, que permite que cada token atenda a todos os outros tokens em toda a extensão do contexto (attention is all you need). Isso resulta em n² relações pareadas para n tokens.

À medida que o comprimento do contexto cresce, a capacidade do modelo de capturar essas relações pareadas fica esticada, criando uma tensão natural entre tamanho do contexto e foco de atenção. Além disso, modelos desenvolvem seus padrões de atenção a partir de distribuições de dados de treino nas quais sequências mais curtas são tipicamente mais comuns do que sequências longas — o modelo tem menos experiência, e menos parâmetros especializados, para dependências em escala de contexto inteiro.

Técnicas como position encoding interpolation permitem que modelos lidem com sequências mais longas adaptando-as ao contexto menor originalmente treinado — com alguma degradação na compreensão de posição do token.

Essas realidades tornam context engineering thoughtful uma exigência, não um luxo, para construir agentes capazes.

Em vez de pré-processar todo dado relevante à frente, agentes construídos com a abordagem just in time mantêm identificadores leves — file paths, stored queries, web links etc. — e usam essas referências para dinamicamente carregar dado no contexto, em tempo de execução, via tools. O Claude Code, solução de coding agentica da Anthropic, usa essa abordagem para realizar análises complexas sobre bases de dados grandes: o modelo escreve queries direcionadas, armazena resultados, e aproveita comandos Bash como head e tail para analisar grandes volumes sem nunca carregar os objetos completos no contexto.

Essa abordagem espelha a cognição humana: em geral, não memorizamos corpora inteiros — introduzimos sistemas externos de organização e indexação (file systems, inboxes, bookmarks) para recuperar informação relevante sob demanda.

Metadata como sinal refinador

Além da eficiência de storage, metadata das referências provê um mecanismo para refinar comportamento — explícita ou intuitivamente. Para um agente operando em file system, a presença de um arquivo chamado test_utils.py em uma pasta tests implica propósito diferente de um arquivo com o mesmo nome em src/core_logic/. Hierarquias de pastas, convenções de nomenclatura e timestamps todos provêm sinais importantes que ajudam tanto humanos quanto agentes a entender como e quando utilizar a informação.

src/
 ├─ core_logic/
 │   └─ test_utils.py   ← utilidades reais, prod
 └─ components/

tests/
 ├─ test_utils.py       ← mocks, helpers de teste
 └─ integration/
          

Context engineering representa uma mudança fundamental em como construímos com LLMs. À medida que os modelos ficam mais capazes, o desafio deixa de ser apenas escrever o prompt perfeito — torna-se curar cuidadosamente que informação entra no limitado attention budget do modelo, a cada passo.

Seja implementando compaction para tarefas de longo horizonte, projetando tools token-efficient, ou habilitando agentes a explorar seu ambiente just-in-time, o princípio norteador permanece o mesmo:

As técnicas delineadas continuarão evoluindo à medida que os modelos melhorem. Já se observa que modelos mais inteligentes requerem engenharia menos prescritiva — permitindo que agentes operem com mais autonomia. Mas mesmo que capacidades escalem, tratar contexto como um recurso precioso e finito permanecerá central para construir agentes confiáveis e efetivos.

Começar com context engineering no Claude Developer Platform hoje, e acessar dicas e best practices via o cookbook de memory and context management.

Takeaways derivados do ensaio

1. 01
   Contexto é recurso finito com retornos marginais decrescentes. Cada token adicional deprecia o attention budget. Trate como mala de viagem: espaço fixo, cada peça a mais rouba espaço de outra.
2. 02
   A arquitetura transformer impõe custo n² — a escassez é estrutural. Não é bug nem configuração — é a matemática por baixo da atenção. Context rot existe em todos os modelos, só varia a suavidade.
3. 03
   System prompts na "altitude certa" — nem hardcoded, nem vago. Zona Goldilocks: específico para guiar; flexível para generalizar. Use seções distintas; comece mínimo; itere sobre failure modes.
4. 04
   Tools enxutas, inequívocas e sem overlap. Se um engenheiro humano hesitaria entre duas tools, o agente hesitará mais. Conjunto mínimo viável > tool set inchado.
5. 05
   Examples canônicos e diversos, não lista de lavanderia de edge cases. Few-shot bem curado comunica comportamento; few-shot inchado afoga o sinal.
6. 06
   Just-in-time retrieval > pre-loading cego em ambientes dinâmicos. Identificadores leves + tools que carregam on demand. Metadata (path, nome, timestamp) é sinal próprio.
7. 07
   Progressive disclosure: entendimento em camadas, não em bloco. Agente descobre contexto por exploração, mantém só o necessário na working memory, externaliza o resto em notes.
8. 08
   Híbrido vence quando o domínio é mais estático (legal, finanças). Algumas coisas up-front para velocidade; autonomia para o resto. Padrão usado pelo Claude Code.
9. 09
   Long-horizon exige compaction + notes + sub-agents. Janela maior não resolve rot; resolve os sintomas. Use as três técnicas como ferramentas complementares, não alternativas.
10. 10
    "Do the simplest thing that works" permanece o melhor conselho. Modelos mais inteligentes requerem engenharia menos prescritiva. Evite superestruturar a partir do dia zero.