Giorgio Módulo 1 / 5
Retrieval híbrido, chunking e reranking
Embeddings capturam similaridade semântica; busca lexical preserva termos exatos. Sistemas fortes combinam BM25/lexical com vetores e depois rerank. O objetivo não é recuperar documentos parecidos, mas evidência suficiente para responder a pergunta.
Chunking deve respeitar estrutura e unidade semântica. Chunks grandes aumentam recall contextual mas desperdiçam janela; pequenos aumentam precisão mas podem separar premissas.
Exemplo resolvido · cenário didático
Recall antes da geração
Uma pergunta tem três documentos relevantes. O top-5 recupera dois deles: recall@5=2/3. Um gerador excelente não consegue citar a evidência ausente. Examine também se os trechos contêm o contexto necessário.
Teste sua compreensão
Se o top-10 recupera os três, a resposta já está garantida?
Conferir o raciocínio
Não. Mais recall pode trazer ruído; ordenação, seleção de contexto e geração ainda podem falhar.
Leitura de referência: Lewis et al. — Retrieval-Augmented Generation
Próximo módulo →Módulo 2 / 5
Grounding, provenance, citações e freshness
Cada afirmação verificável deve ser rastreável à evidência usada. Guarde source id, trecho, timestamp e transformação. Se fonte está desatualizada ou contraditória, o modelo precisa dizer isso em vez de fundir versões silenciosamente.
Context packing deve remover duplicatas e ordenar evidência por utilidade, não simplesmente encher a janela. Mais contexto pode piorar resposta quando contém distractors.
Exemplo resolvido · cenário didático
Citação não é prova automática
Um trecho diz “plano A: 10 GB em junho”. Ele não sustenta “todos os planos têm armazenamento ilimitado”. Separe cada afirmação, confira seu escopo e a data da evidência antes de aceitar a citação.
Teste sua compreensão
O que fazer quando duas versões do documento discordam?
Conferir o raciocínio
Registrar a divergência e escolher pela regra explícita de autoridade e vigência, ou declarar que não há resolução suficiente.
Leitura de referência: Lewis et al. — Retrieval-Augmented Generation
Próximo módulo →Módulo 3 / 5
Tool contracts, idempotência e autoridade de resultados
Ferramentas transformam o modelo em coordenador de ações. Um tool schema precisa de nomes claros, parâmetros tipados e erros explícitos. A ferramenta, não o modelo, deve ser autoridade para fatos que ela mede ou ações que ela executa.
Planejamento deve preferir o caminho mais estruturado: API/connector antes de automação de tela. Idempotência e confirmação são essenciais em writes; retries ingênuos podem duplicar pagamentos ou mensagens.
Exemplo resolvido · cenário didático
Repetir sem duplicar efeitos
Uma ferramenta de criar pedido recebe a chave de idempotência k. Se a resposta se perde, a repetição com k deve recuperar o mesmo resultado. Gerar uma nova chave a cada tentativa pode criar pedidos duplicados.
Teste sua compreensão
Uma chave fornecida pelo modelo elimina a necessidade de validar autorização?
Conferir o raciocínio
Não. O servidor ainda verifica usuário, operação, escopo e consistência do pedido.
Leitura de referência: Lewis et al. — Retrieval-Augmented Generation
Próximo módulo →Módulo 4 / 5
Working, episodic e semantic memory sob orçamento
Contexto recente funciona como working memory. Episodic memory guarda eventos específicos; semantic memory consolida padrões e fatos duráveis. Misturar tudo em um único vetor torna difícil atualizar, expirar e explicar origem.
Escrita de memória deve ser seletiva. Sinais úteis incluem instruções persistentes, entidades recorrentes, decisões e dependências abertas. Dados sensíveis e detalhes efêmeros pedem políticas próprias.
Exemplo resolvido · cenário didático
Memória com validade
“Entrega na terça-feira” tem utilidade temporária. Armazene a origem, o horário e a expiração junto do conteúdo. Uma preferência explicitamente confirmada pode ter prazo distinto, mas deve continuar editável e vinculada ao usuário correto.
Teste sua compreensão
É seguro compartilhar cache de memória entre usuários por similaridade textual?
Conferir o raciocínio
Não. O escopo de acesso deve ser aplicado antes da recuperação, independentemente da semelhança.
Leitura de referência: Lewis et al. — Retrieval-Augmented Generation
Próximo módulo →Módulo 5 / 5
Evals de retrieval, grounding e tool execution
Avalie retrieval separado da geração: recall@k, MRR/nDCG e cobertura de evidência. Depois avalie groundedness, correção, completude e qualidade de citação. Se misturar tudo em uma nota única, você não sabe se o erro veio da busca ou do modelo.
Para ferramentas, registre success rate, tool selection, parameter accuracy, recovery após erro e efeitos colaterais. Use tarefas reproduzíveis com outcomes verificáveis.
Exemplo resolvido · cenário didático
Localizar a etapa que falhou
Em dez perguntas, a busca encontra a evidência correta em oito e a resposta fica correta em seis dessas oito. A qualidade fim a fim é 6/10; a qualidade condicional à recuperação é 6/8. As duas métricas apontam gargalos diferentes.
Teste sua compreensão
Se a busca melhora para dez e a geração continua em seis, qual etapa revisar?
Conferir o raciocínio
A seleção de contexto e a geração. Melhorar recall não garante que a evidência seja usada corretamente.
Leitura de referência: Lewis et al. — Retrieval-Augmented Generation
Ir para o projeto →Projeto aplicado
Assistente documental com evidência verificável
- Prepare 20 documentos sintéticos e dez perguntas com trechos de referência.
- Compare busca lexical e uma segunda estratégia com o mesmo corpus.
- Registre recall, suporte das afirmações, fontes desatualizadas e perguntas sem resposta.
Critérios para revisar sua entrega
- A execução pode ser reproduzida a partir das instruções e dos arquivos entregues.
- O baseline, as condições e as métricas permitem conferir a comparação.
- O relatório distingue resultado medido, simulação, hipótese e limitação.
Esta rubrica orienta a autoavaliação do projeto; a conclusão e a credencial seguem a avaliação do curso.
Continue com evidências.
Os exemplos numéricos são didáticos. Compare o raciocínio com a referência e registre o que você observou no seu próprio experimento.
Lewis et al. — Retrieval-Augmented Generation ↗Progresso e avaliação
A leitura e o roteiro de exercícios são abertos. Para registrar progresso e realizar a avaliação final do curso, entre na área de estudo.
Abrir minha área de estudo ↗