Voltar para o blog
Engenharia

Por que o chat lê o seu print e o seu RAG não

Mandamos a página do PDF como imagem para quatro modelos grandes. Os gráficos foram de 0 para até 9 de 10, por menos de 2 centavos de dólar por pergunta.

RAGPDFLLMPython

Você tira um print de um gráfico, cola no Claude ou no ChatGPT e pergunta qual país cresceu menos. Ele responde certo, às vezes até com o valor aproximado. Aí você coloca o PDF desse mesmo relatório num RAG, faz a mesma pergunta e recebe "não encontrei".

Na parte 2, foi isso que aconteceu com o Relatório de Política Monetária do Banco Central. Com quatro extratores de PDF e um modelo local de 3 bilhões de parâmetros, os gráficos ficaram em 0 de 10. O melhor resultado, 4 de 10, custou duas horas de modelo de visão por idioma, com descrições genéricas e até inventadas.

No fim daquele artigo, propusemos uma saída: buscar no texto e responder olhando a imagem da página, com um modelo grande via API. Prometemos testar. Testamos, com quatro modelos, as mesmas 33 perguntas e o custo medido chamada a chamada.

O resumo: os gráficos foram de 0 para 7 de 10 em português e 9 de 10 em inglês, exatamente o teto que a busca permite. Quando a página certa chegou, os três maiores modelos acertaram todas. Cada pergunta custou de US$ 0,007 a US$ 0,019. E no caminho o nosso avaliador quebrou duas vezes, de um jeito que vale contar.

O código completo está em salada-dados/blog, no arquivo vision.py. Este rodou com chave de API: o experimento inteiro, com testes, custou US$ 3,94.


Por que o chat lê o seu print

O modelo do chat não é mágico. A diferença está em o que ele recebe e quando.

No chatNo pipeline da parte 2
Quem olha a imagemUm modelo grandeUm modelo de 3B, em CPU
Quando olhaJunto com a sua perguntaAntes de qualquer pergunta existir
O que ele procuraA resposta da sua pergunta"Descreva este gráfico em até 5 frases"
O que chega ao LLM que respondeA imagemSó a descrição, em texto

O segundo ponto é o que mais pesa. Descrever um gráfico às cegas é escrever um resumo genérico, sem saber o que vai importar. Na parte 2, o modelo de visão descreveu o Gráfico 1.1.4, o do crescimento do PIB por país, como "um indicador específico entre 2025 e 2026". Em inglês, afirmou que o Reino Unido "quase dobrou", o que não está no gráfico. Ninguém consegue achar o país que cresceu menos nessa descrição.

Com a imagem e a pergunta juntas, o modelo procura uma coisa só: a menor barra. Foi o que fizeram os quatro modelos deste teste, que responderam "Japan" olhando a página em inglês.

O experimento

Tudo antes da resposta ficou igual à parte 2, para que a comparação seja justa:

  • O mesmo documento, nas versões em português e em inglês, e as mesmas 33 perguntas: 12 respondidas no texto, 11 numa tabela e 10 só num gráfico.
  • A mesma busca: texto extraído com pypdf, pedaços de até 400 tokens, embeddings multilingual-e5-small e os 3 pedaços mais parecidos.

Mudou só quem responde. Cada um dos quatro modelos respondeu cada pergunta duas vezes:

  • Texto: os mesmos 3 pedaços de texto que o modelo pequeno recebeu na parte 2.
  • Imagem: as páginas de onde vieram esses pedaços (2,8 páginas por pergunta, em média), renderizadas em 150 dpi.

Comparar os dois modos separa duas coisas que costumam vir misturadas: o ganho de usar um modelo maior e o ganho de ver a página.

Como nas outras partes, não há framework de RAG no meio, nem LangChain nem LlamaIndex: cada etapa é uma função curta, à vista. Assim dá para garantir que só uma coisa muda entre um teste e outro.

Os modelos, todos chamados pelo OpenRouter, que dá acesso a vários provedores com uma chave só:

ModeloProvedorPreço por milhão de tokens (entrada / saída)
Claude Sonnet 5.5AnthropicUS$ 2 / 10
GPT-6.1 SolOpenAIUS$ 2 / 10
Gemini 4 ArgonGoogleUS$ 2 / 10
Qwen3-VL 235BAlibaba (modelo aberto)US$ 0,21 / 1,90

Os três primeiros estão na mesma faixa de preço. O Qwen grande é da mesma família do qwen2.5vl:3b da parte 2, só que 80 vezes maior: ele mostra até onde vai um modelo aberto e barato.

Resultados

Respostas certas, de 33 perguntas:

ModeloModoTexto (12)Tabela (11)Gráfico (10)Total (pt)Total (en)
qwen2.5:3b (parte 2)texto820109
Claude Sonnet 5.5texto9501413
imagem12672525
GPT-6.1 Soltexto9511515
imagem11672425
Gemini 4 Argontexto9501414
imagem11672425
Qwen3-VL 235Btexto9511517
imagem11572319
Teto da busca10672325

As colunas por tipo são do português. O "teto da busca" é o número de perguntas em que a página da resposta estava entre as páginas enviadas. Algumas respostas aparecem em mais de uma página, e por isso o Claude, no modo imagem, passou do teto nas perguntas de texto.

Três coisas saltam da tabela.

Um modelo maior lendo o mesmo texto ajuda pouco. De 10 para 14 ou 15 acertos. O ganho vem quase todo das tabelas, que foram de 2 para 5: com o número certo no contexto, o modelo grande não lê a célula vizinha, como o 3B fazia. Mas os gráficos continuam em zero, porque o número não está no texto. Nenhum modelo, de nenhum tamanho, lê o que não recebeu.

Ver a página é o que muda o jogo. Com a imagem, os gráficos foram para 7 de 10 em português e 9 de 10 em inglês. É exatamente o teto: nas outras perguntas, a busca não trouxe a página do gráfico.

Quando a página certa chegou, os três maiores acertaram tudo. Somando os dois idiomas, foram 48 perguntas com a página-alvo nas imagens, e Claude, GPT e Gemini acertaram as 48. Todo erro que sobrou foi da busca. O gargalo mudou de lugar: não é mais ler, é achar.

O Qwen 235B ficou um degrau abaixo: acertou 41 dessas 48. Leu números errados em gráficos e tabelas ("4,5%" em vez de 4,1, "2024" em vez de 2025). Por um quinto do preço do Gemini e um treze avos do Claude, é um resultado razoável, mas não é o mesmo.

Quanto custou de verdade

Na parte 2, estimamos cerca de 2.900 tokens por página A4 em 150 dpi e uns US$ 0,02 por pergunta. Agora temos os números que o OpenRouter devolve em cada chamada:

ModeloTokens por páginaCusto por pergunta (imagem)1.000 perguntas por dia, por mês
Gemini 4 Argon~1.100US$ 0,0066~US$ 200
Claude Sonnet 5.5~2.850US$ 0,0169~US$ 510
GPT-6.1 Sol~2.570US$ 0,0185~US$ 560
Qwen3-VL 235B~2.150US$ 0,0013~US$ 40

A estimativa bateu para o Claude, cuja conta de tokens por imagem usamos na parte 2. Mas o Gemini cobra menos da metade dos tokens pela mesma página, e por isso empata em acertos com os outros dois por um terço do preço. Cada provedor tem a sua própria conta de tokens por imagem, e ela pesa mais que o preço por token.

O modo texto custa de US$ 0,003 a US$ 0,005 por pergunta nos três grandes. A imagem custa de 2 a 5 vezes mais, e ainda é pouco perto da alternativa da parte 2, que levava duas horas por idioma para descrever as figuras e acertava 4 de 10.

O tempo de resposta ficou em 4 segundos por pergunta, na mediana, para Claude, GPT e Qwen, e em 7 segundos para o Gemini.

Preços de novembro de 2026, sem a taxa que o OpenRouter cobra na compra de créditos. Confira antes de orçar: eles mudam com frequência.

O que a IA de coding não vai te avisar

O avaliador quebra quando o modelo muda

Na primeira rodada de teste, com duas perguntas, uma resposta contou como certa. Ela dizia:

Não encontrei essa informação nas páginas fornecidas, que tratam apenas da atividade
econômica do Brasil e não trazem dados de crescimento do PIB de EUA, China, Japão,
área do euro ou Reino Unido.

A resposta certa era "Japão", e "Japão" está ali, na lista que o Claude repetiu da pergunta. O modelo de 3B da parte 2 quase sempre recusava com uma frase curta. Um modelo grande que recusa explicando o porquê derruba a regra.

A correção foi detectar a recusa antes de procurar a resposta:

evaluate.py
REFUSAL = re.compile(r"não (encontrei|foi possível|está)|não (há|consta|aparece)|"
                     r"could not find|couldn't find|cannot find|can't find|"
                     r"not (found|given|shown|provided|in the)|(does|do) not provide",
                     re.I)
 
correct = contains(reply, answers) and not REFUSAL.search(reply)

A lista de frases não é exaustiva, e nem tem como ser. Ela cobre as recusas que lemos nas respostas das partes 2 e 3. Uma frase de recusa genérica, como "não traz", pegaria também uma resposta certa do Claude, que leu o pico da gasolina no gráfico: "aproximadamente R$ 6,78/litro, valor lido no gráfico, pois as páginas não trazem o número no texto". Toda regra nova precisa ser conferida contra os acertos, e não só contra os erros.

Não foi um caso isolado. Na rodada completa, essa regra barrou 9 recusas que teriam contado como acerto, 8 delas do Claude, o que mais explica por que recusa. Sem ela, o Claude teria levado 7 acertos a mais só no modo texto, e a conclusão "modelo maior lendo texto ajuda pouco" ficaria mais fraca do que é. Depois, fomos procurar o mesmo defeito na parte 2 e achamos um: com o pypdf, em inglês, "o trecho não compara a alta da ureia e do enxofre" contava como acerto para a pergunta "ureia ou enxofre?".

O segundo tropeço foi ao contrário. Em inglês, os modelos responderam "958,000" à pergunta sobre o saldo de empregos, e o gabarito era "958" (mil). A regra que impede "2,8" de casar com "12,8" também barrava "958,000". Uma resposta certa contava como erro, e isso já estava acontecendo na parte 2: todos os extratores perderam um acerto em inglês. Corrigimos os dois defeitos, recalculamos a parte 2 com as respostas já salvas e publicamos uma nota de correção naquele artigo. As conclusões dela não mudaram.

A lição vale para qualquer avaliação automática: o avaliador foi feito para as respostas de um modelo. Trocou o modelo, leia as respostas de novo, uma a uma, antes de confiar na contagem.

Modelo barato chuta

Quando a busca não trouxe a página certa, o esperado é o modelo dizer que não encontrou. Em 18 perguntas assim (pt e en), no modo texto:

ModeloDisse que não encontrouRespondeu algo errado
Claude, GPT e Gemini180
Qwen3-VL 235B612

O Qwen inventou uma resposta em dois terços dos casos.

O mesmo hábito aparece nos acertos de gráfico do modo texto. Nas perguntas como "qual país cresceu menos?", os trechos traziam os candidatos (os nomes da legenda, os anos do eixo), mas não os valores que dizem qual é o menor. O Claude e o Gemini disseram que não dava para saber. O Qwen escolheu um candidato e acertou 4 vezes; o GPT, 2. Por sorte ou por algo que já sabiam, não dá para dizer, e é por isso que esse tipo de acerto vale pouco.

Num RAG, "não encontrei" é uma resposta útil: diz ao usuário que o sistema falhou. Um número inventado com confiança é pior que nenhum.

A conta de tokens por imagem não é universal

Se você estimar o custo com a conta de um provedor, como fizemos na parte 2, vai acertar para esse provedor e errar para os outros. Aqui, a mesma página custou de 1.100 a 2.850 tokens. Meça com duas ou três chamadas de verdade antes de orçar, e guarde o custo que a API devolve em cada resposta.

Mandar a página é mandar o documento

No modo imagem, a página inteira sai da sua máquina, com tudo o que estiver nela, e não só o trecho que a busca achou. Num relatório público, tudo bem. Em contrato, prontuário ou dado de cliente, entram a LGPD e o contrato com o provedor, e passar por um intermediário como o OpenRouter adiciona mais uma empresa nessa conta. Os riscos que listamos na parte 2 (custo por uso, prompt injection escondido em imagem, dependência do fornecedor) continuam valendo.

A solução, em código

O essencial do vision.py cabe em poucas linhas. A busca é a da parte 2. Depois dela, as páginas dos 3 pedaços encontrados vão como imagem, junto com a pergunta:

vision.py
import base64, pymupdf, requests
 
def page_png(doc, page, dpi=150):
    pix = doc[page - 1].get_pixmap(dpi=dpi)
    return base64.b64encode(pix.tobytes("png")).decode()
 
pages = sorted({page for _, page in top3})  # páginas dos 3 pedaços encontrados
content = [{"type": "image_url", "image_url": {"url": f"data:image/png;base64,{page_png(doc, p)}"}}
           for p in pages]
content.append({"type": "text", "text": pergunta})
 
r = requests.post("https://openrouter.ai/api/v1/chat/completions",
                  headers={"Authorization": f"Bearer {chave}"},
                  json={"model": "google/gemini-4-argon", "temperature": 0,
                        "messages": [{"role": "system", "content": prompt},
                                     {"role": "user", "content": content}],
                        "usage": {"include": True}})  # devolve o custo da chamada

A chave fica numa variável de ambiente, nunca no código. E o script guarda cada resposta num cache em disco, então rodar de novo para mudar o avaliador não custa nada. Foi assim que corrigimos as duas falhas acima sem gastar mais um centavo.

Quando essa arquitetura vale a pena:

  • Vale quando a resposta pode estar num gráfico ou numa tabela, o documento pode sair da sua máquina e o volume é moderado.
  • Rende menos nas perguntas respondidas no texto: ali, o modo texto acertou 9 de 12, contra 11 ou 12 com imagem, por uma fração do preço. Um meio-termo é mandar a imagem só quando a pergunta pede número.
  • Não resolve a busca. Se a página não chega, nenhum modelo acerta. Com o PDF escaneado, o pypdf não extrai texto, e aí a busca precisa de OCR ou de outra estratégia.

Cuidados antes de generalizar

33 perguntas é pouco. Diferenças de um ou dois acertos entre Claude, GPT e Gemini não querem dizer nada. O que a amostra mostra com clareza é a distância entre texto e imagem, de cerca de 10 acertos.

O resultado vale para este documento. O RPM é um PDF digital com gráficos vetoriais, e os rótulos que o pypdf extrai é que fazem a busca achar a página do gráfico. Com gráficos em imagem, esse teto seria mais baixo.

Os modelos e os preços mudam. Os nomes e os valores são de novembro de 2026. O que deve durar é o desenho do teste: o mesmo pipeline, com texto e com imagem, medido pergunta a pergunta.

Um intermediário a mais. O OpenRouter facilitou comparar quatro provedores com uma chave só. Em produção, falar direto com o provedor elimina um elo na cadeia de dados e a taxa.

Próximos passos

Esta é a parte 3 da série sobre RAG. O gargalo agora é a busca: em 10 das 33 perguntas em português, a página certa nem chegou ao modelo. Melhorar isso, com resumos das tabelas e gráficos no índice ou com busca multimodal direto nas imagens das páginas, é o próximo experimento.

Antes disso, na parte 4, o banco vira uma ferramenta que um agente consulta via MCP.