Duas perguntas parecidas podem custar dez vezes valores diferentes. A explicação não está no modelo, está na unidade de cobrança e em como ela se acumula ao longo de uma conversa.
O token não é a palavra
Modelos de linguagem não leem letras nem palavras: leem tokens, pedaços de texto definidos por um dicionário construído durante o treino. Palavras comuns costumam ser um token só; palavras longas, técnicas ou em idiomas menos representados no treino se quebram em vários.
Isso tem um efeito prático pouco comentado: o mesmo conteúdo escrito em português costuma consumir mais tokens que em inglês, porque o vocabulário dos modelos foi otimizado em cima de um corpus com predominância inglesa. Números longos, códigos, URLs e identificadores também são caros — cada um vira uma sequência de fragmentos.
Entrada e saída não custam igual
Toda chamada tem dois lados. Os tokens de entrada são tudo o que você envia: instrução de sistema, histórico, documentos anexados, a pergunta. Os tokens de saída são o que o modelo gera. Na maioria dos provedores, a saída custa várias vezes mais que a entrada, porque gerar exige uma passagem pelo modelo por token produzido, enquanto a entrada é processada de uma vez.
A consequência é direta: pedir respostas mais curtas reduz custo de forma mais eficiente do que enxugar a pergunta. E um prompt que induz o modelo a raciocinar em voz alta antes de responder pode multiplicar a fatura mesmo quando a resposta final é de duas linhas.
A conversa longa é recobrada inteira
A parte mais contraintuitiva: modelos de linguagem não têm memória entre chamadas. Para continuar uma conversa, o aplicativo reenvia todo o histórico a cada nova mensagem. A décima pergunta de uma conversa carrega as nove anteriores mais todas as respostas — e você paga entrada por tudo isso de novo.
Por isso o custo de uma sessão cresce de forma quadrática, não linear. Conversas longas com documentos grandes anexados no começo são o padrão mais caro que existe, e quase sempre dá para evitá-lo resumindo o histórico ou reiniciando a sessão quando o assunto muda.
O que a janela de contexto realmente limita
| Conceito | O que é | Efeito prático |
|---|---|---|
| Janela de contexto | Total de tokens que cabe numa chamada, entrada mais saída | Ultrapassar gera erro ou corte silencioso do início |
| Limite de saída | Teto de tokens que o modelo gera numa resposta | Respostas longas podem ser truncadas no meio |
| Cache de prompt | Reuso do processamento de trechos repetidos | Reduz bastante o custo de instruções fixas longas |
| Limite de taxa | Tokens ou chamadas por minuto permitidos | Gargalo de throughput, não de qualidade |
Vale separar duas coisas que costumam ser confundidas. Janela grande diz quanto cabe, não quanto o modelo usa bem. Encher uma janela enorme com documentos pouco relevantes tende a piorar a resposta, além de encarecê-la: a informação certa fica diluída no meio de ruído.
Sete hábitos que reduzem a fatura
- Peça o formato da resposta. “Responda em até cinco linhas” corta a saída, que é a parte cara.
- Recomece a sessão quando o assunto mudar. Histórico irrelevante é custo puro.
- Envie o trecho, não o documento. Recuperar as três páginas certas sai mais barato e responde melhor que anexar o manual inteiro.
- Use cache para instruções fixas. Prompts de sistema longos e repetidos são o caso ideal.
- Escolha o modelo por tarefa. Classificar, extrair e formatar raramente exigem o modelo mais caro do catálogo.
- Meça por operação de negócio. Custo por ticket atendido diz mais que custo por mil tokens.
- Coloque alertas de consumo. O erro típico não é o preço unitário, é o laço que chama a API mais vezes do que deveria.
Onde otimizar deixa de valer a pena
Há um ponto em que economizar token vira falso ganho. Cortar contexto necessário produz respostas erradas que alguém precisa revisar, e o custo do tempo humano é maior que o da chamada. A régua certa é o custo total da tarefa concluída com qualidade aceitável — não o número que aparece no painel de uso.