Para um computador, uma foto é uma tabela de números. Transformar essa tabela em há um pedestre atravessando é o problema da visão computacional — e a forma como ele foi resolvido explica tanto os acertos quanto as falhas bizarras desses sistemas.
Imagem é matriz
Uma imagem colorida de 1000 por 1000 pixels é uma matriz de três milhões de números: intensidade de vermelho, verde e azul em cada ponto. Não há bordas, objetos ou pessoas nesse dado — apenas valores. Tudo o que chamamos de conteúdo precisa ser reconstruído a partir daí.
A ideia central: filtros que aprendem
Durante décadas, engenheiros escreviam à mão detectores de características: um filtro para achar bordas verticais, outro para cantos, outro para texturas. Funcionava razoavelmente em condições controladas e desmoronava fora delas.
A virada foi deixar a rede descobrir os filtros sozinha. Uma rede convolucional desliza pequenas janelas sobre a imagem procurando padrões, e ajusta esses padrões durante o treinamento. O resultado tem uma hierarquia bastante intuitiva:
- As primeiras camadas aprendem bordas e manchas de cor.
- As intermediárias combinam bordas em texturas e formas — círculos, grades, contornos.
- As profundas montam partes reconhecíveis: rodas, olhos, portas.
- A última camada combina essas partes em uma decisão: carro, gato, semáforo.
Mais recentemente, arquiteturas baseadas em Transformer — as mesmas dos modelos de linguagem — passaram a competir com as convolucionais, tratando a imagem como uma sequência de blocos. A lógica de hierarquia, porém, permanece.
As quatro tarefas clássicas
| Tarefa | O que entrega | Exemplo de uso |
|---|---|---|
| Classificação | Um rótulo para a imagem inteira | Isto é um raio-x de tórax normal ou alterado |
| Detecção | Caixas em volta de cada objeto | Contar veículos em um cruzamento |
| Segmentação | Rótulo para cada pixel | Separar tumor de tecido saudável |
| Estimativa de pose | Posição de articulações ou objetos no espaço | Robô calculando onde pegar uma peça |
Por que esses sistemas erram feio
A rede aprende correlações, não conceitos. Se todas as fotos de vaca do conjunto de treino tiverem pasto verde ao fundo, o modelo pode ter aprendido pasto em vez de vaca — e falhar diante de uma vaca na praia. Esse tipo de atalho estatístico é a origem da maioria das falhas embaraçosas.
Some a isso a fragilidade a mudanças de domínio: um modelo treinado com imagens de dia, com boa iluminação e câmera de qualidade, degrada bastante à noite, na chuva ou com lente suja. E há os exemplos adversariais — alterações mínimas, imperceptíveis para nós, capazes de mudar completamente a classificação.
Há ainda a questão do viés: sistemas de reconhecimento facial já demonstraram taxas de erro desiguais entre grupos demográficos, reflexo direto da composição dos dados de treinamento. É um problema de conjunto de dados e de avaliação, não um detalhe de implementação.
O que perguntar antes de confiar
- Em que condições o sistema foi avaliado, e elas se parecem com as suas?
- Qual a taxa de erro por tipo — falso positivo e falso negativo custam a mesma coisa no seu caso?
- O desempenho foi medido em subgrupos, ou só na média?
- Existe plano para quando o modelo estiver errado e confiante?
Leia também: Paradoxo de Moravec.