Como as máquinas enxergam: visão computacional explicada do zero

Para um computador, uma foto é uma tabela de números. Transformar essa tabela em há um pedestre atravessando é o problema da visão computacional — e a forma como ele foi resolvido explica tanto os acertos quanto as falhas bizarras desses sistemas.

Imagem é matriz

Uma imagem colorida de 1000 por 1000 pixels é uma matriz de três milhões de números: intensidade de vermelho, verde e azul em cada ponto. Não há bordas, objetos ou pessoas nesse dado — apenas valores. Tudo o que chamamos de conteúdo precisa ser reconstruído a partir daí.

A ideia central: filtros que aprendem

Durante décadas, engenheiros escreviam à mão detectores de características: um filtro para achar bordas verticais, outro para cantos, outro para texturas. Funcionava razoavelmente em condições controladas e desmoronava fora delas.

A virada foi deixar a rede descobrir os filtros sozinha. Uma rede convolucional desliza pequenas janelas sobre a imagem procurando padrões, e ajusta esses padrões durante o treinamento. O resultado tem uma hierarquia bastante intuitiva:

  1. As primeiras camadas aprendem bordas e manchas de cor.
  2. As intermediárias combinam bordas em texturas e formas — círculos, grades, contornos.
  3. As profundas montam partes reconhecíveis: rodas, olhos, portas.
  4. A última camada combina essas partes em uma decisão: carro, gato, semáforo.

Mais recentemente, arquiteturas baseadas em Transformer — as mesmas dos modelos de linguagem — passaram a competir com as convolucionais, tratando a imagem como uma sequência de blocos. A lógica de hierarquia, porém, permanece.

As quatro tarefas clássicas

TarefaO que entregaExemplo de uso
ClassificaçãoUm rótulo para a imagem inteiraIsto é um raio-x de tórax normal ou alterado
DetecçãoCaixas em volta de cada objetoContar veículos em um cruzamento
SegmentaçãoRótulo para cada pixelSeparar tumor de tecido saudável
Estimativa de posePosição de articulações ou objetos no espaçoRobô calculando onde pegar uma peça

Por que esses sistemas erram feio

A rede aprende correlações, não conceitos. Se todas as fotos de vaca do conjunto de treino tiverem pasto verde ao fundo, o modelo pode ter aprendido pasto em vez de vaca — e falhar diante de uma vaca na praia. Esse tipo de atalho estatístico é a origem da maioria das falhas embaraçosas.

Some a isso a fragilidade a mudanças de domínio: um modelo treinado com imagens de dia, com boa iluminação e câmera de qualidade, degrada bastante à noite, na chuva ou com lente suja. E há os exemplos adversariais — alterações mínimas, imperceptíveis para nós, capazes de mudar completamente a classificação.

Há ainda a questão do viés: sistemas de reconhecimento facial já demonstraram taxas de erro desiguais entre grupos demográficos, reflexo direto da composição dos dados de treinamento. É um problema de conjunto de dados e de avaliação, não um detalhe de implementação.

O que perguntar antes de confiar

  • Em que condições o sistema foi avaliado, e elas se parecem com as suas?
  • Qual a taxa de erro por tipo — falso positivo e falso negativo custam a mesma coisa no seu caso?
  • O desempenho foi medido em subgrupos, ou só na média?
  • Existe plano para quando o modelo estiver errado e confiante?

Leia também: Paradoxo de Moravec.