Modelo multimodal

É um modelo capaz de processar mais de um tipo de entrada, como texto, imagem, áudio e vídeo, e de relacionar essas informações entre si. Um modelo multimodal pode receber uma foto e uma pergunta em texto e responder em texto, ou descrever o conteúdo de um vídeo. Isso é possível porque o modelo aprende a representar diferentes tipos de dado em um mesmo “espaço”, de forma que uma imagem de cachorro e a palavra “cachorro” fiquem próximas. Os modelos de visão e linguagem (VLMs) são o caso mais comum. Os principais LLMs atuais já são multimodais, o que simplifica muitas soluções que antes exigiam vários modelos separados.

Em Produto, modelos multimodais simplificam arquiteturas: uma única chamada pode substituir um pipeline com OCR, classificador de imagem e modelo de linguagem. Isso acelera protótipos e permite perguntas abertas sobre imagens, como “o que há de errado neste produto?”. O outro lado é custo e avaliação. Cada chamada tende a ser mais cara do que um modelo especializado, e avaliar respostas abertas sobre imagens é mais difícil do que avaliar uma classificação. Uma regra prática: para baixo volume e perguntas abertas, o modelo multimodal costuma ser a melhor escolha. Para alto volume e tarefas fixas, como classificar milhões de imagens em poucas categorias, um modelo especializado ainda ganha em custo e consistência.

Use modelo multimodal quando a interação combina tipos diferentes de informação, como imagem e texto, ou quando as perguntas sobre a imagem são abertas e mudam com frequência. Use modelo de visão dedicado quando a tarefa é fixa, o volume é alto e o custo por chamada importa. Use OCR quando a tarefa é apenas ler texto em imagens. Uma forma simples de diferenciar: modelo multimodal é generalista e flexível; modelo especializado é focado e eficiente.

CLIP (OpenAI, 2021) alinhou imagem e texto; GPT-4V (2023) e Gemini (2023) popularizaram LLMs que recebem imagem, áudio e vídeo.

Radford et al., CLIP (2021); Google Machine Learning Glossary