A indústria invisível que torna possível o ChatGPT, a Difusão Estável e todos os outros sistemas modernos de IA

‍

O segredo mais bem guardado da IA

Quando utiliza o ChatGPT para escrever um e-mail ou gerar uma imagem com o Midjourney, raramente pensa no que está por detrás da "magia" da inteligência artificial. No entanto, por detrás de cada resposta inteligente e de cada imagem gerada está uma indústria multibilionária de que poucas pessoas falam: o mercado de dados de treino de IA.

‍

Este sector, que, segundo a MarketsandMarkets, atingirá 9,58 mil milhões de dólares em 2029, com uma taxa de crescimento de 27,7% ao ano, é o verdadeiro motor da inteligência artificial moderna. Mas como funciona exatamente este negócio oculto?

‍

O ecossistema invisível que movimenta milhares de milhões

Os gigantes comerciais

Algumas empresas dominam o mundo dos dados de treino de IA de que a maioria das pessoas nunca ouviu falar:

‍

A Scale AI, a maior empresa do sector com uma quota de mercado de 28%, foi recentemente avaliada em 29 mil milhões de dólares após o investimento da Meta. Os seus clientes empresariais pagam entre 100 000 e vários milhões de dólares por ano por dados de elevada qualidade.

‍

A Appen, sediada na Austrália, opera uma rede global de mais de 1 milhão de especialistas em 170 países que marcam e selecionam manualmente os dados para a IA. Empresas como a Airbnb, a John Deere e a Procter & Gamble utilizam os seus serviços para "ensinar" os seus modelos de IA.

‍

O mundo da fonte aberta

Paralelamente, existe um ecossistema de fonte aberta liderado por organizações como a LAION (Large-scale Artificial Intelligence Open Network), uma organização alemã sem fins lucrativos que criou o LAION-5B, o conjunto de dados de 5,85 mil milhões de pares imagem-texto que tornou possível a Stable Diffusion.

‍

O Common Crawl liberta mensalmente terabytes de dados brutos da Web utilizados para treinar o GPT-3, o LLaMA e muitos outros modelos linguísticos.

‍

Os custos ocultos da Inteligência Artificial

O que o público não sabe é quão dispendioso se tornou treinar um modelo moderno de IA. De acordo com a Epoch AI, os custos aumentaram 2 a 3 vezes por ano nos últimos oito anos.

‍

Exemplos de custos reais:

• Google Gemini 1.0 Ultra: aproximadamente 192 milhões de dólares
• GPT-4: estimado em mais de 100 milhões de dólares
• Projecções futuras: mais de mil milhões de dólares até 2027

O número mais surpreendente? De acordo com o AltIndex.com, os custos de formação em IA aumentaram 4 300% desde 2020.

‍

Os desafios éticos e jurídicos do sector

A questão dos direitos de autor

Uma das questões mais controversas diz respeito à utilização de material protegido por direitos de autor. Em fevereiro de 2025, o tribunal do Delaware decidiu no processo Thomson Reuters v. ROSS Intelligence que a formação em IA pode constituir uma violação direta dos direitos de autor, rejeitando a defesa da "utilização justa".

‍

O Gabinete de Direitos de Autor dos EUA publicou um relatório de 108 páginas que conclui que certas utilizações não podem ser defendidas como utilização justa, abrindo caminho a custos de licenciamento potencialmente enormes para as empresas de IA.

Privacidade e dados pessoais

Uma investigação do MIT Technology Review revelou que o DataComp CommonPool, um dos conjuntos de dados mais utilizados, contém milhões de imagens de passaportes, cartões de crédito e certidões de nascimento. Com mais de 2 milhões de descarregamentos nos últimos dois anos, este facto levanta enormes problemas de privacidade.

‍

O futuro: escassez e inovação

O problema dos dados de pico

Os especialistas prevêem que, até 2028, a maioria dos textos públicos gerados por humanos disponíveis em linha será utilizada. Este cenário de "pico de dados" está a levar as empresas a procurar soluções inovadoras:

• Dados sintéticos: geração artificial de dados de treino
• Acordos de licença: Parcerias estratégicas como a existente entre a OpenAI e o Financial Times
• Dados multimodais: combinação de texto, imagens, áudio e vídeo

Novos regulamentos em breve

A Lei da Transparência da IA da Califórnia exigirá que as empresas divulguem os conjuntos de dados utilizados para formação, enquanto a UE está a implementar requisitos semelhantes na Lei da IA.

‍

Oportunidades para as empresas italianas

Para as empresas que pretendem desenvolver soluções de IA, é crucial compreender este ecossistema:

Opções económicas:

• Hugging Face: Mais de 50.000 conjuntos de dados gratuitos
• Conjuntos de dados de fonte aberta: Common Crawl, LAION, MS COCO para projectos experimentais

Soluções empresariais:

• Escalas de IA e Appen para projectos de missão crítica
• Serviços especializados: Como a Nexdata para PNL ou a FileMarket AI para dados áudio

Conclusões

O mercado de dados de treino de IA vale 9,58 mil milhões de dólares e está a crescer 27,7% ao ano. Esta indústria invisível não só é o motor da IA moderna, como também representa um dos maiores desafios éticos e jurídicos do nosso tempo.

‍

No próximo artigo, iremos explorar a forma como as empresas podem entrar concretamente neste mundo, com um guia prático para começar a desenvolver soluções de IA utilizando os conjuntos de dados e as ferramentas atualmente disponíveis.

‍

Para aqueles que querem saber mais agora, compilámos um guia detalhado com o roteiro de implementação, custos específicos e conjunto completo de ferramentas - descarregável gratuitamente com a subscrição da newsletter.

‍

Ligações úteis para começar de imediato:

‍

• Ambiente de desenvolvimento: Google Colab (gratuito com GPU)
• Conjuntos de dados de fonte aberta: Conjuntos de dados de rostos abraçados
• Ferramenta de anotação: Label Studio (gratuito)
• Implementação rápida: Gradio + HF Spaces
• Cursos práticos: Fast.ai (gratuito, prático)

Fontes técnicas:

• Documentação sobre o rosto dos abraços
• Tutoriais PyTorch
• Guias do TensorFlow
• Artigos com código (modelos SOTA + conjuntos de dados)
• ‍

Não fique à espera da "revolução da IA". Crie-a. Daqui a um mês, poderá ter o seu primeiro modelo funcional, enquanto outros ainda estão a planear.