Análise crítica de casos reais de utilização do LLM: entre a promessa e a realidade

Enquanto prossegue o debate sobre o valor real dos modelos linguísticos de grande dimensão (MLG), é essencial examinar criticamente os casos de utilização reais implementados pelas empresas. Esta análise visa examinar aplicações concretas de LLM em diferentes sectores, avaliando criticamente o seu valor real, as suas limitações e o seu potencial.

‍

Comércio eletrónico e retalho: otimização direcionada ou engenharia excessiva?

No sector do comércio a retalho e do comércio eletrónico, os LLM são utilizados para uma variedade de tarefas:

• Assistentes internos e melhoria do fluxo de trabalho: a Instacart desenvolveu um assistente de IA chamado Ava para apoiar as equipas na escrita, revisão e depuração de código, melhorar as comunicações e criar ferramentas internas. Embora promissor, é de perguntar se estes assistentes oferecem substancialmente mais valor do que ferramentas de colaboração mais tradicionais e menos complexas.
• Moderação de conteúdos e segurança: A Whatnot utiliza o LLM para melhorar a moderação de conteúdos multimodais, a proteção contra fraudes e a deteção de irregularidades nas ofertas. A Zillow utiliza a LLM para identificar conteúdos discriminatórios em anúncios de imóveis. Estes casos representam aplicações específicas em que a LLM pode oferecer um valor real, mas exigem sistemas de verificação exactos para evitar falsos positivos e negativos.
• Extração e classificação de informação: O OLX criou o assistente de IA Prosus para identificar funções de trabalho em anúncios, enquanto o Walmart desenvolveu um sistema para extrair atributos de produtos de PDFs. Estes casos demonstram a utilidade dos LLM na automatização de tarefas repetitivas que, de outra forma, exigiriam um trabalho manual significativo.
• Geração de conteúdos criativos: A StitchFix combina texto gerado por algoritmos com supervisão humana para simplificar a criação de títulos de publicidade e descrições de produtos. A Instacart gera imagens de produtos alimentares. Estas aplicações levantam questões sobre a originalidade do conteúdo gerado e a potencial homogeneização da linguagem publicitária.
• Melhoria da pesquisa: Leboncoin, Mercado Livre e Faire utilizam a LLM para melhorar a relevância da pesquisa, enquanto a Amazon emprega a LLM para compreender as relações de senso comum e fornecer recomendações de produtos mais relevantes. Estes casos representam uma área em que o valor acrescentado da LLM é potencialmente significativo, mas a complexidade computacional e os custos de energia associados podem não justificar a melhoria incremental em relação aos algoritmos de pesquisa existentes.

Fintech e Banca: Navegar entre o valor e os riscos regulamentares

‍

No sector financeiro, a LLM é aplicada com cautela, dada a natureza sensível dos dados e os rigorosos requisitos regulamentares:

• Classificação e etiquetagem de dados: A Grab utiliza o LLM para a gestão de dados, classificando entidades, identificando informações sensíveis e atribuindo etiquetas adequadas. Este caso de utilização é particularmente interessante, uma vez que aborda um desafio crítico para as instituições financeiras, mas exige mecanismos de controlo rigorosos para evitar erros de classificação.
• Geração de relatórios sobre crimes financeiros: SumUp gera narrativas estruturadas para relatórios sobre fraude financeira e branqueamento de capitais. Esta aplicação, embora prometendo reduzir o volume de trabalho manual, suscita preocupações quanto à capacidade dos LLM para tratar corretamente temas juridicamente sensíveis sem supervisão humana.
• Apoio a consultas financeiras: o Digits sugere consultas relacionadas com transacções bancárias. Este caso de utilização mostra como os LLM podem ajudar os profissionais sem os substituir, uma abordagem potencialmente mais sustentável do que a automatização total.

Tecnologia: automatização e serviço

‍

No sector da tecnologia, os LLM são amplamente utilizados para melhorar os fluxos de trabalho internos e a experiência do utilizador:

• Gestão de incidentes e segurança: De acordo com security.googleblog.com, a Google utiliza o LLM para fornecer resumos de incidentes de segurança e privacidade a vários destinatários, incluindo executivos, gestores e equipas de parceiros. Esta abordagem poupa tempo aos gestores e melhora a qualidade dos resumos de incidentes. A Microsoft utiliza o LLM para diagnosticar incidentes de produção, enquanto a Meta desenvolveu um sistema de análise de causas de raiz assistido por IA. A Incident.io gera resumos de incidentes de software. Estes casos demonstram o valor dos LLM na aceleração de processos críticos, mas levantam questões sobre a sua fiabilidade em situações de alto risco.
• Assistência à programação: o GitHub Copilot oferece sugestões de código e conclusões automáticas, enquanto o Replit desenvolveu o LLM para reparação de código. A NVIDIA utiliza o LLM para detetar vulnerabilidades de software. Estas ferramentas aumentam a produtividade dos programadores, mas também podem propagar padrões de código ineficientes ou inseguros se forem utilizadas de forma acrítica.
• Consultas de dados e pesquisa interna: Honeycomb ajuda os utilizadores a escrever consultas sobre os dados, Pinterest transforma as consultas dos utilizadores em consultas SQL. Estes casos mostram como os LLM podem democratizar o acesso aos dados, mas também podem levar a interpretações erróneas ou a ineficiências sem um conhecimento profundo das estruturas de dados subjacentes.
• Classificação e gestão de pedidos de assistência: a GoDaddy classifica os pedidos de assistência para melhorar a experiência do cliente. A Dropbox resume e responde a perguntas sobre ficheiros. Estes casos mostram o potencial dos LLM para melhorar o serviço ao cliente, mas suscitam preocupações quanto à qualidade e à exatidão das respostas geradas.

Entregas e mobilidade: eficiência operacional e personalização

‍

No sector da distribuição e da mobilidade, os LLM são utilizados para melhorar a eficiência operacional e a experiência do utilizador:

• Testes e apoio técnico: a Uber utiliza o LLM para testar aplicações móveis com o DragonCrawl e criou o Genie, um copiloto de IA para responder a questões de apoio. Estas ferramentas podem reduzir significativamente o tempo gasto em testes e apoio, mas podem não captar problemas complexos ou casos extremos como um testador humano faria.
• Extração e correspondência de informações sobre produtos: a DoorDash extrai detalhes de produtos a partir de dados de SKU e a Delivery Hero faz a correspondência do seu inventário com os produtos da concorrência. Estes casos mostram como os LLM podem automatizar processos complexos de correspondência de dados, mas podem introduzir preconceitos ou interpretações erradas sem controlos adequados.
• Pesquisa conversacional e relevância: o Picnic melhora a relevância da pesquisa para as listas de produtos, enquanto o Swiggy implementou a pesquisa neural para ajudar os utilizadores a descobrir alimentos e mercearias de uma forma conversacional. Estes casos ilustram como os LLM podem tornar as interfaces de pesquisa mais intuitivas, mas também podem criar "bolhas de filtragem" que limitam a descoberta de novos produtos.
• Automação do suporte: a DoorDash criou um chatbot de suporte baseado em LLM que recupera informações da base de conhecimento para gerar respostas que resolvem rapidamente os problemas. Esta abordagem pode melhorar os tempos de resposta, mas requer protecções robustas para lidar com situações complexas ou emocionalmente carregadas.

Redes sociais, meios de comunicação social e B2C: conteúdos e interações personalizados

‍

Nas redes sociais e nos serviços B2C, os LLM são utilizados para criar conteúdos personalizados e melhorar as interações:

• Análise e moderação de conteúdos: o Yelp actualizou o seu sistema de moderação de conteúdos com o LLM para detetar ameaças, assédio, obscenidade, ataques pessoais ou discursos de ódio. O LinkedIn analisa vários conteúdos na plataforma para extrair informações sobre competências. Estes casos mostram o potencial dos LLM para melhorar a qualidade dos conteúdos, mas suscitam preocupações quanto à censura e à potencial restrição da liberdade de expressão.
• Geração de conteúdos educativos e marketing: o Duolingo utiliza o LLM para ajudar os designers a gerar exercícios relevantes, enquanto o Nextdoor utiliza o LLM para criar objectos de correio eletrónico apelativos. Estas aplicações podem aumentar a eficiência, mas também podem conduzir a uma normalização excessiva dos conteúdos.
• Tradução e comunicação multilingues: Roblox explora um modelo multilingue personalizado para permitir que os utilizadores comuniquem sem problemas utilizando a sua própria língua. Esta aplicação mostra o potencial da LLM para ultrapassar as barreiras linguísticas, mas pode introduzir nuances culturais nas traduções.
• Interação com conteúdos multimédia: o Vimeo permite que os utilizadores conversem com vídeos através de um sistema de perguntas e respostas baseado em RAG que pode resumir o conteúdo do vídeo, ligar a momentos-chave e sugerir perguntas adicionais. Esta aplicação mostra como a LLM pode transformar a forma como interagimos com conteúdos multimédia, mas levanta questões sobre a fidelidade das interpretações geradas.

Avaliação crítica: valor real vs. seguir a tendência

Como salienta Chitra Sundaram, diretora da prática de gestão de dados da Cleartelligence, Inc., "os LLM são devoradores de recursos. A formação e o funcionamento destes modelos requerem uma enorme capacidade de computação, o que conduz a uma pegada de carbono significativa. A TI sustentável consiste em otimizar a utilização dos recursos, minimizar o desperdício e escolher a solução com a dimensão certa". Esta observação é particularmente relevante quando se analisam os casos de utilização apresentados.

‍

Analisando estes casos de utilização, surgem várias considerações críticas:

1. Valor Incremental vs. Complexidade

‍

Muitas aplicações de LLM oferecem melhorias incrementais em relação às soluções existentes, mas com custos computacionais, energéticos e de implementação significativamente mais elevados. Como afirma Chitra Sundaram, 'Utilizar uma LLM para calcular uma média simples é como utilizar uma bazuca para atingir uma mosca' (paste-2.txt). É crucial avaliar se o valor acrescentado justifica esta complexidade, especialmente tendo em conta:

• A necessidade de sistemas de controlo sólidos
• Custos energéticos e impacto ambiental
• A complexidade da manutenção e da atualização
• Requisitos de competências especializadas

2. Dependência da supervisão humana

‍

Os casos de utilização mais bem sucedidos mantêm uma abordagem "human-in-the-loop", em que as LLM ajudam e não substituem completamente a intervenção humana. Isto sugere que:

• A automatização total através do LLM continua a ser problemática
• O principal valor reside no reforço das capacidades humanas e não na sua substituição
• A eficácia depende da qualidade da interação homem-máquina

3. Especificidade do domínio vs. aplicações genéricas

‍

Os casos de utilização mais convincentes são aqueles em que os LLM foram adaptados e optimizados para domínios específicos, com conhecimento do domínio incorporado:

• Afinação de dados específicos do sector
• Integração com sistemas e fontes de conhecimento existentes
• Barreiras de proteção e restrições específicas do contexto

4. Integração com as tecnologias existentes

Os casos mais eficazes não utilizam o LLM isoladamente, mas complementam-no com:

• Sistemas de recuperação e arquivo de dados (RAG)
• Algoritmos especializados e fluxos de trabalho existentes
• Mecanismos de verificação e controlo

Como salienta o caso de utilização da Google, a integração dos LLM nos fluxos de trabalho de incidentes de segurança e privacidade permite "uma resposta acelerada a incidentes utilizando IA generativa", sendo os resumos gerados adaptados a vários públicos, garantindo que as informações relevantes chegam às pessoas certas no formato mais útil.

‍

Conclusão: Uma abordagem pragmática dos LLM

Chitra Sundaram oferece uma perspetiva esclarecedora quando diz: "O caminho para uma análise sustentável consiste em escolher a ferramenta certa para o trabalho, e não apenas em seguir a última tendência. Trata-se de investir em analistas qualificados e numa boa governação dos dados. Trata-se de fazer da sustentabilidade uma prioridade fundamental".

‍

A análise destes casos de utilização reais confirma que os LLM não são uma solução milagrosa, mas sim ferramentas poderosas que, quando aplicadas estrategicamente a problemas específicos, podem oferecer um valor significativo. As organizações devem:

1. Identificação de problemas específicos em que o processamento da linguagem natural oferece uma vantagem substancial em relação às abordagens tradicionais
2. Comece com projectos-piloto que possam demonstrar o valor de forma rápida e mensurável
3. Integrar o LLM nos sistemas existentes em vez de substituir completamente os fluxos de trabalho
4. Manter mecanismos de supervisão humana, especialmente para aplicações críticas
5. Avaliar sistematicamente a relação custo-benefício, considerando não só as melhorias de desempenho, mas também os custos de energia, manutenção e atualização

As empresas que prosperam na era dos LLM não são necessariamente as que os adoptam mais amplamente, mas as que os aplicam de forma mais estratégica, equilibrando a inovação e o pragmatismo e mantendo um olhar crítico sobre o valor real gerado para além do hype.

‍