Newsletter

Quando a IA decide quem vive (e quem morre): o problema do bonde moderno

O dilema do carrinho na era da IA: quando as máquinas têm de tomar decisões éticas, o julgamento humano é realmente sempre superior? Um debate ainda em aberto. Porque a ética dos algoritmos pode ser melhor do que a humana (ou talvez não).

Imagine um vagão ferroviário fora de controlo a dirigir-se para cinco pessoas. Pode acionar uma alavanca para o desviar para outro carril, mas aí só há uma pessoa. O que faria?

Mas espere: e se essa pessoa fosse uma criança e as cinco fossem idosas? E se alguém lhe oferecesse dinheiro para puxar a alavanca? E se não visse bem a situação?

O que é o Problema do Carrinho? Formulado pela filósofa Philippa Foot em 1967, este experimento mental apresenta um dilema aparentemente simples: sacrificar uma vida para salvar cinco. Mas as variações são infinitas: o senhor gordo a empurrar da ponte, o médico que poderia matar um paciente saudável para salvar cinco com os seus órgãos, o juiz que poderia condenar um inocente para impedir uma revolta.

Cada cenário põe à prova os nossos princípios morais fundamentais: quando é aceitável causar um dano para evitar um dano maior?

Essa complexidade é exatamente o que torna a ética da inteligência artificial um desafio tão crucial para o nosso tempo.

O famoso «problema do bonde» é muito mais complexo do que parece — e essa complexidade é exatamente o que torna a ética da inteligência artificial um desafio tão crucial para o nosso tempo.

Da sala de filosofia aos algoritmos

O problema do carrinho, formulado pela filósofa Philippa Foot em 1967, nunca foi pensado para resolver dilemas práticos. Como salienta oInstituto Alan Turing, o verdadeiro objetivo original era demonstrar que os experimentos mentais são, em sua essência, divorciados da realidade. No entanto, na era da IA, esse paradoxo ganhou relevância imediata.

Por que isso é importante agora? Porque, pela primeira vez na história, as máquinas precisam tomar decisões éticas em tempo real — desde carros autônomos que navegam no trânsito até sistemas de saúde que alocam recursos limitados.

Claude e a Revolução da IA Constitucional

A Anthropic, empresa responsável pelo Claude, enfrentou esse desafio com uma abordagem revolucionária chamada Constitutional AI. Em vez de confiar exclusivamente no feedback humano, Claude é treinado com base numa «constituição» de princípios éticos explícitos, incluindo elementos da Declaração Universal dos Direitos Humanos.

Como funciona na prática?

  • Claude critica-se a si mesmo e revê as suas respostas.
  • Utiliza a «Aprendizagem por Reforço a partir do Feedback da IA» (RLAIF)
  • Mantém a transparência sobre os princípios que orientam as suas decisões

Umaanálise empírica de 700 000 conversas revelou que Claude expressa mais de 3.000 valores únicos, desde o profissionalismo ao pluralismo moral, adaptando-os a diferentes contextos, mantendo a coerência ética.

Os desafios reais: quando a teoria encontra a prática

Como ilustra brilhantemente o projeto interativo Absurd Trolley Problems de Neal Agarwal, os dilemas éticos reais raramente são binários e muitas vezes são absurdos na sua complexidade. Esta intuição é crucial para compreender os desafios da IA moderna.

Pesquisas recentes demonstram que os dilemas éticos da IA vão muito além do clássico problema do bonde. O projeto MultiTP, que testou 19 modelos de IA em mais de 100 idiomas, descobriu variações culturais significativas no alinhamento ético: os modelos estão mais alinhados com as preferências humanas em inglês, coreano e chinês, mas menos em hindi e somali.

Os desafios reais incluem:

  • Incerteza epistémica: agir sem informações completas
  • Preconceitos culturais: Valores diferentes entre culturas e comunidades
  • Responsabilidade distribuída: Quem é responsável pelas decisões da IA?
  • Consequências a longo prazo: efeitos imediatos vs. futuros

Ética humana vs. ética da IA: paradigmas diferentes, mas não necessariamente piores

Um aspeto frequentemente negligenciado é que a ética da IA pode não ser simplesmente uma versão imperfeita da ética humana, mas um paradigma completamente diferente — e, em alguns casos, potencialmente mais coerente.

O caso de «Eu, Robô»: No filme de 2004, o detetive Spooner (Will Smith) nutre desconfiança em relação aos robôs depois de ter sido salvo por um deles num acidente de carro, enquanto uma menina de 12 anos foi deixada a afogar-se. O robô explica a sua decisão:

«Eu era a escolha lógica. Calculei que ela tinha 45% de hipóteses de sobrevivência. A Sarah tinha apenas 11%. Aquela era a filha de alguém. 11% é mais do que suficiente.»

Este é exatamente o tipo de ética com que a IA funciona hoje: algoritmos que ponderam probabilidades, otimizam resultados e tomam decisões com base em dados objetivos, em vez de intuições emocionais ou preconceitos sociais. A cena ilustra um ponto crucial: a IA opera com princípios éticos diferentes, mas não necessariamente inferiores aos humanos:

  • Coerência matemática: Os algoritmos aplicam critérios de forma uniforme, sem serem influenciados por preconceitos emocionais ou sociais — exatamente como o robô que calcula probabilidades de sobrevivência.
  • Imparcialidade processual: Não favorecem automaticamente crianças em detrimento de idosos ou ricos em detrimento de pobres, mas avaliam cada situação com base nos dados disponíveis.
  • Transparência na tomada de decisões: Os critérios são explícitos e verificáveis («45% vs 11%»), ao contrário da intuição moral humana, frequentemente opaca.

Exemplos concretos na IA moderna:

  • Sistemas de saúde com IA que alocam recursos médicos com base na probabilidade de sucesso terapêutico
  • Algoritmos de correspondência para transplantes de órgãos que otimizam a compatibilidade e a probabilidade de sobrevivência
  • Sistemas automatizados de triagem em emergências que dão prioridade aos pacientes com maiores chances de recuperação

Mas talvez não: os limites fatais da ética algorítmica

No entanto, antes de celebrar a superioridade da ética da IA, temos de confrontar-nos com as suas limitações intrínsecas. A cena de «Eu, Robô», que parece tão lógica, esconde problemas profundos:

O Problema do Contexto Perdido: Quando o robô decide salvar o adulto em vez da criança com base nas probabilidades, ignora completamente elementos cruciais:

  • O valor social e simbólico da proteção dos mais vulneráveis
  • O impacto psicológico a longo prazo nos sobreviventes
  • As relações familiares e os laços afetivos
  • O potencial ainda não expresso de uma vida jovem

Os riscos concretos da ética puramente algorítmica:

Reducionismo extremo: transformar decisões morais complexas em cálculos matemáticos pode eliminar a dignidade humana da equação. Quem decide quais variáveis são importantes?

Preconceitos ocultos: os algoritmos incorporam inevitavelmente os preconceitos dos seus criadores e dos dados de treino. Um sistema que «otimiza» pode perpetuar discriminações sistémicas.

Uniformidade cultural: A ética da IA corre o risco de impor uma visão ocidental, tecnológica e quantitativa da moralidade a culturas que valorizam de forma diferente as relações humanas.

Exemplos de desafios reais:

  • Sistemas de saúde que poderiam aplicar critérios de eficiência de forma mais sistemática, levantando questões sobre como equilibrar a otimização médica e as considerações éticas
  • Algoritmos judiciais que correm o risco de perpetuar preconceitos existentes em maior escala, mas que também podem tornar mais transparentes as discriminações já existentes.
  • AI financeira que pode sistematizar decisões discriminatórias, mas também eliminar alguns preconceitos humanos relacionados a preconceitos pessoais

As críticas ao paradigma tradicional

Especialistas como Roger Scruton criticam o uso do problema do bonde por sua tendência a reduzir dilemas complexos a "pura aritmética", eliminando relações moralmente relevantes. Como argumenta um artigo da TripleTen, «resolver o problema do bonde não tornará a IA ética» — é necessária uma abordagem mais holística.

A questão central passa a ser: podemos nos dar ao luxo de delegar decisões morais a sistemas que, por mais sofisticados que sejam, carecem de empatia, compreensão contextual e sabedoria experiencial humana?

Novas propostas para um equilíbrio:

  • Estruturas éticas híbridas que combinam cálculo e intuição humana
  • Sistemas de supervisão humana para decisões críticas
  • Personalização cultural dos algoritmos éticos
  • Obrigatoriedade da transparência nos critérios de decisão
  • Direito de recurso humano para todas as decisões algorítmicas críticas

Implicações práticas para as empresas

Para os líderes empresariais, essa evolução exige uma abordagem diferenciada:

  1. Auditorias éticas sistemáticas dos sistemas de IA em uso - para compreender tanto as vantagens quanto as limitações
  2. Diversidade nas equipas que projetam e implementam IA, incluindo filósofos, especialistas em ética e representantes de diferentes comunidades
  3. Transparência obrigatória sobre os princípios éticos incorporados nos sistemas e sua fundamentação
  4. Formação contínua sobre quando a ética da IA funciona e quando falha
  5. Sistemas de supervisão humana para decisões com elevado impacto ético
  6. Direitos de recurso e mecanismos de correção para decisões algorítmicas

Como sublinha a IBM na sua previsão para 2025, a literacia em IA e a responsabilidade clara serão os desafios mais críticos para o próximo ano.

O Futuro da Ética da IA

AUNESCO está a liderar iniciativas globais para a ética da IA, com o 3.º Fórum Global previsto para junho de 2025 em Banguecoque. O objetivo não é encontrar soluções universais para os dilemas morais, mas desenvolver estruturas que permitam decisões éticas transparentes e culturalmente sensíveis.

A lição principal? O problema do carrinho não serve como solução, mas como lembrete da complexidade intrínseca das decisões morais. O verdadeiro desafio não é escolher entre ética humana ou algorítmica, mas encontrar o equilíbrio certo entre eficiência computacional e sabedoria humana.

A IA ética do futuro terá de reconhecer os seus limites: excelente no processamento de dados e na identificação de padrões, mas inadequada quando são necessárias empatia, compreensão cultural e julgamento contextual. Tal como na cena de «Eu, Robô», a frieza do cálculo pode, por vezes, ser mais ética — mas apenas se permanecer um instrumento nas mãos de uma supervisão humana consciente, não um substituto do julgamento moral humano.

O «(ou talvez não)» do nosso título não é indecisão, mas sabedoria: reconhecer que a ética, seja ela humana ou artificial, não admite soluções simples num mundo complexo.

Fontes e informações

Inspiração inicial:

Investigação académica:

Análises industriais:

Desenvolvimentos normativos: