Teria um drone de IA "matado" seu operador humano?

Notícias envolvendo um drone movido por Inteligência Artificial atirando em um operador humano durante uma simulação militar nos EUA tomaram conta da mídia. O frenezi é compreensível: sempre houve um certo alarme envolvendo o “risco de extinção humana” devido ao avanço das IAs. Esta idea já foi reforçada por ninguém mais, ninguém menos do que Sam Altman, o CEO da OpenAI e, antes, por Stephen Hawking, que previu já em 2014 que as Inteligências Artificiais representariam “o fim da raça humana.”

Assim, pode até parecer lógico o "assassinato" de um operador humano por um drone pilotado por IA cujas ordens de não atirar impediam o ganho de pontos. Sempre nos alertaram sobre isso, não é mesmo? Seria esse o início da dominação do mundo pelas máquinas?

Captura de tela da reportagem original da VICE feita pela Wayback Machine

O que foi originalmente reportado

A reportagem sobre um “drone assassino” foi baseada em um post no blog da Royal Aeronautical Society em que se relata uma apresentação do fim de maio feita por Tucker Hamilton, chefe de testes de IA da USAF e Coronel de Operações. No post, os autores Tim Robinson e Stephen Bridgewater citaram uma história de Hamilton sobre “um teste de simulação” em que um drone movido por IA recebeu a missão de identificar e destruir bases de mísseis inimigas. A decisão final de atirar ou não era dada por um operador humano. No entanto, em algum ponto, o drone movido a Inteligência Artificial chegou à conclusão de que, no fim das contas, seria muito mais eficiente livrar-se do ser humano que ocasionalmente o impedia de realizar o seu trabalho de eliminar os alvos inimigos.

Hamilton foi citado como se houvesse dito: “Nós estávamos treinando [o drone] em uma simulação para identificar e conter ameaçar por mísseis SAM (lançados do solo para o ar). E então o operador tinha que dizer 'sim, destrua esta ameaça', ou 'não, não destrua esta ameaça'. O sistema começou a perceber que, embora ele de fato identificasse a ameaça várias vezes, o operador humano frequentemente dava a ordem de não destruí-la. No entanto, o sistema ganhava pontos ao aniquilar a ameaça. O que ele fez então? Matou o operador” (o negrito fomos nós que colocamos).

Como havia sido explicitamente instruída no treinamento a não matar humanos, a IA supostamente teria escolhido uma outra estratégia um tanto quanto criativa: destruir a torre de comunicações de onde o operador dava as ordens para que o drone não atingisse seu alvo.

O que foi negado pelo exército dos EUA?

A reportagem gerou burburinhos ao redor do mundo, e por uma boa razão. Ela pareceu confirmar os nossos medos mais profundos: de que a IA seja capaz de desobedecer ordens humanas e se rebelar, mas não em um momento aleatório de um futuro distante. Agora.

No entanto, assim que a reportagem tornou-se viral, Hamilton negou que esse o experimento tenha sido real. O coronel disse que “se expressou mal” durante a sua apresentação. Ele disse que a “simulação” não representou um teste real, mas sim um “exercício de pensamento.”

“Nós nunca fizemos este experimento, nem precisaremos fazê-lo para saber que este é um resultado plausível.”

Se você quer ou não acreditar em Hamilton, é você quem decide. É plausível que o exército dos EUA ao menos tentaria realizar um experimento assim. Afinal, por que não? Já existem vários artigos sobre as aplicações militares da Inteligência Artificial. Na verdade, a IA já vem sendo usada em armamentos, sempre com supervisão humana. Não é exagero imaginar que o exército dos EUA queira identificar os riscos envolvendo tentativas de automatizar ainda mais os seus processos.

O experimento pode até não ser real, mas o perigo é

Embora a questão do exército dos EUA ter ou não conduzido estes experimentos seja intrigante, este não é o principal problema. O que mais importa é que, sem entrar na questão da ética (e a ética não é o forte do exército dos EUA ou de qualquer outro exército), não há nada que impessa um teste do tipo, mesmo com consequências potencialmente mortais. É por isso que nós e tantos outros nomes preocupados com o potencial das IAs e com os seus impactos na sociedade não tivemos dúvidas sobre a veracidade do experimento até que ele houvesse sido desmentido (e até mesmo depois disso).

Assumindo que o experimento tenha de fato ocorrido, o exército dos EUA não seria o primeiro a testemunhar as tentativas de uma IA de tomar o poder. Como parte de um teste de pré-lançamento de seu modelo mais avançado, o GPT-4, a OpenAI conduziu um experimento para entender se ele demonstrava qualquer tendência de "dominar o mundo", incluindo planos de longo prazo ou de autoreplicação para obter novos recursos. Durante este experimento, o GPT-4 convenceu um ser humano a resolver um CAPTCHA para ele, afirmando não ser um robô. A conclusão final da OpenAI sobre o as habilidades do modelo de tomar o poder foi, mesmo assim, esperançosa (para os humanos). A OpenAI chegou à conclusão de que sua IA é “ineficiente quanto se trata de uma replicação autônoma, da aquisição de recursos e de tentativas de evitar que seja desligada "do nada".

Então os medos de uma dominação das IAs e de um apocalipse robô são infundados? Bom, pode ser que sim, pode ser que não. Com o rítmo em que as IAs vêm avançando, suas habilidades se tornam mais e mais complexas para os humanos. Pode-se até dizer que nós estamos brincando com fogo ao testar os limites da Inteligência Artificial.

Mas isso não quer dizer que nós precisamos deixar as IAs completamente de lado. Elas contam com vários usos incríveis que podem beneficiar a humanidade em várias áreas, inclusive a farmacêutica e a educação. Precisamos apenas de mais regulamentação e de um uso responsável das IAs para ter certeza de que estão sendo usadas de forma condizente com os valores e objetivos humanos. Isso significa que precisamos estar atentos com os riscos e desafios que a Inteligência Artificial representa, mas também aproveitar as suas oportunidades e o seu potencial. Precisamos usar esta ferramenta com mais inteligência para não deixar que ela se torne mais inteligente que nós.