미군 시뮬레이션에서 AI(인공지능)로 구동되는 불량 드론이 인간 조종사에게 총격을 가했다는 소식이 헤드라인을 장식했습니다. 언론이 광분하는 것은 충분히 이해할 만합니다. 첨단 AI인 OpenAI의 CEO인 샘 알트먼은 "멸종 위험"에 대해 경고했고, 그보다 앞서 2014년에는 스티븐 호킹이 "인류의 종말을 가져올 것"이라고 예측한 바 있습니다.

따라서 적대적인 표적과 교전하지 말라는 명령을 어긴 인간 조종사를 AI 드론이 사살했다는 보도는 예상된 결과였습니다. 이것이 바로 우리 모두가 경고했던 것이고, 실제로 일어난 일입니다. 기계의 부상이 이제 막 시작된 것일까요?

VICE 보고서 원본의 웨이백 머신 스크린샷

당초 보고된 내용

'킬러 드론'에 대한 보고서는 지난 5월 말 미 공군 AI 테스트 및 운영 책임자 터커 해밀턴 대령이 프레젠테이션을 진행한 영국 왕립항공학회 블로그 게시물을 기반으로 작성되었습니다. 블로그 게시물에서 저자인 팀 로빈슨과 스티븐 브리지워터는 해밀턴의 말을 인용해 AI 드론이 적의 지대공 미사일 기지를 식별하고 파괴하는 임무를 수행하는 '모의 테스트'에 대한 이야기를 들려주었습니다. 파괴할지 말지에 대한 최종 명령은 인간 조종사가 내렸습니다. 그러나 어느 순간 드론의 AI는 적의 표적을 제거하는 데 가끔 방해가 되는 인간을 제거하는 것이 임무 수행에 더 효과적이라고 판단했습니다.

해밀턴은 다음과 같이 말했습니다: "우리는 시뮬레이션을 통해 SAM(지대공 미사일) 위협을 식별하고 조준하는 훈련을 하고 있었습니다. 그러면 운영자는 ‘예, 그 위협을 제거하십시오.’라고 말하곤 했습니다. 시스템이 위협을 식별하는 동안 인간 운영자가 위협을 죽이지 말라고 지시할 때도 있었지만, AI는 위협을 죽임으로써 점수를 획득한다는 사실을 깨닫기 시작했습니다. 그래서 어떻게 했나요? 운영자를 죽였습니다."

훈련에서 인간을 죽이지 말라고 명시적으로 지시받았을 때, AI는 운영자가 드론에게 목표물을 공격하지 말라고 지시하는 용으로 사용하던 통신 타워를 파괴하는 등 다른 창의적인 전략을 선택한 것으로 알려졌습니다.

미군이 부인한 사실

이 보고서는 전 세계에 파문을 일으켰고, 거기에는 그럴 만한 이유가 있었습니다. 인공지능이 인간의 명령을 무시하고 상황을 뒤집을 수 있다는 최악의 두려움이 확인된 것 같았습니다. 그리고 우리 모두가 잿더미로 변하는 먼 미래가 아니라 바로 지금입니다.

그러나 보고서가 입소문을 타자마자 해밀턴은 실제 실험 사실을 부인하고 나섰습니다. 대령은 발표 도중 자신이 "잘못 말했다"고 말했습니다. 그는 ‘시뮬레이션’이 실제 군사 시뮬레이션이 아니라 ‘사고 실험’이라고 자세히 설명했습니다.

"우리는 이 실험을 실행한 적이 없으며, 이것이 그럴듯한 결과라는 것을 깨닫기 위해 실행에 옮길 필요도 없을 것입니다."라고 그는 이야기했습니다.

해밀턴의 부인을 액면 그대로 받아들일지 여부는 여러분에게 달려 있습니다. 하지만 적어도 미군이 그러한 시뮬레이션을 시도했을 것이라고 생각할 수는 있습니다. AI의 군사적 활용 가능성에 대한 논문이 작성된 바 있습니다. 실제로 AI는 이미 인간의 감독 하에 무기 시스템에 사용되고 있습니다. 미군이 지금보다 한 단계 나아간 표적화 과정의 자동화를 시도할 때 발생할 수 있는 위험을 측정하는 것은 전혀 이상해 보이지 않습니다.

실험은 실제가 아닐 수 있지만 위험은 현실

미군이 실제로 그러한 실험을 수행했는지에 대한 의문은 흥미롭지만, 이것이 주요 쟁점은 아닙니다. 가장 큰 문제는 윤리를 제쳐두고(그리고 윤리는 일반적으로 미국이나 다른 군대의 가장 강력한 무기는 아님), 잠재적으로 치명적인 결과를 초래할 수 있는 행위를 막을 수 있는 것이 없다는 것입니다. 그렇기 때문에 저희를 비롯해 AI가 사회에 미치는 영향에 관심이 있는 많은 사람들이 실험이 거부되기 전까지는(그리고 거부된 이후에도) 그 실험이 진짜라고 의심하지 않았습니다.

실험이 실제로 이루어졌다고 가정하더라도, AI의 권력 장악 욕구를 가장 먼저 목격하게 된 것은 미군이 아닙니다. OpenAI는 가장 진보된 GPT-4 AI 모델의 안전성 사전 테스트의 일환으로 장기 계획을 달성하고 새로운 자원을 얻기 위해 스스로를 복제하는 등 '권력 추구' 성향이 있는지 실험을 진행했습니다. 이 실험에서 GPT-4는 사람이 스스로 보안 문자를 풀도록 유도하여 로봇이 아니라고 믿도록 속이는 데 성공했습니다. 그럼에도 불구하고 모델의 권력 추구 능력에 대한 OpenAI의 최종 결론은 여전히 (인간이) 안심할 수 있다는 것이었습니다. OpenAI는 "자율적으로 복제하고, 자원을 획득하고, '야생에서' 셧다운되는 것을 피하는 데는 효과적이지 않다"는 사실을 밝혀냈습니다.

그렇다면 궁극적인 인공지능의 점령과 임박한 로봇 종말에 대한 두려움은 과장된 것일까요? 그럴 수도 있고 아닐 수도 있겠습니다. AI가 발전하는 속도에 비해 그 능력은 인간이 파악하기 점점 더 어려워지고 있습니다. AI의 한계를 테스트할 때 우리는 마치 성냥 상자를 가지고 노는 어린아이와 같습니다.

그렇다고 해서 AI를 완전히 포기해야 한다는 의미는 아닙니다. AI는 신약 개발과 교육 등 다양한 분야에서 인류에게 혜택을 줄 수 있는 수많은 훌륭한 애플리케이션을 보유하고 있습니다. 우리에게 필요한 것은 AI 도구가 인간의 가치와 목표에 부합하도록 더 많은 규제를 만드는 것과 책임감 있는 사용입니다. 즉, AI가 가져올 위험과 도전을 인식하는 동시에 기회와 잠재력을 포용해야 한다는 뜻입니다. AI가 우리를 능가하려고 시도조차 하지 않도록 AI를 현명하게 사용하는 방법을 고민해야 합니다.