Apple의 CSAM 기능: 어린이 보호에서 어른 감시까지

Apple의 CSAM라는 새로운 기능이 논란이 되고 있습니다. CSAM(Child Sexual Abuse Material)는 아동성착취 방지제도를 의미합니다. 이 뉴스는 사람들을 경계론자와 낙관론자(대부분 Apple 직원)로 나눴습니다.

AdGuard는 자녀의 안전이 중요하지만 사용자의 프라이버시를 침해하면 안 된다고 생각합니다.

2021년 9월 3일 업데이트:

Apple은 CSAM 탐지 기술 개발 방향에 대해 한 걸음 뒤로 물러서고 있습니다. 대중의 반발에 의해 Apple은 다음과 같은 발표를 했습니다:
“...어린이 보호 기능을 출시하기 전에 앞으로 몇 달 동안 더 많은 시간을 내어 정보를 수집하고 개선할 예정입니다.”

나중에 CSAM 탐지에 대해 더 많은 소식이 있을 거지만, 지금 여론이 실질적인 힘을 발휘하는 것에 대해 긍정적인 반응입니다.

기본 개요

Apple는 “의사 소통 도구를 사용하여 어린이를 착취하는 범죄자로부터 보호하고 싶습니다.”라고 발표했습니다.

어린이를 보호할 취지는 좋지만 CSAM 기술이 사용되면 Apple은 iPhone과 iPad, MacBook 등의 모든 사진을 스캔할 것입니다. 기기에서 아동성착취 사진이 있다는 것이 의심이 되면 경찰에 신고가 될 것입니다. 하지만 Apple 직원들이 스스로 사용자의 사진을 확인하지 않고, 다음과 같은 알고리즘을 사용할 겁니다.

• 현재로서는 수작업 단계입니다. 첫 번째로 아동 안전 기관에서 아동성착취 사진으로 검증한 일련의 이미지들을 선택합니다.

• 두 번째로는 이미지들을 해시로 바꿉니다. 이 해시는 사진에 있는 내용을 설명하는 일련의 기호입니다. 해시는 사진이 변경, 자르기, 크기 조정되더라도 동일하게 유지됩니다.

• 세 번째 단계로 이러한 해시가 사용자의 기기에 업로드됩니다. 그리하여 사용자의 기기에 아동성착취 사진이 없더라도 아동성착취 사진의 해시가 계속 있습니다.

• Apple iCloud에 있는 사진의 해시를 식별한 후 아동성착취 사진의 해시와 비교할 겁니다. 이 프로세스는 사용자의 기기 내부에서 진행됩니다.

• 만약 사용자 사진의 해시가 아동성착취 사진의 해시와 일치할 경우, Apple 직원이 사진을 수동으로 확인합니다. 아동성착취 사진이라고 확인되면 Apple은 이 사건을 NCMEC(National Center for Missing and Exploited Children)에 보고합니다. NCMEC는 미국 의회의 지원을 받으며 미국 전역의 법 집행 기관과 협력합니다.

해당 알고리즘의 단점은 무엇인가요?

로봇 에러 위험

기계 학습 기반의 인식을 포함하는 모든 AI(인공 지능) 알고리즘의 출력은 확률적 특성을 나타냅니다. 인공 지능은 확실히 알지 못하고, 실수할 가능성이 있습니다. 사용자의 사진을 스캔할 때 무작위의 사진을 아동성착취 사진으로 인식할 수도 있습니다.

그리고 인식 알고리즘의 다른 결함은 신경망이 과부하 걸릴 수 있다는 것입니다. 신경망이 다른 데이터 세트에서 패턴을 식별하기 위해 패턴을 찾는 방법을 학습하는 과정에서 제대로 컴파일되지 않을 수 있습니다. 훈련 데이터 세트가 너무 작거나 너무 정제되면 신경망이 과부하 걸릴 수 있습니다. 그런 경우, 인공 지능은 머핀과 치와와를 구별하지 못합니다.

사용자들은 벌써 동일한 해시가 있는 다른 사진들을 찾았습니다. 이를 뉴럴해시(NeuralHash) 충돌이라고 하며 제일 걱정이 되는 것입니다.

이미지 출시: Roboflow

또한 아동성착취 사진의 해시와 일치하는 사진을 로봇이 아니고 사람들이 확인해도 이 사람들이 누군지 해당 사용자를 어떻게 신고하는지 잘 모릅니다.

사람의 실수

2019년 8월에 Facebook은 자체 서비스 사용자의 오디오를 기록하기 위해 수백 개의 외부 계약회사들에게 비용을 지불하는 사실이 밝혔습니다. 계약회사 직원들은 왜 기록이 필요한지 또는 오디오를 어디서 얻었는지 설명을 받지 않습니다 (Bloomberg). 여러 명의 직원들은 기록이 필요한 이유를 모르는 상태에서 Facebook 사용자들의 사적인 대화(몇 저속한 표현)들을 듣게 되었습니다.

사실은 사용자의 오디오를 저장하고 기록하는 것이 보통 일입니다. Facebook은 이 프로세스를 잘못 처리했기 때문에 비판을 받았습니다.

예를 들면, Google과 Amazon, Apple 2019년 8월에만 사용자들이 음성 비서 녹음 기록들을 회사에 보내는 것을 거부할 수 있도록 허용되었습니다. 그 전에 사용자가 시리나 알렉사에게 물어봤던 내용들은 회사에 보고되었습니다.

또한 생각보다 음성 비서가 더 자주 실수로 발동됩니다. 예를 들면, ‘election’(선거)라고 말하면 발음이 비슷하므로 Amazon의 알렉사가 작동되고 대통령 선거에 대한 사용자 이야기를 Amazon에 보낼 수 있습니다.

잘못 될 수 있는 것

로봇이 사용자 사진 해시를 어떻게 확인하고 Apple 직원들이 사진을 어떻게 보는지 자세히 살펴 볼까요?

업근한 듯이 사용자 사진의 해시가 아동성착취 사진 해시와 비교됩니다. 비교 결과는 사진에 대한 추가 암호화 데이터와 함께 일치 결과를 인코딩하는 데이터 세트인 소위 안전 바우처에 저장됩니다.

Apple은 추가 데이터는 ‘visual derivative’라고 하는데 이러한 시각적 파생물은 그림을 보여주는 그림입니다. 쉽게 말하면 사용자의 다소 낮은 화질의 사진입니다.

바우처는 사진과 함께 iCloud에 업로드됩니다.

Apple은 특별한 기술을 통해 아동성착취 사진의 해시와 사용자 사진 해시의 일치 수에 대한 특정 임계값을 확인할 수 있습니다. 해시 일치 수를 초과하면 중재자가 사진을 확인하기 시작합니다. Apple에 따르면 계정을 잠재적 위반자로 잘못 표시할 확률은 1조분의 일을 초과하지 않습니다.

확률이 1조분의 일이라면 크지 않죠. 그렇지만 중재자가 사진을 확인하고 아동성착취 사진의 해시와 일치하는 것이 확실하면 계정은 아동 학대 계정으로 표시됩니다. 하나 사진이 해시와 잘못된 일치될 가능성이 더 큽니다.

임계값이 잘못 넘어갈 확률은 대략 10억분의 1입니다. 그렇다면 몇개의 사진이 iCloud에 매일 업로드될까요? 계산해 봅시다. 2021년에는 매일 3억 4천만 장의 사진이 Facebook에 업로드되고 있고, 10억 장의 사진이 1년 이내에 업로드될 것이며, Apple 사용자보다 Facebook 사용자가 더 많습니다.

업로드된 사진의 수가 기하급수적으로 매일 증가할 뿐만 아니라 범죄자로 불릴 확률은 10억분의 1일지라도 위험을 감수하고 싶지 않습니다. 또한 아동성착취는 매우 심각한 청구입니다.

그리고 CSAM의 이미지를 소유하는 것은 미국 및 여러 국가에서 범죄이므로 Apple은 공모 또는 관여에 대해 책임을지고 싶지 않을 것입니다. 따라서 Apple은 사용자 개인정보에 접하기 위해 다른 방법을 찾을 것입니다.

CSAM 감지 걱정해야하는 이유

1. 알고리즘 에러로 인해 삶과 직업에 치명적일 수 있습니다.

2. 소프트웨어 버그가 발생하는 것입니다. 1번과 헷갈리지 마세요, 현대 기술 발전 상태에서 로봇이 오류를 하는 것은 정상입니다. 소프트웨어에 작은 버그가 발생해도 괜찮지만 개인정보가 유출될 수 있는 버그가 있으면 절대 안 되죠.

3. 시스템의 투명성이 없습니다. Apple은 자체 제품이 어떻게 작동하는지 공개하지 않으므로 Apple을 믿을 방법 밖에 없습니다.

4. 부족한 신용입니다. 데이터 유출 및 해킹 공격 후에도 Apple은 사용자들에게 신뢰를 달라고 합니다.

5. 자녀를 보호하기 위해서가 아니라 사용자의 다른 개인정보를 분석하고 감시하기 위해 이 기술을 이용할 수 있습니다.

6. 악의 목적으로 기술이 사용될 가능성이 있습니다. 예를 들면, 해커가 어느 아이폰에 CSAM 사진을 보내면 사용자는 자기 사진이 아니라는 것을 어떻게 증명할 수 있을까요?

이미지 출시: Roboflow

이래서 사용자들이 Apple이 사진을 분석하는 과정을 관리할 수 있다는 점에 집중 해야 하는 이유입니다. AdGuard의 설문조사에 따르면 사용자의 85%가 CSAM 스캔 기능을 비활성화하고 싶어합니다.

저희는 AdGuard DNS를 사용하여 iCloud에 안전 바우처 업로드를 방지하고 CSAM 감지를 차단하는 것을 고려하는 중입니다. 하지만 CSAM 기능을 자세히 연구하기 전에 어떠한 방법을 쓸지는 미지수 입니다.

그리고 Apple이 만약 국가와 협조라도 한다면 CSAM 사진의 해시 뿐만 아니라 다른 내용 해시도 업로드할 수 있습니다.

CSAM 기술 방지 방법을 찾기 전에 iCloud 액세스를 차단하는 것도 가능합니다.