CSAM-контроль от Apple: когда спасение детей плавно переходит в слежку за взрослыми

Где грань между желанием защитить детей от серьёзных и вполне реальных угроз и необходимостью поступиться ради этого собственными интересами, рискнуть репутацией из-за возможной ошибки алгоритмов? Кажется, Apple нащупала эту границу и заставила пользователей её ощутить.

Вот уже почти месяц мир обсуждает неоднозначное нововведение калифорнийской компании: алгоритм выявления CSAM. Опечатки тут нет: scam, кибермошенничество — это однозначно плохо, но это другое. Если в двух словах — Apple собирается сканировать фото на устройствах пользователей на предмет материалов, связанных с детским порно.

Мы сочли важным проанализировать механизм работы этой функции, потенциальные риски и возможности защитить от них наших пользователей.

UPD от 3 сентября 2021:

Apple делает шаг назад в отношении своей инициативы по распознаванию детского насилия! Сильнейшая реакция, последовавшая за анонсом подготовки крайне спорной программы по защите детей, вылилась в заявление от медиагиганта. В нём говорится, что Apple планирует:
"...потратить дополнительное время на протяжении следующих месяцев в целях сбора данных и произведения улучшений перед тем, как внедрять эти крайне важные меры по обеспечению безопасности детей".
Нет сомнений, что мы ещё услышим о программе по обнаружению CSAM, но прямо сейчас есть радость от того, что в кои-то веки мнение общественности было учтено при принятии таких важных решений.

Что это и как работает

Аббревиатура расшифровывается как Child Sexual Abuse Material («материалы, описывающие сексуальное насилие над детьми»). Существует база конкретных цифровых изображений, которую собрали организации по защите детей. На «айфонах», ноутбуках и планшетах от Apple собираются искать фото из этой базы.

На самом деле в Apple не стремятся просматривать ваши фото. Но в некоторых случаях будут это делать. После шума в прессе и соцсетях компания снизошла до разъяснений того, как будет работать алгоритм:

• База изображений, вручную размеченных людьми как детское порно, превращается в хэши. Это уникальные последовательности символов, описывающие картинку для роботов. Последовательность останется той же, если картинку обрезать, изменить её размер, формат файла, наложить фильтры и так далее.

• В виде хэшей эта база загружается на устройство пользователя. Да, Apple отправит на ваш айфон коллекцию детской порнографии в виде набора цифробуквенных строчек.

• Для фото, которые пользователь вознамерится загрузить в iCloud, тоже будут вычислены хэши, и Apple сопоставит их с хэшами картинок из порнобазы. Весь этот процесс происходит на устройстве пользователя, без отправки его фото куда-то на анализ.

Стоит, кстати, вспомнить, что фото с устройств Apple загружаются в iCloud по умолчанию, если владелец устройства это специально не отключил. Вы удивитесь, узнав, какой небольшой процент пользователей меняет настройки по умолчанию.

• Если в ходе сравнения выявляются совпадения хэшей, по адресу пользователя пока еще не отправляют автоматического дрона-убийцу: его аккаунт вручную проверят живые модераторы.

• Если модераторы обнаружат фото из базы изображений CSAM, они обратятся в Национальный центр США по поиску и защите пропавших без вести и эксплуатируемых детей (NCMEC), основанный в 1984 году американским Конгрессом и сотрудничающий с правоохранительными органами.

Роботы могут ошибаться

Результатом работы алгоритмов на основе машинного обучения обычно является вероятностная характеристика какого-либо события («определённый объект скорее всего есть или, возможно, имеется на этом фото»). Искусственный интеллект не может быть ни в чём уверен на сто процентов. В результатах его работы всегда будет доля ложно-положительных ответов (то есть, в нашем случае, всегда будут фото, отождествлённые с образцами из базы CSAM по ошибке).

Другие ошибки у искусственного интеллекта на основе самообучающихся нейросетей тоже бывают и считаются нормой: идеально работающих технологий на данном этапе развития человеческой цивилизации просто не существует. У нейросетей, например, случается переобучение. Набор данных, в которых сеть учится искать закономерности, чтобы выявлять их в других наборах данных, может быть составлен неудачно. В результате искусственный интеллект «приспосабливается» к заданному набору данных, не обретает возможности анализировать примеры из других выборок или реального мира и думает, например, что яблоки бывают только красные. Или не может отличить чихуахуа от кексика с изюмом.

Image source: Roboflow


Впрочем, в технокорпорации предусмотрели вероятность ошибок и собираются привлекать людей для оценки обоснованности возникших у роботов подозрений. Что за люди будут просматривать чужие фотоснимки? Это сотрудники Apple? По каким правилам и регламентам они работают, как отвечают за конфиденциальность чужих данных, где гарантия, что не используют их в своих интересах?

Роботы будут ошибаться

В августе 2019 года выяснилось, что Facebook нанимает сторонних подрядчиков, чтобы расшифровывать аудиозаписи из своих сервисов, в которых доступны функции управления голосом. Подрядчики пожаловались прессе, что им не объяснили, откуда аудио и зачем его обрабатывать — просто заказали расшифровку. Некоторым таким сотрудникам нанесло душевные раны прослушивание личных разговоров посторонних людей, которые иногда ругались и производили прочий «вульгарный контент». Производителям вульгарного контента тоже вряд ли было приятно попасть на разбор к фрилансерам.

Собственно, критиковали Facebook не за сам факт сохранения и обработки аудиозарисовок из пользовательской жизни, а за такую легкомысленную организацию процесса. Всё-таки иметь дело с чужой личной информацией должны сотрудники, ответственные за возможные нарушения и понимающие, чем занимаются. А занимаются такими вещами не только в Facebook, но и везде, где есть голосовые сервисы. Работу алгоритмов распознавания голосовых команд и реагирования на них нужно контролировать и улучшать, сделать это без участия людей пока не представляется возможным.

Тогда же, в августе 2019-го, Google, Amazon и Apple разрешили пользователям отключать включённую по умолчанию отправку в компанию записей их команд голосовому ассистенту.

А в середине 2020 года было опубликовано исследование ошибочных срабатываний голосовых ассистентов, которые принимали за обращение к себе похожие слова. Например, Alexa от Amazon может расслышать своё имя в слове «election» — выборы — и отправить подрядчику «Амазона» аудио с вашими рассуждениями по поводу голосования за президента.

Что может пойти не так, и насколько это вероятно?

Итак, как анализируют ваши фотографии роботы, в какой момент подключаются люди, и что делают они?

Хэш изображения с вашего устройства сопоставляется с базой хэшей запрещённых изображений. Результат этого сравнения записывается в так называемый сертификат безопасности (safety voucher), криптографически зашифрованный набор данных, который описывает «результат сравнения с изображениями из базы наряду с другими данными об изображении», объясняет Apple.

Что за другие данные? Apple в документации красиво называет их «visual derivative». Визуальная производная — картинка, которая показывает картинку. Иконка, предпросмотр, а если проще — то же ваше фото, просто меньше и в низком качестве.

Сертификат безопасности фото загружается в iCloud вместе с фото.Отдельная технология позволяет Apple отслеживать определенный порог количества совпадений хэшей фото пользователя с хэшами из базы.

Пороговое значение тоже не раскрывается, но модератор вступает в дело только по его превышению. В Apple утверждают, что вероятность некорректной пометки аккаунта как потенциального нарушителя не превышает одну триллионную.

Одна триллионная — это же очень мало, правда?

Заметим, однако, что это вероятность пометки аккаунта как принадлежащего потенциальному истязателю детей. Пометка происходит уже после того, как модератор посмотрит фото и подтвердит, что оно есть в CSAM-базе. А вот вероятность того, что алгоритмы заставят модератора посмотреть на фото, на порядок выше, это уже одна миллиардная.

Всё равно мало? Вероятность — это шанс ошибки с одним фото. Сколько фото люди загружают в iCloud? Apple нам не расскажет, но прикинуть по аналогии можно. Например, в 2021 году в Facebook каждый день загружается 340 миллионов фотографий. Миллиард фото будет загружен за три дня. Загружен в Facebook, у которого хоть и больше пользователей, чем у Apple, но они доверяют соцсети далеко не все фото, снятые на смартфон.

Количество картинок, которые люди сохраняют, скачивают, снимают и сохраняют в облачных сервисах, растёт экспоненциально пугающими темпами. А главное — даже если шанс быть съеденным акулой, купаясь в море, один на миллиард, вы всё равно не захотите быть тем самым счастливчиком. Даже если про вас потом напишут в газетах.

Потому что последствия ложных сигналов будут чересчур серьёзными. Подозрение в насилии над детьми может, например, превратить вас в обладателя волчьего билета для любого HR, даже если добьётесь справедливости и признания ошибки.

Да, у Apple есть сигнальный порог, они утверждают, что модератор займется аккаунтом, только если будет зафиксировано несколько совпадений фотографий с изображениями из базы. Но американское законодательство (как и законодательство многих других стран) запрещает хранение даже одной картинки, относящейся к CSAM. Apple категорически не желает оказываться соучастницей преступлений, компанию можно понять, но ожидать стоит только дальнейшего усиления активности по контролю пользователей и устранению потенциальных рисков для бизнеса. Так что CSAM-сканирование пришло всерьёз и надолго, не стоит ожидать, что негодование правозащитников, пользователей, прессы и кого угодно ещё сможет повлиять на происходящее.

Но всё же, почему это должно беспокоить добропорядочных пользователей?

Систематизируем:

1. Ошибки алгоритмов обещают слишком серьёзные последствия вплоть до разрушения карьеры и порчи жизни.

2. Недоработки в программном обеспечении. Это не то же самое, что предыдущий пункт: даже написанный без ошибок алгоритм на основе искусственного интеллекта может сработать некорректно, это считается нормальным на современном этапе развития технологий. Но и в ПО вкрадываются ошибки разработчиков (что тоже считается нормальным на современном этапе развития технологий). Ошибки будут всегда, но вот цена ошибки бывает разной. Стоит ли платить цену, если ошибающаяся технология создана не для вашего удобства, а ради законопослушности Apple?

3. Отсутствие прозрачности. Apple славится своей закрытостью, все разъясняющие документы от них страдают недостатком конкретики и тональностью «нечего забивать этим вопросом свои миленькие пользовательские головки, мы разберёмся». Нам остаётся только верить, что Apple за всё хорошее и достаточно ценит безопасность и приватность своих пользователей, чтобы бороться за них с собой же.

4. Печальный опыт. Постоянно слыша об очередных утечках и взломах, сложно придумать причины верить, что на этот-то раз всё совершенно надёжно и безопасно.

5. Потенциал экстраполяции. Давя людям на психику образами ужасных преступлений против детей, логично перейти к анализу других данных с помощью других технологий. Давайте спасём малых сих от терроризма, наркотиков, незащищённого паркура, самоубийств, пропаганды нетрадиционных отношений, призывов к митингам, голосования за ненадёжные партии, увлечения идеями национал-социализма и от езды на велосипеде без шлема, а для этого, конечно, придётся искать контент, потенциально связанный с этим вот всем.

6. Потенциал злоупотреблений Вариантов злонамеренной эксплуатации системы мы можем придумать множество, а сколько их может придумать опытный хакер...
Нельзя ли, например, подбросить на ваше устройство картинку, которая совпадёт хэшем с базой незаконных изображений?

Фото справа было изменено так, чтобы его хэш совпал с хэшем фото слева. Источник (и информация о коллизиях): Roboflow

Вот почему мы сейчас изучаем способы дать пользователю больше контроля над процессом сканирования его фото. Опросы в наших соцсетях показали, что абсолютное большинство (около 85% подписчиков) предпочли бы иметь возможность заблокировать проверку своих фотографий. Не очень-то нам верится, что все эти люди совершают или собираются совершать преступления против сексуальной безопасности детей, зато мы знаем, что наши пользователи умеют видеть потенциальные риски.

Возможно, AdGuard DNS можно научить блокировать отправку в iCloud сгенерированного на устройстве сертификата безопасности. Способы реализации зависят от того, как именно реализована детекция CSAM-контента, нам нужно разобрать и изучить эти технологии.

Возможно, мы можем заблокировать загрузку базы CSAM-хэшей на устройство, чтобы ваши фото не с чем было сравнивать. Так или иначе, это требует предварительных исследований.

С загружаемой на устройство базой хэшей для сравнения с фото, кстати, не всё так просто. CSAM-коллекцией она может и не ограничиться. Не скажут ли государства «а что, так можно было?», не попросят ли Apple добавить в базу картинки, связанные с другими категориями запрещённого или нежеланного в какой-то стране контента?

В качестве третьего варианта мы предлагаем вам отключить загрузку фото c устройства в iCloud. Это можно реализовать и как функцию AdGuard DNS: функцию довольно радикальную, но опциональную. Но вы можете отключить iCloud самостоятельно в настройках. Мы считаем, что лучше поступить именно так, особенно после новостей про CSAM: это не случайность, это проявление тенденции, которая будет развиваться и дальше.