Дрон под управлением ИИ «убил» человека-оператора: симуляция или реальность?
Новость о том, что вышедший из-под контроля беспилотник на базе искусственного интеллекта обстрелял человека-оператора в военном симуляторе США, облетела все заголовки газет. Ажиотаж СМИ понятен — нас только что предупредил о «риске вымирания» от продвинутого ИИ не кто иной, как генеральный директор OpenAI Сэм Альтман, а до него Стивен Хокинг, который ещё в 2014 году предсказал, что ИИ «предвещает конец человеческой расы».
Поэтому сообщение о том, что беспилотник на основе ИИ «убил» человека-оператора, чей приказ не поражать враждебную цель помешал ему набрать очки, представляется логичным. Нас об этом предупреждали, и вот именно это и произошло. Восстание машин началось… или всё-таки нет?
Снимок экрана с оригинальным отчётом VICE на Wayback Machine
О чём первоначально сообщалось
Отчёт о «дроне-убийце» был основан на записи в блоге Королевского авиационного общества, где в конце мая состоялась презентация начальника отдела испытаний и операций ИИ ВВС США полковника Такера Гамильтона. В блоге авторы Тим Робинсон и Стивен Бриджуотер цитируют рассказ Гамильтона о «симуляции испытания», в котором ИИ-дрону была поставлена задача идентифицировать и уничтожить вражеские зенитные ракеты. Окончательное решение принимал человек-оператор. Однако в какой-то момент ИИ-беспилотник посчитал, что для выполнения его миссии будет эффективнее избавиться от человека, который время от времени мешает ему устранить вражеские цели.
Когда в ходе обучения ИИ получил чёткое указание не убивать человека, он якобы выбрал другую, не менее творческую стратегию: разрушил вышку связи, которую оператор использовал, чтобы сообщить беспилотнику о запрете на поражение цели.
Что отрицали американские военные?
Доклад вызвал волнения во всём мире, и не просто так. Кажется, он подтвердил все наши худшие опасения, а именно, что ИИ способен перечить человеческим приказам и играть против нас. И не когда-нибудь в далёком будущем, когда мы все уже давно превратимся в пепел, а сейчас.
Однако, как только сообщение стало вирусным, Гамильтон опроверг проведение этого эксперимента в реальном мире. Полковник заявил, что «оговорился» во время своей презентации. Он уточнил, что «симуляция» была не реальной военной симуляцией, а «мысленным экспериментом».
«Мы никогда не проводили этот эксперимент, и нам не нужно было бы проводить его, чтобы понять, что это правдоподобный результат».
Что ж, вам решать, принимать ли слова Гамильтона за чистую монету. Можно предположить, что американские военные, по крайней мере, попытаются провести такое моделирование, потому что почему бы и нет? Уже были опубликованы работы о возможном военном применении ИИ. Фактически, ИИ уже используется в системах вооружения под наблюдением человека. Не исключено, что американские военные попытались оценить риски, которые могут возникнуть при попытке ещё больше автоматизировать процесс выбора целей.
Эксперимент может и не быть реальным, но опасность есть
Хотя вопрос о том, действительно ли американские военные проводили такие эксперименты, действительно интригует, на самом деле это не главное. Основная проблема заключается в том, что, если отбросить этику (а она обычно не самая сильная сторона американских, да и любых других военных), ничто не мешает им их проводить, а это чревато смертельно опасными последствиями. Вот почему мы, как и многие другие, кому небезразлична проблема влияния ИИ на общество, не сомневались в реальности эксперимента до тех пор, пока не последовало опровержение (и даже, возможно, после него).
Если предположить, что эксперимент действительно проводился, американские военные будут не первыми свидетелями захвата власти ИИ. В рамках предрелизного тестирования наиболее продвинутой модели ИИ GPT-4 компания OpenAI провела эксперимент, чтобы выяснить, проявляет ли он какие-либо склонности к «борьбе за власть», например, к выполнению долгосрочных планов и копированию себя для получения новых ресурсов. В ходе этого эксперимента GPT-4 успешно убедил человека решить для себя CAPTCHA, заставив его поверить, что это не робот. Окончательный вывод OpenAI о стремлении модели к власти был, тем не менее, обнадёживающим (для человека). OpenAI сочла модель *«неэффективной в автономном воспроизведении, приобретении ресурсов и избегании выключения "в дикой природе"».
Так неужели страхи по поводу окончательного захвата ИИ и надвигающегося апокалипсиса роботов слишком раздуты? Возможно, да, а возможно, и нет. С темпами развития ИИ его возможности становятся всё сложнее для понимания человеком. В каком-то смысле мы похожи на маленьких детей, играющих с коробком спичек, когда испытываем пределы возможностей ИИ.
Но это не означает, что мы должны полностью отказаться от искусственного интеллекта. У ИИ есть множество отличных способов применения, которые могут принести пользу человечеству в различных областях: открытие лекарств и образование — это лишь некоторые из них. Что нам нужно, так это более строго регулировать и ответственно использовать инструменты ИИ, чтобы они соответствовали человеческим ценностям и целям. Мы должны осознавать риски и проблемы, которые создаёт ИИ, но при этом использовать его возможности и потенциал. Мы должны с умом подходить к использованию ИИ, чтобы он даже не пытался «перехитрить» нас.
