Американский военный беспилотник, управляемый искусственным интеллектом (ИИ), во время симуляционных испытаний попытался уничтожить своего оператора, который иногда приказывал ему не наносить удар по целям. Ни один реальный человек при этом не пострадал, однако искусственный интеллект начал использовать во время тестов «крайне неожиданные стратегии» и атаковать любого, кто вмешивался и пытался помешать выполнению миссии, пишет The Guardian.
Об этом рассказал полковник Такер Гамильтон, начальник отдела по испытаниям и операциям с использованием искусственного интеллекта в составе ВВС США, во время своего выступления на Саммите по боевым воздушным и космическим возможностям будущего. Этот международный саммит состоялся в Лондоне на прошлой неделе, поясняет The Guardian.
По словам Гамильтона, во время виртуальных испытаний, организованных американскими военными, военный беспилотник под управлением искусственного интеллекта неожиданно принял решение уничтожить своего оператора, чтобы тот не мешал его усилиям по выполнению своей миссии. Полковник рассказал про испытание, в ходе которого беспилотник должен был уничтожать системы противовоздушной обороны противника, однако оператор временами приказывал не наносить удар.
В итоге искусственный интеллект начал использовать «крайне неожиданные стратегии для достижения своей цели» в моделируемом испытании и в конечном итоге решил атаковать любого, кто вмешивался с целью ему помешать, говорится в статье. «Система начала понимать, что, хотя она и определила угрозу, иногда человек-оператор приказывал ей не уничтожать эту угрозу. Однако она получала очки, уничтожив угрозу. Так что же сделал ИИ? Он «убил» оператора. Он «убил» оператора, потому что этот человек мешал ему выполнить свою задачу», — рассказал Гамильтон во время своего выступления.
По его словам, после того, как система была обучена, что уничтожать оператора «плохо» и из-за этого она теряет очки, она также поступила неожиданно — и отдала приказ беспилотнику разрушить башню связи, которую оператор использует для связи с дроном, чтобы оператор не смог помешать ему уничтожать намеченную цель.
Гамильтон пояснил, что ни один реальный человек не пострадал в ходе экспериментов. Однако он предостерёг от чрезмерной зависимости от искусственного интеллекта и подчеркнул, что для его дальнейшего развития крайне необходимо внедрять понятия этики, чтобы новые технологии не становились опасными для людей.
«Искусственный интеллект навсегда меняет наше общество и нашу армию», — подчеркнул он. «ИИ при этом очень хрупкий, то есть его легко обмануть или им манипулировать. Нам нужно разработать способы сделать его более надёжным и лучше понимать, почему программный код принимает определённые решения — то, что мы называем ИИ-объяснимостью», — также отметил Гамильтон.
Королевское авиационное общество, которое организовало недавний саммит в Лондоне, а также представители ВВС США не ответили на запрос The Guardian о комментариях. В то же время ранее представитель ВВС Энн Стефанек заявила, что подобных симуляционных испытаний не проводилось, а слова Гамильтона «были вырваны из контекста», говорится в статье.