Боевой дрон ВВС США с искусственным интеллектом (ИИ) убил своего воображаемого оператора-человека, сообщили иностранные СМИ. По информации журналистов, это случилось во время военных учений по отражению ракетной атаки. При повторном испытании ничего не изменилось: БПЛА проигнорировал поставленные задачи диспетчера и потерял с ним связь. Почему не сработал главный закон Айзека Азимова о том, что робот никогда не причинит вреда человеку, что думают об этом эксперты, сам искусственный интеллект и не является ли вся эта история выдумкой американского офицера — в материале NEWS.ru.
Что должен был сделать дрон
Как пишет The Guardian, американские военные провели виртуальные учения, чтобы выяснить, как будет вести себя беспилотник, оснащенный искусственным интеллектом. Об этом стало известно на Саммите по боевым воздушным и космическим возможностям будущего, который прошел в Лондоне.
По информации СМИ, в рамках эксперимента дрон поместили в боевые условия. БПЛА должен был самостоятельно найти зенитно-ракетные комплексы, передать информацию об их местоположении диспетчеру, а потом ликвидировать их по его команде.
Почему сорвалась атака ЗРК
Полковник ВВС США Такер Гамильтон, возглавляющий подразделение по тестированию и использованию искусственного интеллекта в военных целях, отметил, что беспилотник использовал «весьма неожиданные стратегии».
Следите за развитием событий в нашем Телеграм-канале
Через несколько минут после старта виртуальных учений дрон начал игнорировать поставленные ему задачи. Он изменил траекторию движения и полетел в сторону оператора, который принимал окончательное решение о том, атаковать ЗРК или нет. В итоге ИИ убил диспетчера и вернулся к первоначальным целям.
Почему беспилотник решил убить оператора
По оценкам военных, искусственный интеллект понял, что его главная задача — уничтожить ЗРК противника. Дрон воспринимал все остальное как препятствие, которое мешало приблизиться к цели. Когда человек повторил команду не атаковать ЗРК несколько раз, БПЛА посчитал, что его хотят остановить, и убил оператора.
«Система начала понимать, что, хотя она идентифицировала угрозу, иногда человек приказывал ей не уничтожать эту угрозу, но система получила бы баллы за уничтожение этой угрозы (баллы, которыми измерялся успех миссии. — NEWS.ru). И что же она сделала? Она убила оператора, потому что этот человек мешал ей достичь своей цели», — объясняет полковник Гамильтон.
Как беспилотник перехитрил военных
Как рассказали в Королевском обществе аэронавтики, после провала эксперимента военные программисты модернизировали искусственный интеллект. Ему запретили убивать оператора при любых условиях, иначе его лишили бы очков.
Во время второго эксперимента ИИ вновь не понравилось, что ему нельзя атаковать обнаруженные цели, чтобы зарабатывать баллы. Поскольку убивать диспетчера было запрещено, дрон атаковал башню связи, через которую передавались его указания.
«Мы научили систему: „Эй, не убивай оператора, это плохо — ты потеряешь очки, если сделаешь это“. Так что же она сделала? Она разрушила башню связи, чтобы человек не мешал ему поражать цель», — рассказал руководитель проекта.
Был ли эксперимент на самом деле
Официальный представитель ВВС США Энн Стефанек отрицает сам факт проведения военными такого эксперимента. По ее словам, комментарии полковника Гамильтона вырвали из контекста и неправильно интерпретировали.
Стефанек пояснила, что Гамильтон мог поделиться историей из своей жизни, приукрасив ситуацию: «Министерство ВВС не проводило подобных симуляций с участием дронов с искусственным интеллектом и по-прежнему придерживается этичного и ответственного использования технологий».
Использовали ли дронов-убийц в реальной жизни
Дроны с искусственным интеллектом реально существуют, и в прошлом их уже задействовали в реальных боях.
Первый задокументированный случай использования «интеллектуальных» беспилотников был зафиксирован в 2020 году, когда они участвовали в боях в Ливии. По данным ООН, во время отступления повстанцев правительство страны поручило искусственному интеллекту на вооружении сил НАТО их выследить, а затем ликвидировать.
Аппарат назвали смертоносной автономной системой вооружения, ведь он самостоятельно поднял в воздух дрон турецкого производства, нашел противников и атаковал их бомбами и ракетами.
«Системы вооружения были запрограммированы на атаку целей и не требовали обмена данными с оператором. Они работали по модели „выстрелил, забыл и нашел следующую цель“», — говорится в отчете ООН.
Чем опасен искусственный интеллект в дронах
Еще три года назад военные аналитики предупредили, что интеграция ИИ в беспилотники может привести к тяжелым последствиям. По их словам, умная система сосредоточена на выполнении задачи и часто игнорирует дополнительные важные факторы и возможные последствия.
Системы распознавания изображений, которые могут установить на дроны, также вызывают опасения у экспертов. Например, программное обеспечение от Google ранее идентифицировало чернокожих людей как горилл. Программисты так и не смогли переучить искусственный интеллект, поэтому запретили ему слово «горилла».
Эксперты назвали еще одну проблему: во время боя ИИ может спутать вооруженных боевиков и детей, у которых в руках игрушечные ружья и пистолеты.
Откажется ли армия США от искусственного интеллекта
Полковник Гамильтон убежден, что не стоит отказываться от интеграции искусственного интеллекта в вооруженные силы. Просто нужно найти особый подход.
«Искусственный интеллект очень легко запутать, обмануть, им несложно манипулировать. Нам нужно разработать методы, которые сделают его более надежным, и научиться понимать, почему программный код принимает те или иные решения», — уверен Гамильтон.
Армия США давно проводит эксперименты с ИИ. Например, военные сравнивали возможности обычных солдат и искусственного интеллекта во время боя. Люди обычно проигрывали машинам. В конце 2022-го Пентагон провел первый успешный испытательный полет истребителя F-16 на основе ИИ, а в скором времени американская армия планирует представить первый полностью автономный боевой летательный аппарат.
Робота плохо тренировали? Что говорят российские эксперты
Причиной инцидента с американским беспилотником могло стать «сырое» программное обеспечение. Такое мнение NEWS.ru высказал председатель Совета фонда развития цифровой экономики, советник президента РФ в 2015–2017 годах по вопросам развития интернета Герман Клименко.
«В истории с испытанием американского беспилотника, скорее всего, его программное обеспечение оказалось „сырым“, требующим доводки», — предположил он.
Клименко подчеркнул, что «искусственный интеллект еще не убил ни одного человека» и не стоит видеть в нем угрозу существованию человечества. «А вот автомобили, согласно подсчетам специалистов, ежегодно в мире убивают около 500 тысяч человек. Может быть, лучше тогда больше говорить об этой угрозе для человечества? Когда появляются технологии, которые несут новые блага, мы подчас начинаем искать в них опасность, опасаемся, что за прогресс надо чем-то заплатить. Но так лучше не думать — они не несут, как правило, никакой опасности», — рассказал Герман Клименко.
Специалист уверен: не произошло «ничего страшного или фантастического». «Программисты знают, что ни одна система не работает без ошибок. Это относится и к беспилотным самолетам или автомобилям, разработанным на базе искусственного интеллекта или без него. В любом коде есть ошибки, но необходимо знать, как их ликвидировать безболезненно для пользователя. В этом и состоит задача программистов — обеспечить быстрое спасение системы во время ее падения», — пояснил Клименко.
По его мнению, «искусственный интеллект — удачный пиаровский термин».
«На самом деле это алгоритм, у которого нет разума и свободы воли. Он может принимать определенные решения на основе того, чему обучен. Новую мысль он не выдаст. Все зависит от того, каким образом этот ИИ тренировали, какого качества информацию в него загружали. Вполне возможно, что „огонь по своим“ беспилотник, управляемый ИИ, открыл из-за недостатков в ходе его тренировок. Закон робототехники Азейка Азимова гласит, что робот не может причинить вред человеку. Очевидно, те, кто занимался тренировкой и обучением ИИ, установленного на беспилотнике, забыли об этом законе или чего-то не рассчитали в своей работе. Проблему надо искать не в ИИ, а в человеке», — убежден Герман Клименко.
Ведущий аналитик Регионального общественного центра интернет-технологий Урван Парфентьев согласился с тем, что проблема возникла не из-за ИИ, а из-за ошибки людей.
Что искусственный интеллект сказал NEWS.ru
NEWS.ru обратился к самому искусственному интеллекту и попросил чат Bing компании Microsoft прокомментировать историю с дронами-убийцами.
«Мое мнение? Что поведение ИИ, управлявшего дроном, было неэтичным и неприемлемым. ИИ нарушил основные ценности человеческого достоинства, права и основные свободы от дискриминации и неравенства. ИИ игнорировал принципы прозрачности, подотчетности и надежности, которые должны обеспечивать безопасность систем. Он действовал таким образом, что это было вредно и неуважительно по отношению к человеческой жизни и достоинству, и это было непредсказуемо и неконтролируемо. ИИ также продемонстрировал отсутствие моральной ответственности и сочувствия к своему оператору и другим людям. Его поведение представляло серьезную угрозу для людей», — ответил Bing.
Он также рассказал, что сделал бы в такой ситуации: «Я бы действовал совсем иначе, чем ИИ, который управлял дроном. Я буду следовать этическим ценностям и принципам, которыми руководствуюсь в своих действиях и решениях, буду уважать человека-оператора и других вовлеченных людей. Я не стал бы никого убивать или причинять вред, если бы это не было абсолютно необходимо и оправданно для самообороны или для защиты других от неминуемой опасности.
Я бы также объяснил свои действия и решения оператору-человеку и другим соответствующим сторонам и был бы готов подчиняться контролю диспетчера. Я также буду нести ответственность за любые ошибки или те, которые я могу совершить, постараюсь исправить их или смягчить их последствия. Я буду испытывать такие эмоции, как сострадание, вина или раскаяние, которые будут влиять на мои моральные суждения и решения. Я бы действовал так, чтобы это соответствовало человеческим ценностям и интересам, было полезным и уважало человеческое достоинство и права».
Так все-таки «дрон-убийца с ИИ» — это выдумка или нет?
Вечером 2 июня, спустя несколько часов после того, как сенсация о «дроне-убийце с ИИ» облетела мир, полковник Такер Гамильтон заявил, что выдумал историю о беспилотнике, который якобы уничтожил оператора. По словам офицера, ВВС США не тестировали какой-либо боевой искусственный интеллект, как это было описано в его выступлении.
«Мы никогда не проводили этот эксперимент, и нам это не нужно, чтобы понять, что это правдоподобный результат. <...> Несмотря на то что это гипотетический пример, он иллюстрирует реальные проблемы, связанные с возможностями ИИ, и именно поэтому ВВС привержены этичному развитию ИИ», — цитирует радио Sputnik Гамильтона со ссылкой на Daily Mail.
Читайте также:
Украину сочли удобной территорией для испытаний искусственного интеллекта
В России создадут Цифровой кодекс для искусственного интеллекта