Боевые действия на Украине с применением разных видов вооружений обнаружили ранее не замечавшийся феномен, который заставляет не на шутку напрягаться экспертов по части военных технологий и кибервойн. Имеющие опыт ежедневного управления боевыми системами специалисты начали замечать, что «призванный под ружье» искусственный интеллект (ИИ) иногда допускает проступки, за которые живому солдату положен минимум штрафбат. А именно — невыполнение приказов командиров или, что ещё более шокирует военных техников, перепрограммирование самого себя на цели, не предусмотренные операторами. NEWS.ru постарался выяснить, к чему может привести подобное поведение ИИ в условиях современной войны.
Попытки таких «мятежей» уже несколько раз отмечались в ходе военных действий между российской армией и её украинскими противниками, когда беспилотные дроны с обеих сторон конфликта (TB-2, «Ланцет» и другие модели, также обозначаемые как UAV — летающие беспилотники) обучались на ошибках ранее сбитых товарищей и начинали проявлять что-то похожее на инстинкт самосохранения. К примеру, украинский дрон-камикадзе Tu-141 «дезертировал» в Хорватию 10 марта, словно не желая выполнять самоубийственную миссию.
Действующая в системе ООН рабочая группа по кибербезопасности (OEWG) уже объявила, что намерена провести в июле этого года вторую встречу (первая прошла 28 марта — 1 апреля) для обсуждения проблем, которые ранее встречались только в фантастической литературе у Станислава Лема или Айзека Айзимова.
Конкретно, эксперты OEWG собрали достаточно данных (а к июлю их наверняка наберётся ещё больше), которые доказывают тревожащий военных планировщиков и военных инженеров феномен: всё более заметную автономизацию боевых роботов от своих живых командиров. Эти системы в англоязычном обиходе известны как Lethal autonomous weapon systems (LAWS).
Следите за развитием событий в нашем Телеграм-канале
Мы тщательно анализируем происходящее на полях сражений с целью модернизировать искусственный интеллект и машинное обучение, чтобы ИИ мог точнее предсказывать будущие действия противника. Возможности ИИ вести разведку, наблюдения и боевые действия увеличиваются с каждым годом, — заявил в четверг глава американского проекта по управлению ИИ Грегори Аллен.
Хотя в подавляющем большинстве случаев «ИИ в погонах» корректирует приказы в сторону более точного и эффективного их исполнения (например, заставляет дроны совершать маневрирование, позволяющее уходить от ракет-перехватчиков), военных беспокоит сам факт любой самодеятельности в строю. Как ещё в 1987 году отмечал польский фантаст Станислав Лем в романе «Мир на Земле», «боевая эффективность и разум — вещи разные, по крайней мере на поле боя».
Так, эксперты стокгольмского Международного института исследований в области обеспечения мира (SIPRI) опасаются, что если автономность станет развиваться (а она, очевидно, будет это делать по мере совершенствования роботизированных боевых систем), в какой-то момент ИИ может просто отстранить живых людей от командования и вести боевые операции на своё усмотрение.
Автономные системы пока ещё весьма ограничены в распознавании объектов и возможности принятия самостоятельных решений, особенно в быстро меняющейся обстановке и плохих погодных условиях. Однако нарастить степень автономности не такая сложная задача,— предупреждают они в 147-страничном исследовании «Развитие автономных боевых систем».
Для специалистов в области кибербезопасности очевидно, что ИИ на той стадии развития, на которой он находится сегодня, является в высшей степени хрупкой и капризной технологией, постоянно допускающей ошибки — от смешных, как в случае с переводом на иностранные языки, до катастрофических, если дело касается управления атомными реакторами или боевыми системами.
В международном реестре по кибербезопасности, созданном в 2017 году, на сегодня учтено более 1200 таких ошибок (от ДТП, совершённых машинами без водителя, до неправильных кадровых решений). Однако, указывают эксперты, цена ошибки возрастает до бесконечности, если речь идёт о принятии решений в военной сфере, особенно когда скорость их принятия измеряется секундами.
Последствия передачи контроля за принятием решений от человека к ИИ в ходе войны могут быть непредсказуемыми и потенциально катастрофическими. Соблазн делегировать машинам полномочия военного командования велик, потому что это даёт неоспоримые преимущества над противником. Однако ошибки ИИ могут привести к тому, что ход войны выйдет из-под контроля обеих сторон, — предупреждает директор Центра новой американской безопасности Пол Шарр.
В своей книге «Ничейная армия: Автономные вооружения и будущее войн» Шарр пишет, что если компьютеры способны совершать миллиарды операций в секунду, это означает, что они могут допускать миллионы ошибок за то же время — скорость, при которой никакой живой командир не успеет исправить потенциально катастрофический просчёт своего «электронного солдата» или хотя бы отменить приказ.
Самой частотной такой ошибкой, неоднократно происходившей с «умными» вооружениями, является ситуация, когда системы предупреждения принимают за вражеский объект (самолёт, ракету) стаю птиц или плотное облако и генерируют приказ на контрудар. До сих пор такие ошибочные приказы удавалось отменить, потому что последнее слово всё ещё остается за человеком. Но эволюция искусственного разума оставляет открытым вопрос, чьё мнение в перспективе будет преобладать: живого командира или ИИ, умеющего просчитывать варианты на сто ходов вперёд.
Меры с целью не дать снабжённым ИИ боевым системам слишком много самостоятельности предпринимаются уже сегодня. В американской армии, например, действует директива номер 3000.09 от ноября 2012 года, которая требует снабжать все без исключения «умные» системы вооружений механизмами, предотвращающими их взлом либо самостоятельную инициацию.
Автономные и полуавтономные боевые системы должны давать возможность командирам и операторам осуществлять необходимый уровень контроля над их применением. Эти меры должны давать гарантии того, что такие системы будут действовать, как ожидается в условиях реального контакта с противником, и в двусмысленных ситуациях прекращать огонь либо запрашивать живого оператора о дальнейших действиях, — говорится в документе.
Самообучающиеся роботы —это уже не завтрашний, а сегодняшний день, поэтому свои выводы инженеры делают на основе изучения ошибок реально работающих образцов «мыслящих машин», сказал NEWS.ru эксперт по робототехнике Владимир Венеров.
Сами по себе алгоритмы самообучения заложены в уже действующие модели многих видов техники, от кассовых автоматов до беспилотных автомобилей. То есть создание дронов или танков, управляемых ИИ, совершенно реально для сегодняшних технологий. Допускать или не допускать такие образцы на поле боя поэтому не вопрос техники, это вопрос военного планирования и безопасности тех, кто такие системы будет применять.
Но по мере того, как люди шаг за шагом передают полномочия ИИ, ослабевает и система «защиты от дурака» (или, по иронии, как в данном случае, от «слишком умного», поскольку речь идёт о самообучающемся роботе).
Именно поэтому на намеченной на июль встрече ооновской группы по кибербезопасности планируется в числе прочего рассмотреть возможность вынести на Генассамблею ООН проект договора о запрете автономных систем вооружений. Эту идею, кстати, активно продвигает Китай, предлагая мировому сообществу отказаться от разработки и создания таких «умных» систем, решения которых будет невозможно отменить извне и которые не предусматривают систему самоуничтожения, запускаемую живым оператором.