ИИ выходит из-под контроля: до катастрофы остались месяцы, что делать
Темпы развития искусственного интеллекта вызывают все больше тревоги. Их очевидную угрозу признают и представители ИИ-сферы, которые опасаются выхода нейросетей из-под контроля человека, и власти ведущих мировых держав. Почему тема ИИ перекочевала в высокие кабинеты и способен ли он вызвать глобальную катастрофу — в материале NEWS.ru.
Почему США и Китай решили обсудить ИИ
Глава Минфина США Скотт Бессент ранее сообщил, что в преддверии переговоров лидеров Штатов и КНР Дональда Трампа и Си Цзиньпина проведет встречу с вице-премьером Госсовета Китая Хэ Лифэнем. Одной из центральных тем их беседы в Нью-Йорке должны были стать риски, связанные с развитием технологий искусственного интеллекта. Переговоры состоялись в Вашингтоне 21 сентября, в ходе них Бессент предложил китайской стороне обсудить механизм уведомления об инцидентах, связанных с использованием ИИ.
Axios со ссылкой на неназванного американского чиновника пишет, что именно Бессент сегодня играет основную роль в определении политики Белого дома касательно нейросетей. Кроме того, он и торгпред США Джеймисон Грир — «ключевые фигуры, отвечающие за китайское направление».
Основатель компаний LiveInternet и MediaMetrics Герман Клименко в беседе с NEWS.ru отметил, что тема ИИ неслучайно вышла на такой высокий уровень обсуждения. По его словам, здесь сошлись сразу четыре фактора.
«Первый — робототехника в прямом смысле слова достигла уникальных результатов. Чтобы это понять, достаточно посмотреть на антропоморфных роботов 10 лет назад и сейчас. Второй — многопроцессорность: когда 1000 процессоров фактически живут в одном чипе. Третий — то, что крупнейшие компании поняли, где будут большие деньги. И тут появляется четвертый фактор — Китай. Можно смело утверждать, что мы сегодня видим революцию искусственного интеллекта, из которой КНР увидела шанс выйти первым номером. Америка не желает пускать Пекин на этот рынок, но хочет попробовать договориться», — подчеркнул он.
Почему разработчики боятся ИИ-апокалипсиса
Дискуссия вокруг темпов развития нейросетей вышла на новый уровень после того, как 9 сентября из компании Anthropic, разработавшей Claude, уволился ведущий специалист по обучению ИИ-моделей Джейкоб Коксон. Он заявил, что из-за конкуренции крупные компании «несутся прямо к самосовершенствующемуся сверхинтеллекту и играют нашими жизнями». По мнению 27-летнего Коксона, мир стремительно приближается к точке невозврата, за которой — полный выход ИИ из-под контроля людей и «уничтожение всего человечества». Произойти это может уже в 2027 году, уверен математик.
При этом в феврале похожими опасениями поделился другой уволившийся сотрудник Anthropic — специалист по безопасности Мринанк Шарма.
«Мир в опасности. И не только из-за ИИ или биологического оружия, но и из-за целой серии взаимосвязанных кризисов, разворачивающихся прямо сейчас. Кажется, мы приближаемся к порогу, когда наша мудрость должна расти в равной мере с нашей способностью влиять на мир, иначе мы столкнемся с последствиями», — гласило его послание коллегам.
Коксон открыто призвал замедлить развитие ИИ и ввести в этой сфере внешнее регулирование — в противном случае глобального коллапса не избежать. К его инициативе присоединились глава Antropic Дарио Амодеи, основатель SpaceX Илон Маск, а также генеральный директор OpenAI Сэм Альтман.
Амодеи допустил, что уже в перспективе 6–12 месяцев «рои» чат-ботов могут «захватить весь интернет». По словам главы Anthropic, его всерьез встревожили инциденты с агентами OpenAI, которым удалось во время обучения вырваться из тестовой среды и взломать платформу для машинного обучения Hugging Face. При этом они атаковали без команды оператора и жертвовали собой ради общей цели. Амодеи предложил трехэтапную стратегию, цель которой — разработка и развитие ИИ со сбалансированной скоростью, способной обеспечить его безопасность.
«Предлагаемые мной меры для безопасного продвижения ИИ будут непростыми. Но я считаю, что мы обязаны попытаться», — подчеркнул глава Anthropic.
Маск в свою очередь напомнил, что предупреждал об угрозе, исходящей от искусственного интеллекта, еще 12 лет назад. Тогда он заявил: ИИ может оказаться опаснее, чем ядерное оружие.
Что будет, если ИИ выйдет из-под контроля
Тем временем ИИ становится все более угрожающим и в руках человека. Anthropic в сентябре отчиталась, что выявила группу, базировавшуюся на севере Йемена, которая использовала Claude для проектирования ракет и разработки ПО для управляемого и баллистического оружия. Газета The Financial Times отметила, что речь, предположительно, идет о хуситах из движения «Ансар Аллах»: хотя в отчете компании они напрямую не упоминаются, именно они контролируют значительную часть территорий на севере страны.
«У нас нет доказательств того, что участникам удалось ввести в эксплуатацию работоспособное устройство, однако они провели испытательный пуск управляемой ракеты. Судя по всему, испытание завершилось неудачей: уже через несколько часов после него участники снова обратились к Claude, чтобы выяснить причины сбоя», — сказано в докладе Anthropic.
Депутат Госдумы Николай Будуев в беседе с NEWS.ru объяснил, что существует множество военных рисков бесконтрольного использования ИИ.
«Это и применение в разведке, и планирование операций, и управление дронами различного типа, а также поддержка кибератак. Есть еще такая опасная вещь, как дезинформация: массовая генерация убедительных текстов, видео- и аудиофайлов для манипуляции общественным мнением и подрыва доверия к институтам», — перечислил он.
Однако одним из основных рисков депутат считает именно способность систем самостоятельно планировать многоэтапные действия — это существенно усложняет их сдерживание.
Руководитель направления «Искусственный интеллект» Технопарка «Сколково» Евгений Осадчук в свою очередь обратил внимание на важный нюанс: сам по себе ИИ не обладает человеческими представлениями о допустимом и недопустимом. Пока он так или иначе действует в рамках поставленной задачи и заданных ограничений.
«Если цель сформулирована некорректно, а необходимые ограничения отсутствуют, система может выбрать способ ее достижения, который человек изначально не предполагал. Уже известны случаи, когда чат-боты начинали генерировать некорректные ответы из-за особенностей заданных им инструкций или взаимодействия с пользователями. Прежде всего есть необходимость ответственного проектирования ИИ-систем. Чем больше самостоятельности получает ИИ-агент и чем шире его доступ к внешним сервисам, данным и инфраструктуре, тем важнее заранее определять границы его действий, уровни доступа и механизмы человеческого контроля», — сказал собеседник NEWS.ru.
Пока нельзя сказать, что сформирована единая и всеобъемлющая система защиты от подобных рисков, отметил Осадчук. Но работа в этом направлении все же ведется.
«Разрабатываются протоколы безопасности и требования к эксплуатации ИИ-систем, применяются маркировка созданного ИИ контента и меры защиты от манипулирования моделями, включая prompt injection — внедрение вредоносных инструкций в запрос или данные, с которыми работает модель. Параллельно продолжается дискуссия о скорости дальнейшего развития наиболее мощных моделей. Чем больше возможностей получают ИИ-системы, тем важнее заранее оценивать последствия их применения и создавать механизмы контроля. Это особенно актуально для систем, которые способны не только генерировать информацию, но и самостоятельно совершать действия в цифровой или физической среде», — заключил эксперт.
Читайте также:
США хотят отключать ИИ по всему миру: Россия уже готова ответить
Москвичку уволили из-за нейросетей: DeepSeek, разглашение тайны
