Сделанный с помощью чат-бота отчет американских военных о ситуации на Ближнем Востоке, который чуть не привел к столкновению с Китаем, мог не включать отметки о происхождении данных, заявил NEWS.ru основатель проекта 25ТБ VRAM, эксперт по искусственному интеллекту Илья Русяев. По его словам, первоначально аналитик, вероятно, также свел в одном обращении открытые сведения и данные радиоэлектронной разведки по судовому манифесту, а в таком случае языковая модель достраивает наиболее вероятное продолжение по имеющемуся контексту и не располагает механизмом отказа при нехватке оснований.
Аналитик повторно обратился к модели, чтобы упаковать полученное в стандартный разведывательный отчет. Гипотеза приобрела форму документа канонического вида, а отметка о происхождении исчезла. Дальше по рассылке шел текст, который военные читают как обычную сводку. Цена ошибки выросла именно на этапе оформления, когда содержание осталось прежним, а статус документа изменился. Системная причина названа в самой публикации. Внедрение идет разрозненно, ведомства применяют разные инструменты под разными требованиями безопасности, единого порядка проверки сгенерированной информации не выработано, ― сказал Русяев.
Собеседник отметил, что организациям следует придерживаться правил по работе с ИИ, которые применимы и за пределами военной сферы. Во-первых, происхождение каждого фрагмента фиксируется внутри документа и остается помеченным на всем пути согласования, подчеркнул он.
Закрытые и открытые данные не попадают в один запрос. Перед решением с необратимыми последствиями вывод сверяется с первичным источником, будь то манифест, выписка или договор. Работа с чувствительными массивами ведется на собственном оборудовании в закрытом контуре, когда модель развернута на своих видеокартах и данные не покидают периметр компании. Есть и вывод для рынка. Разговоры о рисках ИИ долго шли вокруг гипотезы о выходе систем из-под контроля человека, тогда как реальный ущерб приносят обычные решения, принятые людьми по красиво оформленному машинному тексту, ― резюмировал Русяев.
Ранее телеканал CNN со ссылкой на собственные источники заявил, что американские военные оказались на грани серьезного конфликта с Китаем из-за отчета, подготовленного с использованием искусственного интеллекта. Сообщается, что инцидент произошел весной, когда США вели активные боевые действия против Ирана.
