Глава Microsoft Сатья Наделла на своей странице в соцсети X выступил за создание «аварийного тормоза» для систем искусственного интеллекта. Он отметил, что на протяжении нескольких десятилетий при внедрении программного обеспечения в различные отрасли экономики специалисты могли отследить работу системы вплоть до конкретного участка исходного кода. Однако современные ИИ-системы не позволяют людям с той же точностью понимать механизмы принятия решений.
Необходимо изначально исходить из того, что модель может быть скомпрометирована, и предусматривать механизмы ее изоляции. Это можно сравнить с аварийным тормозом: уполномоченный человек всегда должен иметь возможность приостановить работу модели или отключить ее прямо во время выполнения задачи. Для более совершенных моделей потребуются и более совершенные технологии сдерживания, которые необходимо стандартизировать, — написал Наделла.
По словам главы Microsoft, сейчас невозможно напрямую связать поведение модели и полученные результаты с конкретными данными, на которых она обучалась. При этом компании продолжают внедрять ИИ-агентов в собственные системы и предоставлять им доступ к наиболее чувствительной информации.
Ранее эксперты журнала The Lancet предупредили, что человечество может исчезнуть к концу XXI века из-за ядерного конфликта или злонамеренного использования искусственного интеллекта. В частности, ИИ может быть применен для разработки биологического оружия.
