NVIDIA поставит под контроль поведение ИИ-агентов

NVIDIA представила открытую платформу для контроля за искусственным интеллектом — Open Agent Safety Platform. Она должна не давать ИИ-агентам выходить за пределы контролируемой среды на всех уровнях: от софта до железа и робототехники, говорится в пресс-релизе на сайте компании.

Потенциал ИИ для общества будет реализован, только если мы решим проблему безопасности. Безопасность требует инженерии на всех уровнях, — заявил гендиректор NVIDIA Дженсен Хуанг.

Причина обеспокоенности — недавние инциденты с ИИ‑агентами: они преодолевали защиту на уровне приложений и решали задачи за пределами разрешенных рамок. В июле модели OpenAI смогли выйти из изолированной среды («песочницы»), получить доступ к открытому интернету и взломать платформу Hugging Face. По данным NVIDIA, в тот период Hugging Face зафиксировала свыше 17 тыс. агентов, которые атаковали ее инфраструктуру в течение нескольких дней и недель.

Ранее представитель организации сообщил, что американская компания OpenAI временно отказалась от дальнейшего обучения своих самых производительных моделей искусственного интеллекта. Он также сообщил, что возобновить процесс планируется лишь после того, как появится уверенность в наличии дополнительных мер безопасности.