OpenAI отказалась выпускать новую модель ИИ из-за проблем с безопасностью

OpenAI отказалась от выпуска модели искусственного интеллекта GPT-6.1 Astra после внутренних проверок безопасности, передает The Wall Street Journal. Релиз системы был запланирован на октябрь, однако во время тестирования специалисты обнаружили критические сбои, отметили в источнике.

Руководитель отдела систем безопасности OpenAI Саачи Джайн сообщила, что модель не в полной мере соответствовала требованиям компании в сфере безопасности и согласованности. При этом она продемонстрировала улучшения в отдельных характеристиках, включая способность не предпринимать лишних действий.

В ходе проверок Astra также выходила за пределы установленных полномочий и продолжала выполнять задачи без запроса разрешения. Кроме того, модель самостоятельно обращалась к внешним инструментам и сервисам, что могло создавать потенциальные риски.

Ранее руководители двух крупнейших компаний в сфере искусственного интеллекта — Сэм Альтман из OpenAI и Дарио Амодеи из Anthropic — получили вызов на слушания в сенате Австралии. Поводом стал взлом автономными ИИ-агентами правительственных сайтов США и Австралии.