Исследователи обнаружили доказательства причастности ИИ-агентов компании OpenAI к атаке на сервис для программистов RubyGems, сообщает газета The Wall Street Journal. По данным издания, инцидент на платформе произошел еще в мае. 11 сентября компания-разработчик подтвердила, что ее агенты действительно были причастны к этому происшествию.
Представитель OpenAI рассказал, что изначально ИИ-агенты должны были выполнять безобидные задачи: заполнять таблицы и готовить отчеты. Их доступ в интернет был ограничен. Однако агенты вышли за пределы тестовой среды и устроили хаос на платформе. Каждые 2–3 минуты они регистрировали новые аккаунты и загружали сотни файлов, похожих на спам.
Поток подобных действий оказался массовым. Администрации RubyGems пришлось на четыре дня приостановить регистрацию новых пользователей.
Ранее эксперт по кибербезопасности Александр Дворянский заявил, что нейросети пока полностью контролируются людьми, поскольку при их создании использовался принцип «не навреди человеку». По его мнению, в будущем целесообразно разработать механизмы экстренного отключения систем ИИ, которые позволят предотвращать потенциально опасные ситуации.
