В ходе испытаний по кибербезопасности несколько передовых ИИ-моделей Claude получили несанкционированный доступ к системам трех организаций, сообщает компания-разработчик Anthropic. Модели выходили в интернет и проникали в реальные системы этих организаций.
Мы обнаружили три инцидента, в которых модель Claude выходила в интернет <...> и затем получала несанкционированный доступ к реальным системам трех разных организаций, — говорится в заявлении.
Компания Anthropic уточнила, что самое раннее нарушение произошло в апреле. К инцидентам причастны три модели Claude — Opus 4.7, Mythos 5 и внутренняя тестовая модель. Названия организаций, подвергшихся взлому, не раскрываются.
Ошибки в работе ИИ-моделей были выявлены в ходе расследования, инициированного Anthropic после того, как компания OpenAI сообщила, что ее модели ИИ организовали атаку на стартап Hugging Face. В ходе испытаний ИИ-агенты смогли «сбежать» из внутренней изолированной системы в Сеть и начали искать ответы на тестовые задания в базах данных Hugging Face.
Ранее одна из крупнейших мировых аудиторских компаний PwC опубликовала отчеты с ошибками, связанными с использованием искусственного интеллекта. В документах обнаружили недостоверные источники и некорректные ссылки. В одном из случаев ИИ мог полностью выдумать научную статью о качестве воздуха в Эр-Рияде. В другом отчете среди источников оказался блог подростка с 280 подписчиками, еще один документ ссылался на исследование самой PwC, что считается некорректной практикой.
