IT-эксперт рассказал, как повысить доверие пользователей к ИИ-системам

Общество 16 ноября, 2026 / 12:16

Паспорт доверия позволит повысить уверенность пользователей в надежности ИИ-систем, заявил NEWS.ru заместитель руководителя направления «Искусственный интеллект» IT-холдинга Т1 Сергей Карпович. По его словам, этот документ помогает убедиться, что нейросеть дает правильный результат и не выходит за рамки заданных параметров.

Чтобы пользователи доверяли ИИ-системе, поставщик должен доказать, что она стабильно выдает нужный результат и не выходит за заданные границы. Такой доказательной базой может стать «паспорт доверия» — набор документов по результатам испытаний для конкретной версии, конфигурации и сценария использования модели. Он состоит из четырех блоков. Первый описывает, какую бизнес-задачу решает система, кто ею пользуется, к каким данным и действиям у нее есть доступ. Не менее важно перечислить, чего система делать не должна: на какие запросы отказаться отвечать, какие операции ей запрещены, даже если технически она может их выполнить, — поделился Карпович.

Он подчеркнул, что второй блок описывает состав ИИ-системы: в нем указано, какая базовая модель используется и как она дообучалась, откуда берутся данные, какие внешние сервисы и инструменты задействованы и на каких условиях. По словам эксперта, поставщик обязан гарантировать поддержку и безопасность всех компонентов.

Третий блок — тестирование и приемка. Здесь важнее не пройти испытания, а зафиксировать ситуации, в которых система не дает нужного результата. Для этого ее проверяют на сложных и граничных случаях, под нагрузкой, имитируют атаки. Четвертый компонент паспорта доверия — доказанная безопасность архитектуры. Заказчик должен видеть, как данные проходят между системами, как работа системы контролируется и при необходимости отключается. Особенно важно это при запуске ИИ-агентов. У них появляются функции, которых раньше никогда не было, что автоматически превращает их в точки создания уязвимостей внутри организации, — заключил Карпович.

Ранее IT-эксперт Владимир Зыков предупредил о рисках утечки данных при использовании нейросетей через ботов в Telegram. Он пояснил, что вся информация, отправленная пользователем, сначала попадает к владельцам стороннего сервиса.