На фоне участившихся случаев нападений молодых людей на учебные заведения государство решило серьёзно потратиться на выявление потенциальных колумбайнеров, а до кучи и всех тех, кто представляет потенциальную угрозу. В рамках федерального проекта Росмолодёжи «Социальная активность» Автономная некоммерческая организация «Центр изучения и сетевого мониторинга молодёжной среды» (АНО «ЦИСМ») может получить около 1,6 млрд рублей. Эти средства, как следует из проекта федерального бюджета на 2022–2024 годы, должны пойти на создание системы, которая должна выявлять учащихся, склонных к социально опасному и деструктивному поведению по их письменным работам. NEWS.ru узнал, о чём идёт речь, поможет ли это в борьбе с массшутингом или же речь идёт о том, чтобы банально укрепить карательный аппарат искусственным интеллектом.
Нейросети против депрессии и анархизма
В пояснительной записке к проекту федерального бюджета на трёхлетний период говорится, что АНО «ЦИСМ» в 2022 и 2023 годах получит по 551,1 млн рублей, а в 2024-м — 555,7 млн рублей на разработку программного обеспечения для анализа письменных работ учащихся и выявления «склонности к социально опасному и деструктивному поведению». Речь идёт о создании системы мониторинга информации, которая может мотивировать детей «совершить действия, представляющие угрозу их жизни» или жизни и здоровью других.
При этом уже в 2021 году Федеральное казначейство выделило АНО «ЦИСМ» на эти нужды около 245 млн рублей из резервного фонда президента, однако пока эта сумма получателю не перечислена. А в 2019-м Минобрнауки собиралось дать этой же структуре 628 млн рублей на поиск информации в Интернете, угрожающей жизни и здоровью детей.
В одном из интервью глава АНО «ЦИСМ» Денис Заварзин заявил, что его организация мониторит аккаунты в соцсетях, где присутствует «суицидальный и депрессивный контент, информация о вооружённых нападениях на учебные заведения, анархизм, ультрадвижения и распространение криминальных сообществ». Таких страниц, по его словам, начитывается до 61 млн.
Следите за развитием событий в нашем Телеграм-канале
По словам Заварзина, руководимая им организация использует «нейросетевой комплекс, в базы которого попадают такие аккаунты». За активностью последних цифровое оборудование постоянно наблюдает в автоматическом режиме.
Если они увеличивают свою активность, то попадают в «красную зону». Операторы более внимательно их изучают: идёт разбор профилей с участием психологов-аналитиков, формируется аналитическая информация и потом передаётся либо в соответствующие службы для организации профилактической работы с владельцами, если мы видим какую-то суицидальную активность, либо в правоохранительные органы, если мы видим признаки приготовления к совершению преступления, — пояснял Заварзин.
Как рассказал NEWS.ru адвокат и правовой аналитик проекта «Сетевые свободы» Станислав Селезнёв, программный анализ письменных работ относится к области data science, которая называется natural language processing (NLP).
Программисты с участием филологов разрабатывают специальные «библиотеки» данных, при использовании которых специальный алгоритм «учится» анализировать тексты на предмет интереса к определённой теме и даже эмоциональной окраски. На сегодняшний день такие технологии развиваются с огромной скоростью, но пока всё же ошибок в распознавании слишком много, чтобы всерьёз на них полагаться.
Правозащитник добавил, что сейчас «невозможно утверждать, что данные [об учащихся] не попадут никому, кроме психологов». Он сослался на статью 13 федерального закона «Об основах охраны здоровья граждан», согласно которой предоставление врачебной тайны без согласия гражданина или его законного представителя допускается «по запросу органов дознания и следствия, суда в связи с проведением расследования или судебным разбирательством, по запросу органов прокуратуры в связи с осуществлением ими прокурорского надзора».
Таким образом, возбуждение уголовного дела абстрактного характера что-то вроде «о вовлечении несовершеннолетних в деструктивную запрещённую организацию убийц-одиночек» (гипотетический пример) позволит неограниченное количество времени получать сведения, составляющие результаты этих исследований, — резюмировал Станислав Селезнёв.
Слабая научная база
Вопросы о том, что произойдёт с данными о владельцах аккаунтов, возникают и у директора по науке и технологиям Агентства искусственного интеллекта Романа Душкина. Он подчёркивает, что «сложно сказать, где что будет использоваться и куда будет передаваться в нашем веке, который опутан цифровыми технологиями и когда создаются единые виртуальные цифровые пространства». Интегрировать разные системы, по его словам, технически несложно, особенно если будут иметь силу соответствующие нормативные документы, без которых государственные органы не могут работать.
Другое дело, что работать система будет кое-как, хотя если выделяют такие огромные деньги и дадут разработчикам достаточное количество времени, то, может быть, что-то получится. Но сама по себе психолого-лингвистическая экспертиза — это очень мутное дело. Там столько субъективизма, что разрушить молодому человеку всю последующую жизнь только из-за того, что он написал не то слово, можно по щелчку пальца. Бездушная бюрократическая машина этого вообще не заметит, а у конкретного человека фактически не из-за чего будет сломана судьба. А с учётом того, какую депрессивную литературу дети изучают в школе, не приходится удивляться тому, какие сочинения они пишут после этого. Взять одно только «Преступление и наказание». Да, это великая книга великого русского писателя, но она не для школы. Человек должен вырасти и созреть для понимания этого текста, а не в 15 лет изучать судьбу Родиона Раскольникова и Сонечки Мармеладовой.
Также собеседник NEWS.ru считает «очень слабо научной» идею, на основе которой из текстов школьников можно выудить какие-то психологические характеристики и поведенческие тенденции. Для того чтобы создавать определённую систему, считает Роман Душкин, «сначала надо довольно мощно провести научно-исследовательские работы».
Эксперт надеется, что такие исследования состоятся, учитывая внушительный объём бюджетного финансирования программы. А полученные результаты можно будет применять в разных других областях. Например, в астрофизике или построении сильного искусственного интеллекта, который будет применяться в воплощённых роботах.
То, что выбрана такая прикладная задача, как создание модели распознавания поведенческих тенденций на основании работ школьников, можно объяснить тем, что государству нанесли определённый урон — какой-то психопат совершил непонятный поступок, общество в шоке. Надо какие-то меры принимать, вот последовала такая реакция — она понятная и обоснованная, но долгосрочные последствия нужно просчитывать, — добавил Душкин.
При этом, по его мнению, чтобы, например, выявлять скулшутеров, следует «применять совершенно другие меры и совершенно на другом уровне». Душкин предположил, что проблема заключается в отношении людей к подросткам, а предлагаемой системой распознавания деструктивного контента в соцсетях потенциальные убийцы «вообще не могут выявляться».
Мы городим огромную махину репрессий фактически для ловли чёрной кошки в тёмной комнате, — резюмировал специалист.
В свою очередь в АНО «ЦИСМ» уверены, что помогают силовикам «искать иголку в стоге сена», и если даже одно нападение на школу удаётся предотвратить — это спасённые жизни детей и большая победа. Но, по словам Дениса Заварзина, речь идёт «не об одном и даже не о двух предотвращённых вооружённых нападениях». Глава центра также считает, что «важно спасти человека, чтобы он не навредил ни себе, ни окружающим», в связи с этим «система профилактики важнее».
В конце августа МВД объявило о тендере на исследование применимости методов машинного обучения и анализа данных для предотвращения серийных преступлений. Работы в рамках нацпрограммы «Цифровая экономика РФ» предполагают внедрение в работу полиции искусственного интеллекта, а также изучение отечественного и мирового опыта применения соответствующих технологий при расследованиях. Например, речь идёт об извлечении ключевых данных и анализе материалов дел, оперативных сводок, заявлений граждан, экспертиз и аудиоматериалов. NEWS.ru подробно разбирался, как это должно работать и поможет ли в борьбе с издержками человеческого фактора.