На пленарном заседании «ИИ: Применение, перспективы и вызовы» директор Института системного программирования им. В.П. Иванникова РАН академик Арутюн Аветисян рассказал об обеспечении доверия и безопасности искусственного интеллекта, особенно при использовании в критической информационной инфраструктуре. Выступление математика прошло 22 сентября в Университете «Сириус», в ходе первого дня работы форума «Микроэлектроника 2025».

Говоря о вызовах безопасности, Арутюн Аветисян привёл примеры уязвимостей: от взлома систем распознавания лиц до аварий с автономными автомобилями и психологического воздействия ИИ на людей. «По данным ВОЗ, каждый восьмой из нас психологически нестабилен. Говорят, уже тысячами исчисляются случаи, когда большие модели приводят к самоубийству», — констатировал он. Особую опасность, по его словам, представляют сложные мошеннические схемы с использованием дипфейков, которые подрывают доверие к цифровой информации.

При этом угрозы в ИИ носят принципиально новый, комплексный характер, сочетая кибербезопасность и социо-гуманитарный аспект. «В отличие от традиционного IT, искусственный интеллект имеет два измерения — это кибербезопасность традиционная, конечно же, и вторая — социо-гуманитарная. И вот это уже новый вызов, с которым мы должны иметь дело», — подчеркнул он.

Исключить возможность подмены информации возможно путём формирования инфраструктуры доверенных баз данных. Даже незначительное искажение данных (менее 1 %) может привести к «отравлению» информации и, как следствие, к обучению системы на некорректных данных, которые потенциально позволят взломать всю систему.

Разработкой безопасных, этичных и надёжных технологий искусственного интеллекта в России занимается Консорциум исследований безопасности технологий искусственного интеллекта, основанный Институтом системного программирования РАН, АНО «Национальный технологический центр цифровой криптографии» и Академией криптографии Российской Федерации. По словам академика, инструменты уже нашли десятки уязвимостей в популярных фреймворках. Кроме того, планируется скорый выход первого отечественного стандарта по безопасной разработке для машинного обучения.

Вопрос безопасности данных потенциально снимает федеративное обучение — метод машинного обучения, при котором модель обучается на данных, хранящихся на множестве децентрализованных устройств без необходимости собирать эти данные в одном месте. Федеративное обучение особенно актуально для критических инфраструктур, которым необходимы данные для машинного обучения.

«Важно подчеркнуть, что это не обязательно означает открытость в общепринятом смысле, речь может идти о закрытых версиях внутри определённого конгломерата», — пояснил учёный.

Ключевой компонент безопасного ИИ — технологическая платформа на отечественном оборудовании, подчеркнул академик. «Обеспечить безопасность без своего „железа“ невозможно», — резюмировал Арутюн Аветисян.

Российский форум «Микроэлектроника 2025» проходит с 21 по 27 сентября на площадке Научно-технологического университета «Сириус» (федеральная территория Сириус). Это важнейшее отраслевое мероприятие входит в план мероприятий Десятилетия науки и технологий и объединяет специалистов микро- и радиоэлектронной отрасли, создания и применения электронной компонентной базы и программно-аппаратных комплексов. За семь дней работы в мероприятии примут участие более 3500 человек и прозвучат больше 1100 докладов.