Директор Института проблем управления РАН академик РАН Дмитрий Новиков рассказал, почему искусственные нейронные сети не используются в системах управления критически важными объектами и в чем состоит главная опасность нездорового ажиотажа вокруг искусственного интеллекта.

В последнее время звучит все больше разговоров о важности технологий искусственного интеллекта. Его применение считают чуть ли не главным трендом развития человечества. Интересно ваше мнение по этому вопросу как руководителя головной научной организации по системам управления. Когда искусственный интеллект станет управлять у нас всем?

Начнем с последнего вопроса – никогда в обозримом будущем. Я считаю, что искусственный интеллект является очень вредным термином, потому что для обывателей он создает иллюзию действительно чего-то сравнимого с человеком. Определений искусственного интеллекта есть тысячи, но, если взять какой-нибудь нормативный документ нашего правительства, программу по развитию искусственного интеллекта, то там будет сказано, что искусственный интеллект – это нечто, имитирующее деятельность человека. Определение очень туманное, и нет четких границ, что относить к искусственному интеллекту.

А что такое искусственный интеллект, по-вашему?

Можно сказать, что с точки зрения теории управления – это раздел математики. Традиционно есть несколько областей науки, как правило – методов прикладной математики, которые считают относящимися к искусственному интеллекту. Они возникли в разное время, и некоторые из них появились еще до 1956 года, когда этот термин возник. Те же столь безумно модные сейчас искусственные нейронные сети берут начало от математической модели искусственного нейрона Мак-Каллока–Питтса – а это 1943 год. Первая практическая реализация нейронной сети – это перцептрон Розенблатта (1957 год). Традиционно к методам искусственного интеллекта, помимо сетей, относят: нечеткие множества (которыми начали заниматься в 1965 году), эволюционные алгоритмы и экспертные системы (возникшие в 1960-70-е годы), мультиагентные системы (1974 год), различные логические средства и многое другое.

Периодически наблюдались всплески интереса к этим областям, но надо понимать, что это весьма эклектичная область знаний, развивающаяся скачками, и каждый из этих скачков сопровождается завышенными ожиданиями, которые сменяются разочарованиями. На протяжении почти 70-летней истории развития этой области таких скачков было несколько и еще много будет, но все это зачастую лишь «пена».

То есть нельзя сказать, что основная задача ИПУ РАН, как головной научной организации в области систем управления, состоит в скорейшем внедрении искусственного интеллекта в управление всем, чем только можно?

Сказать так было бы в принципе неправильно, хотя об искусственном интеллекте мы тоже не забываем. Если обратиться к истории, то в 1970 году вышла книга трех наших сотрудников – Айзермана, Бравермана и Розоноэра «Метод потенциальных функций в теории обучения машин». Это была первая в стране системная работа по распознаванию образов. А в 1974 году появилась книга наших сотрудников Вапника и Червоненкиса «Теория распознавания образов», получившая признание во всем мире – метод опорных векторов и размерность Вапника-Червоненкиса знает каждый студент. Недаром самый на сегодня мощный в России суперкомпьютер Яндекса называется «Червоненкис». То есть, как «Россия – родина слонов», так и Институт проблем управления РАН – родина искусственного интеллекта, как минимум в России. Поэтому, с одной стороны, мы искусственный интеллект, можно сказать, породили и успешно применяем его, где можно и нужно, но не надо вокруг этого поднимать столько шума и кричать, что наша задача состоит в его повсеместном внедрении. Это обывательская точка зрения, в которой есть определенный вред.

Что же вредного в том, что к научно-технической проблеме наблюдается повышенный интерес в обществе?

Понимаете, в теории управления всегда доминировал модельный подход, который подразумевает, что мы должны достаточно хорошо знать и понимать объект управления, чтобы им управлять. Альтернативой этому является безмодельный подход, частным случаем которого являются те же искусственные нейронные сети. Мы их обучаем, но каким образом при этом выстраиваются связи и как именно принимается сетью то или иное решение, мы не знаем.

Представьте, что у вас есть черный ящик, с одной стороны которого есть кнопка, а с другой – лампочка. Нажимаете на кнопку – загорается лампочка. Мы установили эту связь, но не знаем, что там внутри и почему это происходит, зажжется ли лампочка в следующий раз и не взорвется ли этот черный ящик после определенного числа нажатий на кнопку. С одной стороны, хорошо, что не надо забивать себе голову знаниями об объекте управления и тратить время на его изучение: установил связь между кнопочкой и лампочкой – и задача решена. Но есть у безмодельного подхода и минусы: мы не понимаем, что именно на самом деле происходит, а потому, в том числе, не можем гарантировать безопасного функционирования этого объекта. Именно поэтому один из текущих трендов – это разработка интерпретируемых моделей машинного обучения.

Почему искусственные нейронные сети не используются в системах управления критически важными объектами? Потому что никто не может гарантировать, что система управления не выведет этот объект за границы допустимой области. Именно поэтому нейронных сетей нет в авиации, на атомных станциях, во многих производственных системах. Проблема доверенного (объяснимого) искусственного интеллекта – это интересная научная задача с точки зрения математики и много кто ею занимается, но над ее решением еще работать и работать.

Но есть же области, где искусственный интеллект успешно работает.

Разумеется, искусственные нейронные сети успешно применяются во многих областях, в том числе и в наших разработках, но я говорю о вреде, который приносит ажиотаж, который создается вокруг этого термина. Самая главная здесь опасность – цивилизационно-образовательная. В самом деле, если у нас будет тотально принят безмодельный подход, то зачем нам изучать в школе физику, химию, биологию и даже математику. Вместо этого мы «настроим сетку», как говорит сейчас молодежь, и она сама во всем разберется. В результате в этой области складывается очень тревожная структура знаний и компетенций.

Мы недавно организовывали хакатон с одним из банков по решению задач использования искусственного интеллекта в сельском хозяйстве. Хакатон – это когда предлагается несколько задач, и соревнующиеся команды должны за заданное время решить их, после чего жюри по заранее определенным критериям определяет победителей. Когда мне коллеги рассказали о том, кто там победил, я был сначала очень удивлен, потому что в решении одной из задач победила команда, состоящая из двух старшеклассников и одного студента, при том, что команды были самые разные, начиная от школьников, заканчивая лицами, обремененными высокими учеными степенями. Казалось бы, профессор должен обыграть школьника в интеллектуальной задаче. Но это не всегда так.

Есть несколько порогов вхождения в предметную область, связанную с искусственным интеллектом (точнее – с искусственными нейронными сетями). Первый порог очень низкий. Это уровень пользователя компьютерных программ, для чего достаточно знаний в объеме старших классов физмат школы. Достаточно подобрать параметры и модифицировать программу на Python. Следующий порог, который тоже невысок, требует уровня знаний 2-3 курса инженерного или математического вуза: написать программу самому, подобрать (найти в Интернете) данные для машинного обучения. А следующий уровень – это уже глубокие, по-настоящему научные работы, дающие существенное повышение качества решений системы, включая доказательство теорем и тому подобное. На этот уровень выходит одна сотая процента, а все остальные так и толкутся на двух нижних «ремесленных» уровнях. Но при этом и у них, и у окружающих их обывателей создается иллюзия, что они делают науку и продвигают искусственный интеллект. И самое печальное, что эта же иллюзия создается не только у обывателей или журналистов, но и у тех, кто выделяет деньги на соответствующие исследования и определяет, чему нужно, а чему не нужно учить подрастающее поколение. И вот очень влиятельные люди уже заявляют, что нам не нужны математические школы или что в обычной школе не надо изучать физику. Вот что самое страшное.

Подготовил Леонид Ситник, редакция сайта РАН