Исследователи из Массачусетского технологического института (MIT) разработали тип нейронной сети, которая совершенствуется в работе, а не только на этапе обучения. Эти гибкие алгоритмы, получившие название «жидких» сетей, изменяют лежащие в их основе уравнения, чтобы постоянно адаптироваться к новым входным данным. Процесс может помочь в принятии решений на основе потоков данных, которые меняются со временем, в том числе тех, которые используются для медицинской диагностики и автономного вождения.
«Это путь вперёд, в будущее управления роботами, обработки естественного языка, обработки видео — любой формы обработки данных временных рядов, — говорит Рамин Хасани (Ramin Hasani), ведущий автор исследования. — Потенциал действительно значителен».
Помимо Хасани, постдока в Лаборатории информатики и искусственного интеллекта MIT (CSAIL), соавторами от MIT стали Даниэла Рус (Daniela Rus), директор CSAIL, профессор электротехники и компьютерных наук, и аспирант Александр Амини (Alexander Amini). Среди других соавторов — Матиас Лехнер (Mathias Lechner) из Института науки и технологий Австрии и Раду Гросу (Radu Grosu) из Венского технологического университета.
По словам г-на Хасани, данные временных рядов применяются повсеместно и жизненно важны для нашего понимания мира. «Реальный мир — это всё о последовательностях. Даже наше восприятие: вы не воспринимаете изображения, вы воспринимаете последовательности изображений, — напоминает он. — Итак, данные временных рядов действительно создают нашу реальность».
Исследователь указывает на обработку видео, финансовых данных и медицинские диагностические приложения как на примеры временных рядов, которые имеют ключевое значение для общества. Превратности этих постоянно меняющихся потоков данных могут быть непредсказуемыми. Тем не менее их анализ в режиме реального времени и использование для прогнозирования поведения в будущем может ускорить развитие новых технологий, таких как беспилотные автомобили. Хасани построил алгоритм, подходящий для этой задачи.
Он разработал нейронную сеть, которая может адаптироваться к изменчивости реальных систем. Нейронные сети — это алгоритмы, которые распознают шаблоны, анализируя набор «обучающих» примеров. Часто говорят, что они имитируют технологические пути мозга — Хасани черпал вдохновение непосредственно у микроскопической нематоды C. elegans. «В её нервной системе всего 302 нейрона, — говорит он, — но она может генерировать неожиданно сложную динамику».
Разработчик закодировал свою нейронную сеть, уделяя особое внимание тому, как нейроны C. elegans активируются и общаются друг с другом с помощью электрических импульсов. В уравнениях, которые использовал для структурирования своей нейронной сети, он позволял параметрам изменяться во времени на основе результатов вложенного набора дифференциальных уравнений.
Эта гибкость стала ключевой. Поведение большинства нейронных сетей фиксируется после фазы обучения, и они плохо приспосабливаются к изменениям во входящем потоке данных. Хасани говорит, что подвижность его «жидкой» сети делает её более устойчивой к неожиданным или зашумленным данным, например, если сильный дождь закрыл обзор камеры на беспилотном автомобиле. «Так что он более надёжный», — подчеркивает он.
И добавляет, что у гибкости сети есть ещё одно преимущество: «Её легче интерпретировать».
Хасани заявляет, что его жидкая сеть обходит непостижимость, обычную для других нейронных сетей. «Просто изменив представление нейрона, — как это сделал Хасани с дифференциальными уравнениями, — вы действительно сможете изучить некоторые степени сложности, которые иначе невозможно было бы исследовать». Благодаря небольшому количеству высокоэкспрессивных нейронов Хасани легче заглянуть в «чёрный ящик» принятия решений сетью и диагностировать, почему сеть провела определённую характеристику.
«Сама модель более выразительна», — говорит Хасани. Это может помочь инженерам понять и улучшить производительность жидкой сети.
Сеть Хасани преуспела в серии тестов. Она на несколько процентов опередила другие современные алгоритмы временных рядов в точном прогнозировании будущих значений в наборах данных, начиная от химии атмосферы и заканчивая схемами движения. «Во многих приложениях мы видим, что производительность надёжно высока», — подчеркивает разработчик. Кроме того, небольшой размер сети означает, что тесты прошли без больших затрат на вычисления. «Все говорят о расширении своей сети, — делится Хасани. — Мы хотим уменьшить масштаб, чтобы количество узлов было меньше, но сами узлы были богаче».
Он продолжит улучшать систему и готовить её к промышленному применению. «У нас есть доказуемо более выразительная нейронная сеть, вдохновленная природой. Но это только начало процесса, — говорит он. — Возникает очевидный вопрос: как это расширить? Мы думаем, что такая сеть может стать ключевым элементом будущих интеллектуальных систем».
Это исследование частично финансировалось Boeing, Национальным научным фондом, Австрийским научным фондом, а также Electronic Components and Systems for European Leadership.
Источник: https://news.mit.edu/2021/machine-learning-adapts-0128