Современные системы искусственного интеллекта обладают удивительными возможностями, но они страдают от ключевого ограничения: статистичности. Алгоритмы обучаются один раз на наборе данных и редко снова, что делает их неспособными изучать новую информацию без переподготовки. В противоположность человеческому мозгу, который постоянно учится, используя знания, полученные с течением времени, и развивая их по мере того, как он сталкивается с новой информацией. На фоне общего прогресса решение задачи “непрерывного обучения” остается большой проблемой в ИИ.

Этот вызов побудил команду исследователей ИИ и нейробиологии основать ContinualAI, некоммерческую организацию и открытое сообщество энтузиастов непрерывного машинного обучения. ContinualAI недавно предтавила Avalanche, библиотеку инструментов, собранную в течение года у более чем 40 участников, чтобы сделать непрерывные исследования обучения более простыми и воспроизводимыми. Группа также проводит презентации в стиле конференций, спонсирует семинары и соревнования по искусственному интеллекту, а также ведет хранилище учебников, кодов и руководств.

Как объясняет Винченцо Ломонако (Vincenzo Lomonaco), соучредитель и доцент Пизанского университета, ContinualAI — одна из крупнейших организаций по теме, которую ее члены считают фундаментальной для будущего ИИ. “Еще до того, как началась пандемия COVID-19, ContinualAI финансировалась с идеей раздвинуть границы науки посредством распределенного, открытого сотрудничества, — сообщил он VentureBeat по электронной почте. — Мы предоставляем комплексную платформу для производства, обсуждения и обмена оригинальными исследованиями в области искусственного интеллекта. И мы делаем это совершенно бесплатно, для всех”.

Даже очень сложные алгоритмы глубокого обучения могут задавать неверное обучение или катастрофические помехи — явление, когда глубокие сети не могут вспомнить то, что они узнали из обучающего набора данных. В результате сетям приходится постоянно напоминать о полученных знаниях, иначе они рискуют “застрять” в своих самых последних “воспоминаниях».

Ученый-исследователь OpenAI Джефф Клун, который помог основать Uber AI Labs в 2017 году, назвал катастрофическое забвение “ахиллесовой пятой” машинного обучения и считает, что его решение — самый быстрый путь к искусственному общему интеллекту. В феврале прошлого года Клун совместно с автором этой статьи создал алгоритм детализирующей ANML, который сумел выучить 600 последовательных задач с минимальным катастрофическим забыванием путем “метаобучения” решению проблем вместо ручного проектирования решений. Отдельно DeepMind Alphabet опубликовал исследование о том, что катастрофическое забывание не является непреодолимым для нейронных сетей. И Facebook продвигает ряд методов и критериев для непрерывного обучения, в том числе модель, которая, как он утверждает, эффективна в предотвращении забывания навыков, специфичных для конкретных задач.

Но хотя последние несколько лет наблюдается бум исследований этой проблемы, катастрофическое забывание в значительной степени остается нерешенным, по словам Кейланда Купера (Keiland Cooper), соучредителя ContinualAI и научного сотрудника по нейробиологии в Калифорнийском университете в Ирвине. “Потенциал непрерывного обучения превосходит катастрофическое забывание и начинает затрагивать более интересные вопросы реализации других когнитивных свойств обучения в ИИ, — заявил г-н Купер VentureBeat. — Один из примеров — трансфертное обучение, когда люди или животные учатся чему-то ранее, и это знание может быть применено к новому контексту или помочь обучению в других областях… Еще более заманчиво то, что непрерывное обучение — это попытка подтолкнуть ИИ от узких ученых систем к более широким, более общим”.

Даже если непрерывное обучение не приводит к тому, что изображает научная фантастика, Купер отмечает, что у него есть непосредственные преимущества во многих областях. Передовые модели обучаются на все более крупных наборах данных в поисках лучшей производительности, но это обучение обходится дорого — будь то ожидание окончания обучения неделями или влияние потребления электроэнергии на окружающую среду.

«Допустим, вы управляете некой ИИ-организацией, которая создала модель естественного языка, обученную в течение нескольких недель на 45 терабайтах данных за несколько миллионов долларов, — объяснил Купер. — Если вы хотите научить эту модель чему-то новому, то вам, скорее всего, придется начать с нуля или рискнуть переписать то, чему она уже научилась, если только вы не добавите к модели непрерывные учебные дополнения. Более того, в какой-то момент стоимость хранения этих данных станет чрезвычайно высокой для организации или даже невозможной. Кроме того, есть много случаев, когда вы можете увидеть данные только один раз, и поэтому переподготовка даже не вариант”.

В то время как проект системы непрерывного обучения ИИ остается недостижимым, ContinualAI стремится соединить исследователей и менеджеров сторон, заинтересованных в этой области, а также поддержать и обеспечить платформу для проектов и исследований. За три года, прошедшие с момента основания, она выросла до более чем 1000 членов.

“Лично для меня, несмотря на возобновившийся интерес к непрерывному обучению в исследованиях ИИ, нейробиология того, как люди и животные могут усваивать знания, все еще в значительной степени неизвестна, — признал Купер. — Я хотел бы видеть больше взаимодействия с исследователями ИИ, когнитивистами и нейробиологами, чтобы общаться и развивать каждую из своих областей IDE для достижения общей цели понимания одного из самых важных аспектов обучения и интеллекта. Я думаю, что такая организация, как ContinualAI, лучше всего подходит для этого, поскольку позволяет обмениваться идеями без границ академических или промышленных стен или удаленной геолокации”.

Винченцо Ломонако считает, что помимо миссии распространения информации о непрерывном обучении ContinualAI имеет потенциал стать ориентиром для более инклюзивного и совместного способа проведения исследований в области ИИ. “Элитный университет и лаборатории частных компаний по-прежнему работают в основном за закрытыми дверями, но мы действительно верим в инклюзивность и разнообразие, а не в избирательную элитность. Мы предпочитаем прозрачность и открытый исходный код, а не защитные IP-лицензии. Мы позаботимся о том, чтобы каждый имел доступ к учебным ресурсам, необходимым для реализации своего потенциала”.

Источник: https://venturebeat.com/2021/04/09/ai-weekly-continual-learning-offers-a-path-toward-more-humanlike-ai/

от AI_NEWS

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *