Руководство Facebook говорит, что разработан метод ИИ, который позволяет моделям машинного обучения сохранять только определенную информацию, забывая об остальном. Представитель компании утверждает, что программа Expire-Span может предсказывать информацию, наиболее релевантную для поставленной задачи, позволяя системам искусственного интеллекта обрабатывать информацию в более крупных масштабах.
Модели искусственного интеллекта запоминают информацию без различия — в отличие от человеческой памяти. Имитировать способность забывать (или не забывать) на программном уровне -задача сложная, но стоящая в машинном обучении. Интуитивно понятно, что если система может запомнить 5 вещей, то в идеале эти вещи должны быть действительно важными. Но современные архитектуры моделей фокусируются на отдельных частях данных выборочно, что приводит к тому, что им приходится обрабатывать большие объемы информации, такие как списки или видео, и нести высокие вычислительные затраты.
Это может способствовать возникновению других проблем , таких как катастрофическое обучение или катастрофическая интерференция — феномен, когда системы искусственного интеллекта не могут вспомнить то, что они узнали из обучающего набора данных. В результате системам приходится постоянно напоминать о полученных знаниях, иначе они рискуют “застрять” в своих самых последних “воспоминаниях».
Несколько предложенных решений проблемы сосредоточены на сжатии. Историческая информация сжимается на более мелкие фрагменты, позволяя модели углубляться в прошлое. Недостатком, однако, становятся “размытые” версии памяти, которые могут повлиять на точность предсказаний модели.
Альтернативой от Facebook является Expire-Span, который постепенно забывает ненужную информацию. Expire-span начинает работу, предсказывая, какая информация наиболее важна для текущей задачи, основываясь на контексте. Затем он назначает каждому фрагменту информации дату истечения срока действия, так что по истечении этой даты информация удаляется из системы.
Facebook утверждает, что Expire-Span достигает лидирующих результатов в тестировании языкового моделирования на уровне символов и повышает эффективность при длительных контекстных рабочих нагрузках в при языковом моделировании, обучении с подкреплением, сравнении объектов и алгоритмических задачах.
Важность забвения
Считается, что без забвения у людей вообще не было бы памяти. Если бы мы помнили все, мы, вероятно, были бы неэффективны, потому что наш мозг был бы завален лишними воспоминаниями.
Исследования показывают, что одна из форм забывания, внутреннее забывание, включает в себя определенное подмножество клеток в мозге, которые разрушают физические следы воспоминаний, называемых инграммами. Клетки обращают вспять структурные изменения, которые создали инграмму памяти, которая сохраняется в процессе консолидации.
Новые воспоминания формируются с помощью нейрогенеза, что может усложнить задачу восстановления прежних воспоминаний. Существует теория, что нейрогенез повреждает старые инграммы или затрудняет выделение старых воспоминаний из новых.
Разработчики пытаются вызвать внутреннее забывание в ИИ и запечатлеть процесс нейрогенеза в программной форме.
Expire-Span
Обычно системы искусственного интеллекта, которым поручено, например, найти желтую дверь в коридоре, могут запоминать такую информацию, как цвет других дверей, длина коридора и текстура пола. С помощью Expire-Gan модель может забыть ненужную информацию, обработанную на пути к двери, и запомнить только биты, необходимые для выполнения задачи, такие как цвет искомой двери.
Чтобы вычислить даты истечения срока действия слов, изображений, видеокадров и другой информации, Expire-Span определяет, как долго информация сохраняется в памяти каждый раз, когда представляется новая часть данных. Этот постепенный распад является ключом к сохранению важной информации, не размывая ее, говорит Facebook. Expire-Span, по сути, делает прогнозы на основе контекста, извлеченного из данных и находящегося под влиянием окружающих его воспоминаний.
Например, если система ИИ обучается выполнять задачу предсказания слов, то с помощью Expire-Span можно научить систему запоминать редкие слова, такие как имена, но забывать слова-наполнители, такие как “the”, “and» и “of».” Просматривая предыдущий, релевантный контент, Expire-Span предсказывает, можно ли что-то забыть или нет.
Facebook Expire-Span
Facebook утверждает, что Expire-Span может масштабироваться до десятков тысяч единиц информации и имеет возможность сохранять менее тысячи ее битов. В качестве следующего шага планируется исследовать, как основные методы могут быть использованы для включения различных типов памяти в системы ИИ.
“Хотя в настоящее время это исследование еще не завершено, мы могли бы увидеть метод истечения срока действия, используемый в будущих реальных приложениях, которые могут извлечь выгоду из искусственного интеллекта, забывающего несущественную информацию, — сообщается в блоге Facebook. — Теоретически в один прекрасный день Expire-Span может дать людям возможность легче сохранять информацию, которую они считают наиболее важной для таких типов долгосрочных задач и воспоминаний”.