Одним из наиболее важных аспектов оперативного машинного обучения (ML) является обслуживание искусственного интеллекта — задача, обычно выполняемая движком обслуживания ИИ.
Механизмы обслуживания ИИ оценивают и интерпретируют данные в базе знаний, обрабатывают развёртывание модели и отслеживают производительность. Они представляют собой совершенно новый мир, в котором приложения смогут использовать технологии ИИ для повышения операционной эффективности и решения важных бизнес-задач.
Лучшие способы
Я работал с клиентами Redis Labs, чтобы лучше понять их проблемы при внедрении ИИ в производство и помочь им спроектировать свои механизмы обслуживания ИИ. Мы разработали список передовых методов:
Быстрое сквозное обслуживание
Если вы поддерживаете приложения, работающие в реальном времени, вы должны убедиться, что добавление функций ИИ в ваш стек практически не повлияет на производительность приложений.
Никаких простоев
Поскольку каждая транзакция потенциально включает в себя некоторую ИИ-обработку, вам необходимо поддерживать согласованное стандартное SLA, предпочтительно не менее пяти девяток (99,999%) для критически важных приложений, с использованием проверенных механизмов, таких как репликация, постоянство данных, мультидоступная зона/стойка, активное геораспределение, периодическое резервное копирование и автоматическое восстановление кластеров.
Масштабируемость
В зависимости от поведения пользователей многие приложения созданы для пиковых случаев использования, от Черной пятницы до Большой игры. Вам нужна гибкость для расширения или сжатия механизма обслуживания ИИ в зависимости от ожидаемых и текущих нагрузок.
Поддержка нескольких платформ
Ваш движок обслуживания ИИ должен быть в состоянии обслуживать модели глубокого обучения, подготовленные на современных платформах, таких как TensorFlow или PyTorch. Кроме того, модели машинного обучения, такие как Random forest и линейная регрессия, по-прежнему обеспечивают хорошую предсказуемость для многих случаев использования и должны поддерживаться вашим движком обслуживания ИИ.
Легко развёртываемые новые модели
Большинство компаний хотят иметь возможность часто обновлять свои модели в соответствии с рыночными тенденциями или использовать новые возможности. Обновление должно быть максимально прозрачным и не влиять на производительность приложения.
Мониторинг эффективности и переподготовка
Каждый хочет знать, насколько хороша обученная модель, и иметь возможность настроить её в соответствии с тем, насколько хорошо она работает в реальных условиях. Обязательно требуйте, чтобы механизм обслуживания ИИ поддерживал A/B-тестирование, чтобы сравнить одну модель с другой по умолчанию. Система также должна предоставлять инструменты для ранжирования ИИ-выполнения ваших приложений.
Повсеместное развёртывание
В большинстве случаев модели лучше всего создавать и обучать в облаке и иметь возможность обслуживать везде, где вам нужно, например: в облаке поставщика, в нескольких облаках, локально, в гибридных облаках или на границе. Механизм обслуживания ИИ должен быть независимым от платформы, основан на технологии с открытым исходным кодом и иметь хорошо известную модель развёртывания, которая может работать на центральных процессорах, современных графических процессорах, мощных машинах и даже на устройстве Raspberry Pi.