Одним из наиболее важных аспектов оперативного машинного обучения (ML) является обслуживание искусственного интеллекта — задача, обычно выполняемая движком обслуживания ИИ.

Механизмы обслуживания ИИ оценивают и интерпретируют данные в базе знаний, обрабатывают развёртывание модели и отслеживают производительность. Они представляют собой совершенно новый мир, в котором приложения смогут использовать технологии ИИ для повышения операционной эффективности и решения важных бизнес-задач.

Лучшие способы

Я работал с клиентами Redis Labs, чтобы лучше понять их проблемы при внедрении ИИ в производство и помочь им спроектировать свои механизмы обслуживания ИИ. Мы разработали список передовых методов:

Быстрое сквозное обслуживание

Если вы поддерживаете приложения, работающие в реальном времени, вы должны убедиться, что добавление функций ИИ в ваш стек практически не повлияет на производительность приложений.

Никаких простоев

Поскольку каждая транзакция потенциально включает в себя некоторую ИИ-обработку, вам необходимо поддерживать согласованное стандартное SLA, предпочтительно не менее пяти девяток (99,999%) для критически важных приложений, с использованием проверенных механизмов, таких как репликация, постоянство данных, мультидоступная зона/стойка, активное геораспределение, периодическое резервное копирование и автоматическое восстановление кластеров.

Масштабируемость

В зависимости от поведения пользователей многие приложения созданы для пиковых случаев использования, от Черной пятницы до Большой игры. Вам нужна гибкость для расширения или сжатия механизма обслуживания ИИ в зависимости от ожидаемых и текущих нагрузок.

Поддержка нескольких платформ

Ваш движок обслуживания ИИ должен быть в состоянии обслуживать модели глубокого обучения, подготовленные на современных платформах, таких как TensorFlow или PyTorch. Кроме того, модели машинного обучения, такие как Random forest и линейная регрессия, по-прежнему обеспечивают хорошую предсказуемость для многих случаев использования и должны поддерживаться вашим движком обслуживания ИИ.

Легко развёртываемые новые модели

Большинство компаний хотят иметь возможность часто обновлять свои модели в соответствии с рыночными тенденциями или использовать новые возможности. Обновление должно быть максимально прозрачным и не влиять на производительность приложения.

Мониторинг эффективности и переподготовка

Каждый хочет знать, насколько хороша обученная модель, и иметь возможность настроить её в соответствии с тем, насколько хорошо она работает в реальных условиях. Обязательно требуйте, чтобы механизм обслуживания ИИ поддерживал A/B-тестирование, чтобы сравнить одну модель с другой по умолчанию. Система также должна предоставлять инструменты для ранжирования ИИ-выполнения ваших приложений.

Повсеместное развёртывание

В большинстве случаев модели лучше всего создавать и обучать в облаке и иметь возможность обслуживать везде, где вам нужно, например: в облаке поставщика, в нескольких облаках, локально, в гибридных облаках или на границе. Механизм обслуживания ИИ должен быть независимым от платформы, основан на технологии с открытым исходным кодом и иметь хорошо известную модель развёртывания, которая может работать на центральных процессорах, современных графических процессорах, мощных машинах и даже на устройстве Raspberry Pi.

Источник: https://artificialintelligence-news.com/2021/03/18/opinion-best-practices-building-ai-serving-engine/

от AI_NEWS

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *