Nvidia сегодня объявила о выпуске TensorRT-8, последней версии своего комплекта разработки программного обеспечения (SDK), предназначенного для искусственного интеллекта и машинного обучения. Nvidia утверждает, что TensorRT-8 сокращает время вывода языковых запросов вдвое по сравнению с предыдущим выпуском TensorRT.
Модели ИИ становятся все более сложными, и спрос на приложения для глубокого обучения в реальном времени растет. Согласно недавнему опросу O’Reilly, 86,7% организаций в настоящее время рассматривают, оценивают или вводят в производство продукты ИИ. А «Делойт» сообщает, что 53% предприятий, внедряющих ИИ, потратили более 20 миллионов долларов в 2019 и 2020 годах на технологии и таланты.
TensorRT, по сути, набирает математические координаты модели до баланса наименьшего размера модели с наибольшей точностью для системы, на которой она будет работать. Nvidia утверждает, что приложения на базе TensorRT работают во время вывода в 40 раз быстрее, чем платформы только на процессоре, и что специфичная для TensorRT 8 оптимизация позволяет BERT-Large — одной из самых популярных моделей на базе Transformer — работать за 1,2 миллисекунды.
Sparsity, технология производительности, используемая графическими процессорами Ampere Architecture от Nvidia, среди прочего, повышает эффективность TensorR- 8 за счет сокращения вычислительных операций. Между тем обучение с учетом квантования позволяет разработчикам использовать обученные модели для выполнения вывода, не жертвуя большой точностью.
“Для предприятий крайне важно внедрять самые современные решения для вывода данных, — заявил в пресс-релизе вице-президент Nvidia по программам разработчиков Грег Эстес (Greg Estes). — Последняя версия TensorRT вводит новые возможности, которые позволяют компаниям поставлять разговорные приложения ИИ своим клиентам с таким уровнем качества и оперативности, который никогда раньше не был возможен”.
Движущая сила Tensor
Nvidia утверждает, что за пять лет с момента своего первого выпуска TensorRT был загружен почти 2,5 миллиона раз и использовался более чем 350 000 разработчиками в 27 500 компаниях в таких областях, как здравоохранение, автомобилестроение, финансы и розничная торговля. Hugging Face работал с Nvidia для запуска AI text analysis, neural search и conversational AI services, в то время как GE Healthcare использовала SDK для поддержки своих систем компьютерного зрения для ультразвуковых исследований, улучшая производительность своего алгоритма обнаружения заболеваний сердца.
“Мы тесно сотрудничаем с Nvidia, чтобы обеспечить наилучшую производительность для современных моделей на графических процессорах Nvidia, — заявил директор по продуктам Hugging Face Джефф Будье (Jeff Boudier). — С TensorRT-8 Hugging Face достиг 1-миллисекундной задержки вывода на BERT, и мы будем рады предложить эту производительность нашим клиентам позже в этом году”.
TensorRТ-8 теперь широко доступен для участников программы разработчиков Nvidia. Последние версии плагинов, парсеров и сэмплов также доступны в виде открытого исходного кода из репозитория TensorRT GitHub.
Источник: https://venturebeat.com/2021/07/20/nvidia-releases-tensorrt-8-for-faster-ai-inference/