Понять другого человека нам иногда не удается за всю жизнь.
А вот проделать то же самое с поведением машин — совсем другое дело.
Поскольку модели искусственного интеллекта (ИИ) всё чаще используются в сложных ситуациях — одобрение или отказ в выдаче ссуд, помощь врачам с медицинскими диагнозами, помощь водителям в дороге или даже полное управление — но людям всё ещё не хватает целостного понимания их возможностей и поведения.
Существующие исследования сосредоточены преимущественно на том, насколько точна модель. Часто зацикленность на понятии простой точности может привести к опасным упущениям. Что, если модель совершает ошибки с очень высокой степенью уверенности? Как повела бы себя модель, если бы она столкнулась с чем-то ранее незнакомым, например, беспилотный автомобиль, увидевший дорожный знак нового типа?
В поисках лучшего взаимодействия человека с ИИ группа исследователей из Лаборатории компьютерных наук и искусственного интеллекта (CSAIL) Массачусетского технологического института (MIT) создала новый инструмент под названием Bayes-TrEx, который позволяет разработчикам и пользователям добиться прозрачности в своей модели ИИ. В частности, он делает это, находя конкретные примеры, которые приводят к определённому поведению. В этом методе пименяется «байесовский апостериорный вывод» — широко используемая математическая структура для объяснения неопределённости модели.
В ходе экспериментов исследователи применили метод Bayes-TrEx к нескольким наборам данных на основе изображений и обнаружили новые идеи, которые ранее не учитывались стандартными оценками, сосредоточенными исключительно на точности прогнозов.
«Такой анализ важен для проверки того, что модель действительно работает правильно во всех случаях, — говорит аспирант MIT CSAIL Илун Чжоу (Yilun Zhou), соведущий исследователь Bayes-TrEx. — Особенно тревожит ситуация, когда модель ошибается, но очень уверенно. Из-за высокого доверия пользователей эти ошибки могут долгое время оставаться незамеченными и обнаруживаться только после нанесения значительного ущерба».
Например, после того, как система медицинской диагностики завершает обучение на наборе рентгеновских изображений, врач может использовать Bayes-TrEx для поиска изображений, которые модель неправильно классифицировала с очень высокой степенью уверенности, чтобы гарантировать, что она не пропустит какой-либо конкретный симптом болезни.
Bayes-TrEx также может помочь понять поведение модели в новых ситуациях. Возьмём автономные системы вождения, которые часто полагаются на изображения с камеры при съёмке светофоров, велосипедных полос и препятствий. Эти распространённые явления можно легко распознать с помощью камеры с высокой точностью, но более сложные ситуации могут создавать буквальные и метафорические препятствия. Быстрый сегвей потенциально может интерпретироваться как нечто такое же большое, как автомобиль, или такое маленькое, как неровность на дороге, что приведёт к ложному повороту или кататрофическому столкновению. Bayes-TrEx поможет разрешить эти новые ситуации заранее и позволит разработчикам исправить любые нежелательные результаты до того, как произойдут возможные трагедии.
Помимо изображений исследователи также занимаются менее статичной областью: роботами. Их инструмент под названием «RoCUS», вдохновлённый Bayes-TrEx, использует дополнительные адаптации для анализа поведения роботов.
Пока всё ещё на стадии тестирования, но эксперименты с RoCUS указывают на новые открытия, которые можно было бы легко упустить, если бы команда была сосредоточена исключительно на завершении задачи. Например, 2D-навигационный робот, который использовал подход глубокого обучения, предпочитал вплотную обходить препятствия из-за того, как собирались данные. Однако такое предпочтение может оказаться рискованным, если датчики препятствий робота не будут полностью точными. Для руки робота, манипулирующей предметами на столе, асимметрия в кинематической структуре оказала большее влияние на его способность захватывать цели слева, а не справа.
«Мы хотим сделать взаимодействие человека с ИИ более безопасным, дав людям больше информации о вспомогательных ИИ, — говорит аспирантка MIT CSAIL Серена Бут (Serena Booth), соавтор книги с Чжоу. — Люди должны уметь понимать, как эти агенты принимают решения, предсказывать, как они будут действовать на практике, и — что наиболее важно — предвидеть и обходить неудачи».
Бут и Чжоу стали соавторами в работе Bayes-TrEx вместе с аспирантом MIT CSAIL Анкитом Шахом (Ankit Shah) и профессором Массачусетского технологического института Джули Шах (Julie Shah). Они представили доклад виртуально на конференции AAAI по искусственному интеллекту. Также внесла свой вклад в работу над инструментом RoCUS постдок MIT CSAIL Надия Фигероа Фернандес (Nadia Figueroa Fernandez).
Источник: https://news.mit.edu/2021/more-transparency-understanding-machine-behaviors-bayes-trex-0322