К настоящему времени большинство работающих в сфере технологий знают, что присущая нам как людям предвзятость присутствует в приложениях ИИ — приложениях, которые стали настолько сложными, что способны формировать природу нашей повседневной жизни и даже влиять на принятие решений.

Чем более распространенными и мощными становятся системы искусственного интеллекта, тем быстрее отрасли придется решать такие вопросы. Что мы можем сделать, чтобы отойти от использования моделей AI/ML, которые демонстрируют несправедливую предвзятость?

Как мы можем применить межсекционные рамки для построения ИИ для всех людей, зная, что разные люди по-разному влияют на ИИ и взаимодействуют с ним, основываясь на сходящихся идентичностях, которыми они обладают?

Интерсексуальность: Что это значит и почему это важно

Прежде чем решать сложные вопросы, важно сделать шаг назад и определить «пересекаемость». Термин, определенный Кимберли Креншоу (Kimberlé Crenshaw), — это рамки, которые дают нам возможность рассмотреть, как чья-то отличительная идентичность собирается вместе и формирует то, как она переживается и воспринимается в мире.

Сюда входят вытекающие из этого предубеждения и привилегии, которые ассоциируются с каждой отдельной идентичностью. Многие из нас могут обладать более чем одной маргинализированной идентичностью, и в результате мы знакомы с тем сложным эффектом, который возникает, когда эти идентичности накладываются друг на друга.

В «Проекте Тревора», крупнейшей в мире организации по профилактике самоубийств и кризисной коррекционной работе с ЛГБТ-молодежью, наша главная миссия состоит в том, чтобы оказывать поддержку всем нуждающимся в ней ЛГБТ-людям, и мы знаем, что те, кто являются трансгендерными и не двоичными и/или чернокожими, коренными жителями и цветными людьми, сталкиваются с уникальными стрессовыми факторами и проблемами.

Поэтому, когда наша техническая команда приступила к разработке искусственного интеллекта для служения и существования в этом многообразном сообществе, а именно для лучшей оценки риска самоубийств и обеспечения стабильно высокого качества медицинской помощи, мы должны были сознательно избегать результатов, которые усиливали бы существующие барьеры для ресурсов психического здоровья, такие как отсутствие культурной компетентности или несправедливые предрассудки, например предположение чьего-либо пола на основе представленной контактной информации.

Хотя наша организация обслуживает разнообразные группы населения, лежащие в ее основе предрассудки могут существовать в любом контексте и негативно влиять на любую группу людей. В результате все технические команды могут и должны стремиться к построению справедливых межсекционных моделей искусственного интеллекта, поскольку межсекторность является ключом к формированию инклюзивных сообществ и созданию инструментов, которые более эффективно служат людям из всех слоев общества.

Это начинается с определения множества голосов, которые будут взаимодействовать с вашей моделью, в дополнение к группам, для которых эти различные идентичности перекрываются. Определение задачи, которую вы решаете, является первым шагом, потому что, как только вы поймете, на кого влияет проблема, вы сможете определить решение. Затем составьте карту сквозного опыта, чтобы узнать точки, где эти люди взаимодействуют с моделью. Исходя из этого, существуют стратегии, которые каждая организация, стартап и предприятие могут применить, чтобы вплести взаимосвязь в каждую фазу развития ИИ — от обучения до оценки и обратной связи.

Данные и обучение

Качество выходных данных модели зависит от данных, на которых она обучалась. В наборах данных может присутствовать присущая им предвзятость, обусловленная характером их сбора, измерения и аннотации, — все они уходят корнями в процесс принятия решений человеком. Например, исследование 2019 года показало, что алгоритм прогнозирования рисков в области здравоохранения демонстрирует расовую предвзятость, поскольку при определении потребностей он опирается на ошибочный набор данных. В результате чернокожие пациенты, отвечающие установленным критериям, получили более низкие баллы за риск по сравнению с белыми пациентами, что в конечном итоге снизило вероятность их отбора для оказания помощи в условиях повышенного риска.

Справедливые системы строятся путем подготовки модели на основе наборов данных, отражающих людей, которые будут взаимодействовать с моделью. Это также означает признание наличия пробелов в данных о людях, которые могут быть недостаточно обслужены. Тем не менее, необходимо вести более широкий разговор об общей нехватке данных, представляющих маргинализированные группы населения, — это системная проблема, которую необходимо решать, поскольку скудность данных может затушевать как вопрос о том, являются ли системы справедливыми, так и вопрос о том, удовлетворяются ли потребности недопредставленных групп населения.

Чтобы начать анализировать это для вашей организации, рассмотрите размер и источник ваших данных, чтобы определить, какие предубеждения, перекосы или ошибки встроены и как данные могут быть улучшены в будущем.

Проблему смещения в наборах данных также можно решить, усилив или увеличив конкретные межсекционные входные данные, как это определено в вашей организации. Сделав это на ранней стадии, вы получите информацию об учебной формуле вашей модели и поможете вашей системе оставаться как можно более объективной — в противном случае ваша учебная формула может быть непреднамеренно оптимизирована для получения несущественных результатов.

В рамках «Проекта Тревора» нам, возможно, потребуется усилить сигналы из демографических данных, которые, как мы знаем, непропорционально труднодоступны для психиатрических служб, или для демографических данных, которые имеют небольшой размер выборки по сравнению с другими группами. Без этого важнейшего шага наша модель может привести к результатам, не имеющим отношения к нашим пользователям.

Оценка

Модельная оценка — это непрерывный процесс, который помогает организациям реагировать на постоянно меняющиеся условия. Оценка справедливости начинается с рассмотрения одного измерения — например расы или этнической принадлежности. Следующим шагом для технологической отрасли является определение того, как лучше всего сравнить межсекционные группировки для оценки справедливости по всем идентичностям.

Чтобы измерить справедливость, попробуйте определить пересекающиеся группы, которые могут быть в невыгодном положении, и те, которые могут иметь преимущество, а затем проверьте, различаются ли между ними определенные метрики (например, ложноотрицательные показатели). О чем говорят эти несоответствия? Как еще можно исследовать, какие группы недопредставлены в системе и почему? Именно такие вопросы следует задавать на данном этапе развития.

Разработка и мониторинг модели, основанной на демографических характеристиках, которые она обслуживает с самого начала, является лучшим способом для организаций достичь справедливости и смягчить несправедливую предвзятость. Следующим шагом, основанным на результатах оценки, может быть целенаправленное перенаправление статистически недопредставленных групп для содействия подготовке модели, которая сводит к минимуму несправедливую предвзятость. Поскольку алгоритмы могут не обладать беспристрастностью в силу социальных условий, разработка принципов справедливости с самого начала помогает обеспечить равное отношение ко всем группам людей.

Обратная связь и сотрудничество

Команды также должны иметь разнообразную группу людей, участвующих в разработке и обзоре продуктов ИИ, — людей, которые различны не только по идентичности, но и по набору навыков, воздействию на продукт, многолетнему опыту и т. д. Проконсультируйтесь с заинтересованными сторонами и теми, на кого влияет система, для выявления проблем и предубеждений.

Полагайтесь на инженеров при мозговом штурме решений. Для определения межсекционных группировок в «Проекте Тревора» мы работали с командами, наиболее близкими к нашим программам антикризисного вмешательства, и людьми, использующими их, — такими как исследователи, кризисные службы и технологи. И снова обратились к заинтересованным сторонам и людям, взаимодействующим с системой, чтобы собрать обратную связь после запуска.

В конечном счете, не существует универсального подхода к созданию межсекционного ИИ. В «Проекте Тревора» наша команда изложила методологию, основанную на том, что мы делаем, что мы знаем сегодня про конкретные сообщества, которым мы служим. Это не статичный подход, и мы остаемся открытыми для развития по мере того, как узнаем больше. В то время как другие организации могут использовать другой подход к созданию межсекционного ИИ, мы все несем моральную ответственность за создание более справедливых систем ИИ, потому что ИИ обладает способностью подчеркивать — и, что еще хуже, преувеличивать — несправедливые предубеждения, существующие в обществе.

В зависимости от случая использования и сообщества, в котором существует система искусственного интеллекта, усиление определенных предубеждений может привести к пагубным последствиям для групп людей, которые уже могут столкнуться с маргинализацией. В то же время ИИ также обладает способностью улучшать качество жизни для всех людей, когда он развивается через межсекторальную структуру. Мы настоятельно рекомендуем техническим командам, экспертам по предметной области и лицам, принимающим решения, глубоко задуматься о кодификации набора руководящих принципов для инициирования общепромышленных изменений и позаботиться, чтобы будущие модели ИИ отражали сообщества, которым они служат.

Источник: https://techcrunch.com/2020/12/18/tips-for-applying-an-intersectional-framework-to-ai-development/