Мы очарованы машинами, которые могут вести автомобили, сочинять симфонии, или побеждать людей в шахматы и го, или рисовать! В то время как в области искусственного интеллекта (ИИ) все больше прогресса, некоторые ученые и философы предупреждают об опасности неконтролируемого сверхразумного ИИ. Используя теоретические расчеты, международная группа исследователей, включая ученых из Центра человека и машин Института развития человека имени Макса Планка, показывает, что управлять сверхразумным ИИ было бы невозможно. Исследование было опубликовано в Журнале исследований искусственного интеллекта.
Предположим, кто-то запрограммировал систему искусственного интеллекта, превосходящую человеческий, чтобы она могла учиться самостоятельно. Подключенный к Интернету, искусственный интеллект может иметь доступ ко всем данным человечества. Он мог бы заменить все существующие программы и взять под контроль все машины онлайн по всему миру. Получится ли из этого утопия или антиутопия? Сможет ли искусственный интеллект вылечить рак, обеспечить мир во всем мире и предотвратить климатическую катастрофу? Или он уничтожит человечество и захватит Землю?
Ученые-компьютерщики и философы задавались вопросом, сможем ли мы вообще управлять сверхразумным ИИ, чтобы гарантировать, что он не будет представлять угрозы для человечества. Международная команда компьютерщиков использовала теоретические расчеты, чтобы показать, что управлять сверхинтеллектуальным ИИ принципиально невозможно.
«Суперинтеллектуальная машина, управляющая миром, — это звучит как научная фантастика. Но уже есть машины, которые выполняют некоторые важные задачи самостоятельно, без полного понимания программистами того, как они этому научились. Поэтому возникает вопрос, может ли ИИ в какой-то момент стать неконтролируемым и опасным для человечества», — говорит соавтор исследования Мануэль Себриан (Manuel Cebrian), руководитель группы цифровой мобилизации в Центре людей и машин Института человеческого развития им. Макса Планка.
Ученые исследовали две различные идеи о том, как можно управлять сверхразумным ИИ. С одной стороны, возможности сверхразумного ИИ можно было бы специально ограничить, например, отгородив его от Интернета и всех других технических устройств, чтобы он не мог контактировать с внешним миром, но это сделало бы сверхразумный ИИ значительно менее мощным, менее способным отвечать на гуманитарные запросы. При отсутствии такой возможности ИИ можно было бы с самого начала мотивировать на достижение только тех целей, которые отвечают наилучшим интересам человечества, например, путем программирования в него этических принципов. Однако исследователи также показывают, что эти и другие современные и исторические идеи управления сверхинтеллектуальным ИИ имеют свои пределы.
Команда исследователей разработала теоретический алгоритм сдерживания, который гарантирует, что сверхразумный ИИ не может причинить вред людям ни при каких обстоятельствах, сначала имитируя поведение ИИ и останавливая его, если оно считается вредным. Но тщательный анализ показывает, что в нашей нынешней парадигме вычислений такой алгоритм построить невозможно.
«Если вы сведете проблему к основным правилам теоретической информатики, то окажется, что алгоритм, который приказал бы ИИ не разрушать мир, мог бы непреднамеренно остановить свои собственные операции. Если бы это произошло, вы бы не знали, продолжает ли алгоритм сдерживания анализировать угрозу, или он перестал содержать вредоносный ИИ. По сути, это делает алгоритм сдерживания непригодным для использования», — говорит Ияд Рахван (Iyad Rahwan), директор Центра для людей и машин.
Судя по этим расчетам, проблема сдерживания является неразрешимой, то есть ни один алгоритм не может найти решение для определения того, будет ли ИИ причинять вред миру. Более того, исследователи демонстрируют, что мы можем даже не знать, когда появились сверхразумные машины, потому что решение вопроса о том, обладает ли машина интеллектом, превосходящим человеческий, находится в той же области, что и проблема сдерживания.
Источник: https://www.mpib-berlin.mpg.de/computer-science-superintelligent-machines
Основная статья: https://jair.org/index.php/jair/article/view/12202