В наши дни подобные новости могут сойти за фоновый шум: на прошлой неделе ряд изданий, основываясь на докладе ООН о гражданской войне в Ливии, предварительно заявили, что роботы-убийцы, вероятно, впервые самостоятельно охотились на людей. Как гласил один заголовок: “Эра автономных роботов-убийц, возможно, уже наступила.”

Но так ли это? Как нетрудно догадаться, на этот вопрос трудно ответить.

Репортаж вызвал дискуссию среди экспертов, изучающих суть наших проблем, связанных с появлением автономных роботов на войне. Одни говорили, что эти сообщения глупы и сенсационны, другие же утверждали, что в них есть крупица правды. Погружение в эту тему не показывает, что мир спокойно пережил первые залпы  Терминатора в 2020 году. Но указывает на более прозаическую и, возможно, гораздо более удручающую истину: пока ученые не могут дать определение, что такое робот-убийца, и если мы будем ждать, когда это произойдет, их присутствие на войне уже давно станет привычным.

Забавно, не правда ли? По крайней мере, это отвлечет вас от глобальной пандемии. Давайте посмотрим:

Что в новостях правдиво?

Источником всех этих историй является 548-страничный доклад Совета безопасности ООН, в котором подробно описан конец Второй ливийской гражданской войны, охватывающий период с октября 2019 года по январь 2021 года. Отчет был опубликован в марте, и вы можете прочитать его полностью здесь. Чтобы сэкономить ваше время: это чрезвычайно подробный отчет о чрезвычайно сложном конфликте, подробно описывающий различные перемещения войск, передачи оружия, рейды и стычки, которые имели место между различными группировками, как иностранными, так и внутренними.

НОВОСТИ БЫЛИ ОСНОВАНЫ ВСЕГО НА ДВУХ АБЗАЦАХ ИЗ ДОКЛАДА ООН

В интересующем нас пункте, однако, описывается наступление под Триполи в марте 2020 года, в ходе которого силы, поддерживающие правительство национального согласия (ННА) при поддержке ООН, разгромили войска, лояльные Ливийской национальной армии Халифы Хафтара (упоминаемые в докладе как силы, связанные с Хафтаром или ХАФТОМ). Вот соответствующий отрывок в полном объеме:

Логистические конвои и отступающие ВВС были впоследствии выслежены и дистанционно задействованы беспилотными боевыми летательными аппаратами или смертоносными автономными системами вооружения, такими как СТМ «Каргу-2» (см. приложение 30) и другими барражирующими боеприпасами. Смертоносные автономные системы вооружения были запрограммированы на атаку целей, не требуя передачи данных между оператором и боеприпасом: по сути, истинная способность “стрелять, забывать и находить”.”

Упомянутая здесь система «Каргу-2» — это квадрокоптер, построенный в Турции: по сути, это потребительский беспилотник, используемый для пикирования бомбовых целей. Он может управляться вручную или сам управлять собой с помощью машинного зрения. Во втором абзаце доклада отмечается, что отступающие войска “подвергались постоянному преследованию со стороны беспилотных боевых летательных аппаратов и смертоносных автономных систем вооружения” и что в результате этого ВВС “понесли значительные потери”.

Но это все. Это все, что у нас есть. В докладе не говорится — по крайней мере, прямо — что человеческие существа были убиты автономными роботами, действующими без человеческого надзора. В нем говорится, что люди и транспортные средства были атакованы смесью дронов, квадрокоптеров и “барражирующих боеприпасов” (мы вернемся к ним позже), и что квадрокоптеры были запрограммированы на работу в автономном режиме. Но имели ли место атаки без подключения к Интернету, неясно.

Эти два абзаца попали в основную прессу через статью в New Scientist, которая вышла с заголовком: “Дроны, возможно, впервые атаковали людей полностью автономно”. НС очень осторожно предупреждает, что военные беспилотники могли действовать автономно и что люди могли быть убиты, но более поздние сообщения потеряли этот нюанс. “Автономный беспилотник атаковал солдат в Ливии сам по себе”, — гласил один заголовок. “Впервые беспилотники автономно атаковали людей», — заявлял другой.

Давайте проясним: сама по себе ООН не говорит наверняка, атаковали ли беспилотники автономно людей в Ливии в прошлом году, хотя это, безусловно, предполагает, что это могло произойти. Проблема в том, что даже если это и произошло, для многих экспертов это просто не новость.

ПРОБЛЕМА ОПРЕДЕЛЕНИЯ ПОНЯТИЯ “РОБОТЫ-УБИЙЦЫ”

Причина, по которой некоторые эксперты возражали против этих историй, заключалась в том, что они следовали формулировке ООН, которая не проводит четкого различия между барражирующими боеприпасами и летальными автономными системами оружия или ЗАКОНАМИ (это политический жаргон для роботов-убийц).

Барражирующие боеприпасы — это оружейный эквивалент чаек на берегу. Они околачиваются в определенном районе, парят над толпой и ждут момента, чтобы нанести удар по своей цели — обычно по военной технике того или иного типа (хотя не исключено, что они могут быть использованы для поражения отдельных людей).

Классический пример — израильская IAI Harpy, которая была разработана в 1980-х годах для целей противовоздушной обороны. Гарпия выглядит как нечто среднее между ракетой и беспилотником с неподвижным крылом, и запускается с земли в область цели, где она может задержаться до девяти часов. Он сканирует на предмет предательских радиолокационных излучений от противовоздушных систем и пикирует на любое обнаруженное. Барражирующий механизм имеет решающее значение, поскольку войска часто выключают эти радары, учитывая, что они действуют как самонаводящиеся маяки.

«Это случилось впервые?” написала в своем твиттере Ульрике Франке, старший научный сотрудник Европейского совета по международным отношениям. “Барражирующие боеприпасы уже некоторое время находятся на поле боя — особенно в Нагорном Карабахе. Мне кажется, что новым здесь является не само событие, а то, что в докладе ООН их называют смертоносными автономными системами вооружения”.

Джек Макдональд, преподаватель кафедры военных исследований Лондонского королевского колледжа, говорит, что различие между этими двумя терминами является спорным и представляет собой нерешенную проблему в мире регулирования вооружений. “Есть люди, которые называют loitering munitions «смертельными автономными системами оружия», и люди, которые просто называют их «loitering munitions», — говорит он The Verge. — Это огромная разница. И это потому, что граница между чем-то автономным и автоматизированным сместилась за десятилетия”.

Так является ли «Гарпия» смертоносной автономной системой вооружения? Робот — убийца? Это зависит от того, кого вы спросите. Собственный веб-сайт IAI описывает его как таковое, называя его “автономным оружием для любой погоды”, и Гарпия, безусловно, соответствует импровизированному определению ЗАКОНОВ как “машины, которые нацелены на комбатантов без человеческого надзора». Но если это ваше определение, то вы создали очень широкую общность роботов-убийц. Действительно, по этому определению фугас — это робот-убийца, поскольку он также автономно нацеливается на участников войны без человеческого надзора.

ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ ВСЕ УСЛОЖНЯЕТ

Если роботы-убийцы существуют уже несколько десятилетий, почему в последние годы о них так много говорят, а такие организации, как Кампания за уничтожение роботов-убийц, настаивают на регулировании этой технологии в ООН? И почему этот инцидент в Ливии особенный?

Рост искусственного интеллекта играет большую роль, говорит Зак Калленборн, научный сотрудник Школы политики и правительства. Достижения в области ИИ за последнее десятилетие дали производителям оружия доступ к дешевым системам видения, которые могут выбирать цели так же быстро, как ваш телефон идентифицирует домашних животных, растения и знакомые лица в вашей фотопленке. Эти системы обещают тонкую и точную идентификацию целей, но также гораздо более склонны к ошибкам.

“Барражирующие боеприпасы обычно реагируют на излучение радара, и у ребенка, идущего по улице, не будет мощного радара в рюкзаке, — объясняет Калленборн The Verge. — Но системы наведения ИИ могут неправильно классифицировать ребенка как солдата, потому что современные системы ИИ очень хрупки — исследование показало, что изменения в одном пикселе достаточно, чтобы заставить системы машинного зрения сделать радикально разные выводы о том, что они видят. Остается открытым вопрос, как часто эти ошибки возникают при реальном использовании”.

Вот почему инцидент в Ливии интересен, говорит Калленборн, поскольку упомянутая в докладе ООН система «Каргу-2», похоже, использует искусственный интеллект для идентификации целей. По словам производителя квадрокоптера STM, он использует “алгоритмы машинного обучения, встроенные в платформу”, чтобы “эффективно реагировать на стационарные или мобильные цели (например, транспортное средство, человек и т. д.)” . В клипе ниже квадрокоптер оттачивает манекен в неподвижной группе.

Но стоит ли доверять демонстрационной катушке или брошюре производителя? И ясно ли из доклада ООН, что в атаке использовались системы машинного обучения?

Калленборн читает отчет так, что он “сильно подразумевает”, что это было так, но Макдональд настроен более скептически. “Я думаю, что разумно сказать, что Каргу-2 как платформа открыта для автономного использования”, — говорит он. — Но мы не обязательно знаем, так ли это .” В своем твите он также отметил, что в этой конкретной стычке были задействованы ракеты дальнего радиуса действия и гаубицы, что еще больше затрудняет приписывание потерь какой-либо одной системе.

ЧТО БУДЕТ ДАЛЬШЕ С «ЗАКОНАМИ» И ЗАКОНОМ?

Все, что в нашем распоряжении, — это, возможно, «туман войны». Или, точнее, туман ЗАКОНОВ. Мы не можем сказать наверняка, что произошло в Ливии, и наши определения того, что является и что не является роботом-убийцей, настолько текучи, что, даже если бы мы знали, возникли бы разногласия.

Для Калленборна это своего рода точка зрения: она подчеркивает трудности, с которыми мы сталкиваемся, пытаясь создать значимый контроль в битвах будущего с помощью искусственного интеллекта. Конечно, первое применение автономного оружия на поле боя не будет объявлено в пресс-релизе, говорит он, потому что, если оружие будет работать так, как должно, оно не будет выглядеть чем-то необычным. “Проблема в том, что автономия — это, по сути, вопрос программирования, — говорит он. — “Каргу-2, используемый автономно, будет выглядеть точно так же, как Каргу-2, пилотируемый вручную.”

Эльке Шварц, старший преподаватель политической теории в Лондонском университете Королевы Марии, который связан с Международным комитетом по контролю над роботизированными вооружениями, говорит The Verge, что подобные дискуссии показывают, что нам нужно выйти за рамки “скользких и политических” дебатов об определениях и сосредоточиться на конкретной функциональности этих систем. Что они делают и как они это делают?

“Я полагаю, что мы действительно должны думать о более широкой картине [ … ], поэтому я сосредотачиваюсь на практике, а также на функциональности, — говорит Шварц. — В своей работе я пытаюсь показать, что использование этих типов систем, скорее всего, усугубит насильственные действия в качестве «более легкого» выбора. И, как вы правильно указываете, ошибки, скорее всего, будут преобладать [ … ] и, вероятно, будут решаться только post hoc.”

Шварц говорит, что, несмотря на бесчисленные трудности, как с точки зрения разработки правил, так и с точки зрения противодействия энтузиазму военных по всему миру от интеграции ИИ в вооружение, “среди стран и международных организаций растет критическая масса активистов, которые настаивают на запрете систем, способных автономно идентифицировать, выбирать и атаковать цели”.

Действительно, ООН все еще проводит обзор возможных положений ЗАКОНОВ, о результатах которого будет сообщено позже в этом году. Как говорит Шварц: “После того как эта новость прошла по кругу, сейчас самое подходящее время мобилизовать международное сообщество на осознание и действия.”

Источник: https://www.theverge.com/2021/6/3/22462840/killer-robot-autonomous-drone-attack-libya-un-report-context