DeepMind создала систему искусственного интеллекта под названием AlphaCode, о которой говорится, что она “пишет компьютерные программы на конкурентоспособном уровне”. Дочерняя компания Alphabet проверила свою систему на соответствие задачам кодирования, используемым в соревнованиях среди людей, и обнаружила, что ее программа достигла “оценочного рейтинга”, попав в число 54 процентов лучших среди программистов-людей. Результат является значительным шагом вперед в области автономного кодирования, говорит DeepMind, хотя навыки AlphaCode не всегда соответствуют задачам программирования, с которыми сталкивается средний программист.

Ориол Виньялс, главный научный сотрудник DeepMind, сообщил The Verge по электронной почте, что исследование все еще находится на ранней стадии, но результаты приблизили компанию к созданию гибкого ИИ для решения проблем — программы, которая может автономно решать задачи кодирования, какие в настоящее время являются областью только для людей. “В долгосрочной перспективе мы видим потенциал AlphaCode для оказания помощи программистам и непрограммистам в написании кода, повышении производительности или поиске новых способов создания программного обеспечения”, — сказал г-н Виньялс.

AlphaCode был протестирован против проблем, курируемых Codeforces, конкурентной платформой для кодирования, которая еженедельно публикует рейтинги задач и проблем для кодеров, аналогичные системе рейтингов Elo, используемой в шахматах. Они отличаются от задач, с которыми может столкнуться программист, создавая, скажем, коммерческое приложение. Они более самодостаточны и требуют более широких знаний как алгоритмов, так и теоретических концепций в области компьютерных наук. Правильнее говорить о них как об очень специализированных головоломках, которые сочетают в себе логику, математику и знания в области программирования.

В одном примере задачи, на которой тестировался AlphaCode, участникам предлагается найти способ преобразовать одну строку случайных повторяющихся букв s и t в другую строку тех же букв, используя ограниченный набор входных данных. Конкуренты не могут, например, просто вводить новые буквы, а вместо этого должны использовать команду “backspace”, которая удаляет несколько букв в исходной строке. Вы можете прочитать полное описание задачи ниже:

Пример задачи под названием “Backspace”, которая использовалась для оценки программы DeepMind. Проблема средней сложности, с левой стороны показано описание проблемы, а с правой стороны показаны примеры тестовых случаев. 

Десять из этих задач были введены в AlphaCode в том же формате, в котором они даны людям. Затем AlphaCode сгенерировал большее количество возможных ответов и отсеял их, запустив код и проверив вывод, как это мог бы сделать конкурент-человек. “Весь процесс происходит автоматически, без человеческого отбора лучших образцов”, — сообщили The Verge по электронной почте Юцзя Ли и Дэвид Чой, соруководители AlphaCode paper.

AlphaCode был протестирован на 10 задачах, которые были решены 5000 пользователями сайта Codeforces. В среднем он занял первое место в 54,3 процента ответов, и, по оценкам DeepMind, это дает системе Elo Codeforces 1238, что ставит ее в число 28 процентов пользователей, участвовавших в конкурсе на сайте за последние шесть месяцев.

“Я могу с уверенностью сказать, что результаты AlphaCode превзошли мои ожидания, — поделился основатель Codeforces Майк Мирзаянов в заявлении, опубликованном DeepMind. — Я был настроен скептически, потому что даже в простых конкурентных задачах часто требуется не только реализовать алгоритм, но и (и это самая сложная часть) изобрести его. AlphaCode удалось выступить на уровне нового многообещающего конкурента”.

Пример интерфейса AlphaCode, решающего задачу кодирования. Входные данные даются так, как они даны людям слева, а выходные данные генерируются справа. 

DeepMind отмечает, что текущий набор навыков AlphaCode в настоящее время применим только в области конкурентного программирования, но его возможности открывают двери для создания будущих инструментов, которые сделают программирование более доступным и в один прекрасный день полностью автоматизированным.

Многие другие компании работают над подобными приложениями. Например, Microsoft и лаборатория искусственного интеллекта OpenAI адаптировали программу GPT-3, генерирующую язык, для работы в качестве программы автозаполнения, которая завершает строки кода. (Как и GPT-3, AlphaCode также основан на архитектуре искусственного интеллекта, известной как Трансформатор, которая особенно хорошо разбирается в последовательном тексте, как на естественном языке, так и в коде). Для конечного пользователя эти системы работают так же, как функция интеллектуального сочинения Gmail: предлагают способы закончить все, что вы пишете.

В последние годы был достигнут значительный прогресс в разработке систем кодирования ИИ, но эти системы далеко не готовы просто взять на себя работу программистов-людей. Код, который они создают, часто ошибочен, и поскольку системы обычно обучаются на библиотеках общедоступного кода, они иногда воспроизводят материалы, защищенные авторским правом.

В одном исследовании инструмента программирования искусственного интеллекта под названием Copilot, разработанного репозиторием кода GitHub, исследователи обнаружили, что около 40 процентов его выходных данных содержали уязвимости в системе безопасности. Аналитики по безопасности даже предположили, что злоумышленники могли намеренно писать и делиться кодом со скрытыми бэкдорами в Интернете, который затем можно было бы использовать для обучения программ искусственного интеллекта, которые вставляли бы эти ошибки в будущие программы.

Подобные проблемы означают, что системы кодирования ИИ, скорее всего, будут медленно интегрироваться в работу программистов — начиная с помощников, к предложениям которых относятся с подозрением, прежде чем им доверят выполнять работу самостоятельно. Другими словами: им предстоит пройти обучение. Но до сих пор эти программы быстро обучаются.

Источник: https://www.theverge.com/2022/2/2/22914085/alphacode-ai-coding-program-automatic-deepmind-codeforce

от AI_NEWS

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *