Компьютер сдал экзамен егэ по русскому языку

Искусственный интеллект уже может сдавать ЕГЭ по русскому языку на твердую четверку и набирает достаточно баллов для поступления в университет, рассказал РИА Новости первый зампред правления Сбербанка Александр Ведяхин.

«В этом году наша конференция проходит в нескольких форматах, в частности, мы проводим международное онлайн-соревнование, в котором участникам нужно создать алгоритмы прохождения ЕГЭ по русскому языку. Если оценивать результаты прохождения ИИ экзамена по пятибальной шкале, то это твердая четверка», — сказал он в кулуарах конференции AI Journey.

Ведяхин отметил, что робот набирает 63 балла из 100. «Можно сказать, что искусственный интеллект набрал необходимое количество баллов для поступления в вуз», — подчеркнул первый зампред правления Сбербанка.

Экзамен ЕГЭ состоял из прохождения тестов и написания сочинения по заданной теме. При этом тесты для робота составлены с повышенным уровнем сложности. В частности, необходимо пройти три этапа: сделать само задание — вставить буквы и расставить запятые, второй этап — выделить примеры согласно заданным правилам и формулировкам заданий, которые постоянно менялись с целью усилить сложность прохождения этапа, и наконец третий этап — это правильно записать ответ.

Первый зампред правления Сбербанка также подчеркнул, что искусственный интеллект уже сейчас неплохо научился писать сочинения — почти половина учителей, принимающих участие в оценке результатов соревнования, не замечает, что текст написан роботом.

Соревнование не имеет мировых аналогов, ранее нейросети уже проходили разные экзамены на английском и японском языках по математике и общему знанию школьной программы.

«Они все были гораздо проще для “машины”. Формулировки были простыми, и в качестве задания ИИ должен был пройти тест — без написания сочинения. Таких соревнований, как наше, еще не было. Нам удалось сделать большой шаг и объединить модули, отвечающие за логику, знания и умения составлять связный текст. Мы сделали еще один шаг к сильному ИИ, который будет умным и добрым помощником для человека», — сказал первый зампред правления Сбербанка.

Это тоже интересно:

Искусственный интеллект набрал на экзамене ЕГЭ по русскому языку 63 балла из 100 возможных, доказав тем самым, что может поступать в высшее учебное заведение.

Как рассказал первый заместитель председателя правления Сбербанка Александр Ведяхин, в этом году в рамках конференции Artificial Intelligence Journey (AI Journey) проводится международное онлайн-соревнование, участникам которого предложено создать алгоритмы прохождения ЕГЭ по русскому языку.

«Если оценивать результаты прохождения ИИ экзамена по пятибалльной шкале, то это твердая четверка», — цитирует Ведяхина kp.ru.

По его словам, искусственный интеллект набрал достаточное количество баллов для поступления в вуз.

Как сообщает РИА Новости, экзамен состоял из тестов и сочинения по заданной теме. Причем для робота были выбраны тесты с повышенным уровнем сложности.

Выступая на конференции, министр экономического развития РФ Максим Орешкин отметил, что искусственный интеллект — это благо для России и возможность двигаться вперед.

Он также заверил, что бояться сокращения количества рабочих мест точно не стоит, поскольку в России еще нужно подготовить отрасли для массового внедрения ИИ, пишет ФАН.

По мнению министра, внедрение искусственного интеллекта даст заметный эффект на макроуровне и повысит качестве жизни в стране.

Коля Зинов и Даня Анастасьев из группы диалоговых систем Алисы приняли участие в соревновании AI Journey. Соревнование заключалось в том, чтобы сдать ЕГЭ при помощи машинного обучения. Их модель заняла первое место, набрав 60 баллов за экзамен по русскому языку. Затем они превратили своё решение в бота для Telegram: с его помощью можно написать сочинение даже по тексту поста в Facebook. Мы поговорили с разработчиками о том, как научить модель выделять в тексте основные проблемы, почему алгоритмы сложно обучить пользоваться «очевидными» фактами (например, тем, что небо голубое) и какие новые модели для работы с текстом появились за последний год.

Расскажите немного про своё образование и работу в Яндексе?

Коля: Мы оба учились на факультете инноваций и высоких технологий МФТИ, я заканчиваю магистратуру в этом году, а Даня на два года старше и выпустился раньше. Я пришёл в Яндекс на четвёртом курсе бакалавриата и сразу оказался в команде Алисы. Сейчас большую часть времени я работаю над «болталкой» — модулем Алисы для разговоров на свободные темы, без конкретной цели.

Даня: Я поступил в Школу анализа данных во время учёбы на ФИВТе и закончил её в этом году. Я тоже в команде Алисы, но занимаюсь в ней обработкой запросов, например, тегированием и квалификацией.

Коля: В общем, более полезными вещами, чем я

Как вы придумали бота, генерирующего сочинения?

Даня: Мы создавали его в рамках конференции по машинному обучению, которую проводили Huawei и Сбербанк. На ней устраивали соревнования, чья модель наберет больше баллов при выполнении заданий ЕГЭ по русскому языку. Ответы, полученные при помощи машинного обучения, затем проверяли школьные учителя. Наша модель в среднем набирала 60 баллов за ЕГЭ. 

Проще всего делать задания, где есть чётко прописанные правила, например, задания на расстановку ударений, для которой нужно выполнить поиск по словарю. Для остальных заданий нужно, чтобы модель «понимала» смысл текста.

У нас было решение для написания сочинений, и на его основе мы сделали бота. Пользователи загружают в него текст, а он выдаёт на выходе эссе с привычной всем структурой (введение, основная часть и заключение). Написание сочинений на ЕГЭ — шаблонный процесс: школьникам нужно сформулировать проблему, которую поднимает автор, обосновать его позицию и выразить свою. Поэтому самая сложная задача для бота — правильно понять, о чём текст.

Как бот выделяет в тексте основную проблему?

Даня: Он выбирает наиболее подходящую из заранее заданного списка встречающиеся в реальных заданиях ЕГЭ проблем. Для определения того, какая проблема — наиболее подходящая, мы использовали готовое решение: Multilingual Universal Sentence Encoder от Google. Он учился переводить тексты в векторы-эмбеддинги таким образом, что векторы близких по смыслу текстов близки. Поэтому в качестве наиболее подходящей проблемы можно использовать ту, чей эмбеддинг ближе всего к данному тексту.

Алгоритм как бы «высасывает проблему из пальца»

Он подстраивает готовую аргументацию под данный текст — и это знакомо многим школьникам, которые сдавали ЕГЭ.

В случае бота такой подход даёт забавные результаты, например, когда берётся пост в Facebook и к нему находятся аргументы из классической литературы.

Для дальнейшего улучшения модели нам нужны бóльшие объёмы данных: даже если бы примеров сочинений было всего вдвое больше, это бы нам очень помогло.

Какую модель вы взяли за основу своего решения?

Коля: Мы использовали BERT — это модель, которая на обширном объеме текстов обучается «понимать», как устроен тот или иной язык. В её основе лежит такая идея: на входе нейросети подаются фразы, в которых часть слов заменена «маской» (*****), и сеть должна предсказывать, что под этой маской скрывается. Например, если нейросети дано предложение «Я пришёл в магазин, чтобы купить пакет ****** со сметаной и зелёным луком», то она должна показать на выходе слово «чипсов».

А чтобы нейросеть научилась понимать связи в тексте, её обучают предсказывать, будет ли вторая фраза логичным продолжением первой. Так, предложения «Я пошёл в магазин» и «Я купил там молоко» взаимосвязаны. А про пару «Я пошёл в магазин» и «Пингвины не умеют летать» модель должна сказать, что они не будут идти подряд.

При использовании BERT для ЕГЭ нам нужно было дообучить её пунктуации: в тесте четыре задания на расстановку запятых. Мы выполняли почти все задания с помощью BERT — либо дообучая её, либо используя «сырые» предсказания модели. Для написания сочинения использовали модель USE — она также предсказывает взаимосвязи между предложениями.

А что подразумевается под «пониманием устройства языка»?

Коля: Это философский вопрос. Мне нравится аналогия с мысленным экспериментом про «китайскую комнату». Представим себе помещение, где находится человек, который не знает ни одного китайского иероглифа. Этот человек может следовать инструкциям вида «Возьмите иероглиф из корзинки номер один и поместите его рядом с иероглифом из корзинки номер два» — как компьютер при машинном переводе. Запертый в «китайской комнате» человек может правильно отвечать на вопросы на китайском языке, и стороннему наблюдателю даже может показаться, что этот человек знает китайский.

Для алгоритмов машинного обучения «понимание» — это умение ответить на вопрос, и оно не требует самосознания

Несмотря на это, пользователи часто одушевляют голосовых помощников и обращаются с ними, как с живыми существами. Поэтому с технической точки зрения очень важно сделать ту же Алису более эмпатичной и лучше считывающей реакции пользователя в эмоциональном плане — возможно, важнее, чем ответить на теоретические вопросы о том, что именно она понимает. 

Расскажите про развитие работы с текстом в машинном обучении?

Коля: Сейчас возник бум предобученных моделей — «готовых» решений для работы с языком, которые можно улучшить под свои задачи. К ним относится и модель BERT, которую мы использовали. Она хорошо справляется с выучиванием очевидных для человека фактов, например, что вода мокрая, а небо голубое. Для машины это намного сложнее, чем пропарсить Википедию и выяснить, кто был президентом России в 2012 году.

В открытом доступе появились и другие продвинутые решения, например, алгоритм, который дописывает текст по нескольким предложениям.

Здесь можно провести параллель с бумом нейросетей: предобученные модели начинают использовать везде, несмотря на то, что они не являются панацеей. Но это хорошо: появляются хитрые улучшения таких моделей, а классические методы адаптируются к новой реальности.

Отличная новость для школьников и повод задуматься для учителей.

Педагог лицея НИУ ВШЭ Михаил Павловец попросил языковую модель GPT-3 сгенерировать итоговое сочинение средней школы на тему «Почему достижения прогресса, дающие человеку удобства и комфорт, могут быть опасны для человечества?». Этим экспериментом преподаватель захотел проверить, насколько осмысленный текст получится написать у нейросети и одобрят ли его другие учителя.

GPT-3 сгенерировала несколько вариантов текста за две минуты, при этом указав в качестве источников «Дивный новый мир» Олдоса Хаксли, «1984» Джорджа Оруэлла, «Дорогу» Кормака Маккарти и «Франкенштейна» Мэри Шелли. Павловец выбрал наиболее удачный вариант и перевёл его с английского языка на русский при помощи онлайн-переводчика «Яндекса». При этом автор эксперимента намеренно не стал вносить никакие правки в текст.

Фрагмент сочинения

Затем Павловец попросил двух своих коллег, в том числе учителя с 30-летним стажем Сергея Райского, проверить сочинение. Оба педагога отметили некоторые речевые просчёты, но признали, что работа заслуживает зачёта по всем критериям.

Ознакомиться с полным текстом сочинения, сгенерированного нейросетью, можно на сайте портала «Вести образования».