ПОЛИТЕХНИЧЕСКИЙ ИНСТИТУТ RENSSELAER
ПОЛИТЕХНИЧЕСКИЙ ИНСТИТУТ RENSSELAER

Ультрасовременный подход в обучении китайскому языку

В современном панорамном учебном 3D-классе китайскому языку обучаются с применением средств искусственного интеллекта и виртуальной реальности.

Студенты будут изучать язык, заказывая еду или торгуясь с уличными продавцами в виртуальном Пекине.

Автор – Карен Хо, 16 июля 2019

Часто лучший способ выучить язык — это погрузиться в среду, в которой люди говорят на нем. Постоянный контакт с вынужденным общением помогают вам быстро освоить новый словарный запас. Но не каждый имеет возможность жить или учиться за границей.

В рамках нового сотрудничества с IBM Research политехнического института Rensselaer, базирующийся в Трое, штат Нью-Йорк, теперь предлагает своим изучающим китайский язык студентам новый опыт: виртуальная среда на 360 градусов, которая телепортирует их на оживленные улицы Пекина или в переполненный китайский ресторан. Учащиеся могут торговаться с уличными торговцами или заказывать еду, а среда оснащена различными возможностями искусственного интеллекта, чтобы реагировать на них в режиме реального времени. Хотя учебный класс по большей части экспериментальный, он используется впервые на шестинедельном курсе для прохождения базового курса обучения в университете летом этого года.

Проект был запущен двумя преподавателями института Rensselaer, которые для помощи своим студентам выучить китайский язык часто прибегали к ролевым играм. Параллельно этому, за последние годы несколько исследований доказали пользу интерактивной учебной среды для понимания языка и поддержания вовлеченности. Одно исследование, опубликованное в 2018 году, также показало, что изучение японского языка в виртуальной трехмерной среде помогло учащимся освоить словарный запас, с которым они случайно столкнулись в процессе. Взяв эти идеи за основу, профессора начали сотрудничество с IBM Research, чтобы выяснить, смогут ли они повторить успех со своими студентами.

В дополнение к окружению учащихся цифровыми проекциями сцены, в этой среде используется несколько типов датчиков для динамической адаптации к словам и действиям учащихся. Микрофоны, которые носят участники, передают их речь напрямую алгоритмам распознавания речи. Камеры отслеживают их движения и жесты для того, чтобы распознать, когда они указывают на различные объекты или подходят к разным виртуальным персонажам. Если студент указывает на блюдо с едой на сцене ресторана и спрашивает, например, что это такое, виртуальный агент может ответить название и рассказать о нем. Технология создания повествования также позволяет каждому персонажу строить более сложные ответы на неожиданные вопросы вопросы студентов («как придумали это блюдо?»), доставая материал из Википедии (темы для разговора все же несколько ограничены тем заданием, которое дано студенту).

Камеры и датчики отслеживают жесты учеников, так что они могут указывать на любые предметы из сцены. ПОЛИТЕХНИЧЕСКИЙ ИНСТИТУТ RENSSELAER

Многие из технологий этой виртуальной среды являются готовыми коммерческими продуктами, на которые были куплены права на их использование, и их объединили в единый продукт. Но некоторые пришлось разрабатывать специально для этого проекта. Например, основной диалект китайского языка имеет пять тонов, которые представляют большую трудность для многих начинающих учеников, но имеют решающее значение для передачи смысла. Если, например, произнести слово «продать» (卖 mài) с немного иной интонацией, то это уже будет означать «купить» (买 mǎi). Поэтому исследователи разработали алгоритм для анализа тонов в произношении студентов. Алгоритм сравнивает их произношение с произношением носителей и выявляет различия, и обеспечивает звуковую и визуальную обратную связь непосредственно в учебной среде. Студенты могут спросить у виртуального персонажа, как будет правильно что-то сказать, и начать освоение нового словарного запаса.

Хэй Су, директор Лаборатории когнитивных и иммерсивных систем, в сотрудничестве между IBM Research и Институтом, от которого пошла эта инициатива, говорит, что его команда только начала знакомиться с таким нововведением и пока не может утверждать о его эффективности. Но в конце 2017 года исследователи заметили, что это повысило интерес учащихся к изучению языков и помогло им быстро освоить новые слова.

Например, перед выполнением упражнения на заказ в ресторане учеников не учили, как платить за еду, но, наблюдая за своими сверстниками и общаясь с виртуальными пероснажами, многие набирали для этого необходимый словарный запас. «Это было немного неожиданно», — говорит Су. «Один из студентов даже сказал, что именно таким должно быть обучение языку».

Алгоритм дает студентам визуальную обратную связь по их произношению тонов. ПОЛИТЕХНИЧЕСКИЙ ИНСТИТУТ RENSSELAER

В первый год новый курс будет использовать виртуальную среду почти половину времени, а традиционный класс — остальное, хотя в будущем эта схема может измениться.

Если класс покажет заметные улучшения результатов учащихся, то можно будет заняться масштабированием обучения такого типа. Пока что наиболее очевидной идеей будет начать применять этот метод и в изучении других языков. Его также можно использовать и за пределами университетов для обучения руководителей, государственных служащих или проведения любых других подготовительных мероприятий, для которых моделирование сценариев и ролевые игры будут полезными.

«В перспективе этот проект поможет исследователям в их долгосрочном изучении влияния когнитивной и иммерсивной среды на обучение, взаимодействие и формирование понимания контекстных различий между словами», — говорит Су.

По материалам сайта MIT Technology Review

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *