Инженеры из компании Sony создали прототип системы, позволяющей преподавателям и опытным музыкантам напрямую передавать движения пальцев во время игры на фортепиано ученику. Ролик с описанием системы опубликован на YouTube-канале Sony.
При обучении игре на большинстве музыкальных инструментов ученики могут воспроизвести технику исполнения их учителя опираясь лишь на свое зрение, слух и общее понимание принципов игры на инструменте. Кроме того, обычно при исполнении сам музыкант обычно не может в полной мере контролировать каждый аспект движений пальцев и благодаря этому анализировать свои ошибки или корректировать стиль.
Японские инженеры из компании Sony под руководством Синити Фуруя (Shinichi Furuya) создали систему, позволяющую напрямую переносить движения между учеником и учителем. Эта группа исследователей занимается изучением аспектов игры на фортепиано с помощью технических средств на протяжении некоторого времени. Например, недавно с помощью перчатки-экзоскелета они выяснили, что длительная практика игры на фортепиано усиливает слаженность работы соматосенсорной и моторной систем.
Теперь они создали связанную систему, состоящую из модифицированного фортепиано, перчатки для записи игры и перчатки-экзоскелета для воспроизведения записанных партий. В фортепиано под рядом клавиш инженеры установили оптические датчики, способные измерять силу и скорость нажатия. В качестве кистевого экзоскелета инженеры взяли готовое устройство от компании exiii, способное сгибать каждый палец на нужный угол. Пианист-учитель при этом надевает более легкую перчатку, которая только измеряет углы сгиба пальцев.
Все эти данные собираются в компьютер, который занимается обработкой данных и передает сигнал от перчатки учителя к экзоскелетной перчатке ученика. Инженеры показали, что система может работать в реальном времени, перенося движения пальцев между двумя людьми, а также воспроизводить записанные последовательности, к примеру, чтобы анализировать собственные движения после игры. Также система умеет в реальном времени визуализировать исполнение на мониторе рядом с фортепиано.
В прошлом году разработчики из Google тоже упростили игру на фортепиано техническими средствами, но совершенно другим образом. Они создали восьмикнопочный контроллер, модифицировали фортепиано, научив его самостоятельно нажимать на клавиши по команде, а также разработали нейросеть, которая подбирает для каждого нажатия одной из восьми кнопок контроллера наилучшую комбинацию клавиш фортепиано.
Иллюстрация к статье:
Обсуждение