인간과 마찬가지로 이 로봇도 2분만 연습하면 음악을 듣고 연주할 수 있습니다.

서던캘리포니아 대학의 신경로봇공학 연구실에서는 작은 기계 손이 처음으로 멜로디를 듣고 악보나 미리 로드된 악보 또는 몇 주간의 감독 훈련 및 연습(USC Viterbi를 통해) 없이 한 번의 시도로 멜로디를 재생했습니다.

이 시스템을 뮤지션 핸드(Musician Hand)라고 합니다. 네 개의 손가락이 있고 각 손가락은 작은 전기 모터에 연결된 힘줄로 움직입니다. 이는 근육이 실제로 인간 손의 힘줄을 당기는 방식을 반영합니다. 프란시스코 발레로-쿠에바스(Francisco Valero-Cuevas) 교수의 지시에 따라 박사과정 후보자인 헤삼 아자주(Hesam Azadjou)가 건설했습니다.

로봇은 실제로 어떻게 학습했나요?

인간이 자신의 팔다리를 제어하는 ​​방법을 배우는 탐색적인 시행착오 과정인 “운동 옹알이”라는 기술을 통해. 로봇은 손, 키보드, 음악의 개념을 알지 못한 채 피아노 건반을 누르면 자신의 움직임이 어떻게 소리를 낼 수 있는지 알아냈습니다.

처음 2분 동안 로봇 손은 임의의 키를 눌러 손가락 움직임과 피아노 소리 사이의 관계를 분석했습니다. 그 짧은 경험을 통해 모터 명령(손가락 움직임)과 결과(소리) 사이의 연결을 매핑했습니다.

Musician Hand는 로스앤젤레스의 작곡가이자 음악 이론가인 Richard Tuttobene이 디자인하고 “Robo Algo”라고 부르는 약 30개의 음표의 멜로디를 처음 들었을 때 오디오를 스펙트로그램으로 변환하고 신경망을 사용하여 음표를 식별한 다음 첫 번째 시도에서 바로 시퀀스를 재생하는 데 필요한 명령을 생성했습니다.

이것이 뮤지컬 파티 트릭 이상의 이유는 무엇입니까?

연구진은 또 블라인드 오디션을 진행했는데, 심사위원 2명이 숙련된 피아니스트 4명과 함께 누가 로봇인지 알지 못한 채 음악가의 손을 평가했고, 인간과 로봇의 차이를 구분하지 못하는 경우도 있었다.

대조적으로, 훈련받지 않은 성인은 처음 12개의 음을 재생조차 할 수 없었습니다. Azadjou는 인간의 두뇌가 노트북 충전기와 거의 동일한 100와트 미만의 전력을 사용하여 복잡한 모터 문제를 해결하지만 기존 AI는 동일한 작업을 위해 메가와트의 전력이 필요할 수 있다고 지적합니다.

이러한 종류의 린(lean)하고 효율적이며 경험 기반 학습은 파킨슨병 환자를 위한 외골격 및 맞춤형 재활 로봇과 같이 사람들이 매일 착용하고 사용할 수 있는 로봇 장치에 실제로 적용될 수 있습니다. 이 연구는 NSF와 DARPA의 지원을 받았습니다.