인공지능 작곡, 비틀즈 넘을 수 있을까

1950년대 첫 시도…통계모델 이용해 만들어
최근엔 생물학 아이디어 활용…창조성 문턱

영화 ‘어벤져스’의 인공지능 울트론. 한겨레 자료사진

“날 붙들어 매어놓을 줄이 없다네

나를 안달복달하게 할 수도, 얼굴 찡그리게 할 수도 없지

한 때는 그런 줄이 있었지만, 지금 난 자유의 몸이라네

나는 줄에 묶여 있지 않다네”

-영화 ‘어벤져스’에서 인공지능 울트론이 부른 피노키오의 노래

1883년 이탈리아 작가 C.콜로디 의해 피노키오가 태어났으니까, 그 손자뻘쯤 되겠죠? 인공지능 로봇 울트론은 인간의 통제에서 벗어난 해방된 존재로서의 자기 자신을, 위와 같이 ‘할아버지’의 노래를 대물림하여 부르면서 과시합니다. 로봇이라는 말은 체코 극작가 카렐 차페크가 쓴 ‘로섬의 인조인간(Rossum‘s Universal Robots)’이라는 작품에서 최초로 등장합니다. 원래 체코어로 로봇이란 말 자체가 ‘강제 노동’이란 뜻이니, 울트론은 그 강제 노동이라는 묶인 줄에서 벗어났다고 노래하는 것이지요.

노래하는 로봇 ‘치히라 아이코’. https://www.youtube.com/watch?v=doF43M_3Jf8

울트론처럼 영화 속뿐만 아니라 현실 속에서도 노래를 부르는 로봇들이 있습니다. 일본 도시바사에서 만든 ‘치히라 아이코’라는 여성 로봇이 바로 그것입니다. 43개의 공기 압력식 동작 생성장치 중 15개가 얼굴에 몰려 있어 사람이 노래하는 표정을 상당히 유사하게 따라할 수 있습니다.

노래하는 로봇 HRP-4C. https://www.youtube.com/watch?v=doF43M_3Jf8

일본산업기술종합연구소에서는 반주에 맞춰 노래하는 로봇 HRP-4C를 선보이기도 했죠. 얼굴 표정과 동작 등 역시 사람의 모습에 최대한 근접하려 애쓴 로봇입니다. 1970~80년대 우리나라에서도 선풍적인 인기를 끌었던 만화영화 ‘아톰’이 태어난 나라라서 그런지 일본의 로봇들은 상당히 인간과 유사한 형태로 만들어지는 특징이 있습니다.

연기하고 노래하는 로봇 ‘노리스’. https://www.youtube.com/watch?v=EpO57NltoAI

2014년 런던에서 열린 ‘플럭스 이노베이션 라운지’에서는 노리스라는 ‘로보데스피안’(연기하는 로봇)이 사람들의 시선을 끌기도 했습니다. 사람들의 호응에 반응하며 노래를 부르기도 하는 등 여러 가지 볼 만한 신체 움직임들을 보여주었기 때문이죠.

기계적 성대를 가지고 노래하는 로봇. https://www.youtube.com/watch?v=qobhDJ_vEOc

일본 카가와 대학 지능형기계시스템공학과의 사와다 히데유키 교수는 아예 기계적 성대를 사용하여 진짜로 자기의 소리를 내는 로봇을 만들었습니다. KTR 보이스 로봇이 바로 그것입니다. 아직까지는 뭔가 ‘돼지 멱따는’ 느낌의 소리를 내며 노래 비슷한 것을 부르고 있습니다.

인공지능들은 노래하는 것을 넘어 작곡에까지 도전하고 있습니다. 그 역사는 의외로 반세기 이전부터 시작되었습니다. 작곡하는 인공지능을 만들려는 첫 시도는 1950년대 ‘일리악’이라는 컴퓨터를 통한 것이었습니다. 일리악은 ‘마르코프 체인’이라고 하는 통계 모델을 사용하여 음악을 만들려고 하였습니다. 마르코프 체인은 소련의 수학자 안드레이 마르코프가 도입한 확률 과정의 일종으로, 각 시행의 결과가 바로 앞의 시행의 결과에만 영향을 받는 일련의 확률적 시행을 말합니다. 그러한 마르코프 체인을 옥타브 안의 12개 음들인 도, 도#, 레, 레#, 미, 파, 파#, 솔, 솔#, 라, 라#, 시에 적용하여 멜로디 라인을 뽑아 내는 것이죠.

그런데 이렇게 마르코프 체인을 사용해 만들어진 선율들이 사람들의 심리와 정서에 맞지 않는 경우가 많자 1960년대 H. 사이먼과 M. 민스키 등은 기존의 음악 작품들에서 뽑아낸 작곡 패턴을 사용합니다. 예를 들면 음악의 시작 부분은 으뜸화음인 C코드에서 출발해 그 다음에는 딸림화음인 G코드, 그리고 다시 으뜸화음인 C코드로 돌아오는 패턴을 활용한 것이죠.

1970년대에는 조성을 바탕으로 하여 음악을 만드는 인공지능 작곡 프로그램이 개발되기 시작했습니다. J.A. 무어러의 프로그램이 바로 그것입니다. 무어러는 선율의 음들이 너무 중구난방으로 선택되어 괴상망측한 선율이 만들어지지 않게 조성 위에서 음들을 추출하도록 알고리듬을 만든 것이죠. 이를테면 다장조로 범위를 한정 지어 다장조에서 쓰이는 코드들인 C, Dm, Em, F, G, Am, Bdim를 쓰게 하고 이 코드들의 진행에서 벗어나지 않은 음들을 추출하도록 하여 사람들이 이상하게 느끼지 않는 멜로디 라인을 만들도록 한 것입니다. G.M. 레이더는 여기서 더 나아가 인공지능이 코드와 선율을 생성하는 규칙을 적용하는 ‘규칙 위의 규칙’을 알고리듬화하는 진정한 의미에서의 인공지능 작곡 프로그램을 개발하였습니다. 코드와 선율을 만드는 여러 가지 규칙 중에서 어느 규칙에 가중치를 두어 작곡을 하는 데 사용하게 할까 결정하는 규칙을 프로그램화 한 것입니다.

1990년대 들어서는 음악 스타일에 따라 거기에 맞게 작곡을 하도록 하는 방법이 시도되었습니다. D.A. 레비트는 템플릿, 그러니까 재즈와 같은 본보기 모델을 미리 만들어 놓고 거기에 맞춰 인공지능이 선율과 박자, 리듬 등을 선택하여 음악을 만들도록 했죠. J. 바루차는 ‘뮤작트’라는 프로그램을 만들었습니다. 이 프로그램은 신경 네트워크를 이용하여 음악 화성 모델을 학습할 수 있도록 했습니다. 예를 들어 딸림화음이 사용되었으면 그 다음에는 으뜸화음이 나오리라는 사람들의 일반적 기대감이 있다는 것을 알게 하고 그 기대감을 충족시키거나 배반하도록 하는 코드들을 진행하도록 만든 것이죠.

J. 사바터와 J.L. 아르코스는 CBR이라는 프로그램을 개발했습니다. 이 프로그램은 일단 멜로디가 선택되면 거기에 기존 음악들의 유사한 코드를 부여해 보고, 어울리지 않으면 적용 가능한 코드 법칙을 사용해 보고 그래도 안되면 처음으로 돌아가게 하는 등 계속해서 실험을 해보도록 합니다. 그러한 실험을 통해 멜로디에 맞아떨어지는 코드가 나오면 새로운 화성법으로 기록되게 하죠. 요즘 네비게이션에서 원래 경로와 다르게 도로를 달려 더 빨리 목적지에 도착하게 되면 ‘새롭게 학습된 경로를 저장하시겠습니까’라는 메시지가 떠서 ‘예’를 누르면 네비게이션이 새 경로를 학습하듯이 말입니다.

근래에는 스페인 말라가 대학 인공지능학과 교수 프란시스코 비코 연구진이 생물학에서 얻은 아이디어를 토대로 ‘아이앰어스’라는 인공지능을 만들었습니다. ‘아이앰어스’는 음악적 요소에서 하나의 음악 유전자를 뽑아내 좀 더 복잡한 음악형태로 진화시키는 알고리듬을 가진 인공지능이라고 합니다.

인공지능 ‘아이앰어스’가 인간의 개입 없이 작곡한 피아노 독주곡 ‘콜로수스’를 사람이 연주하는 모습. 컴퓨터의 기계적 원형을 만든 앨런 튜링에게 2012년 헌정된 곡이다. https://www.youtube.com/watch?v=yGrzzZupYVI

위와 같이 대략적인 인공지능 작곡의 역사를 보면 조성과 화음, 선율 등 음들 간의 규칙성, 방향성, 체계들을 기존 인간들이 만든 음악들에서 귀납하여 뽑아낸 뒤 그것을 알고리듬화 하는 모습을 보여줍니다. 다시 말해 인간이 만든 기존 음악들 속에서 음악 창작의 규칙을 뽑아내는 것입니다. 다른 말로 하자면 이들 작곡하는 인공지능에는 기존에 없는 음악창작의 규칙이 없다는 얘기가 되는 것이죠.

비틀즈가 자신들이 만든 희대의 명곡 ‘예스터데이’나 ‘미셸’ 등에서 보여준 절묘한 조바꿈과 ‘히어, 데어, 앤드 에브리웨어’ 등에서 보여준 상식에 얽매이지 않는 코드진행, 새로운 사운드 접목 등 새로운 규칙을 만들어내는 능력은 결코 인공지능에 심어줄 수 없는 것이기 때문입니다. 음악창작의 새로운 규칙을 인공지능에 심으려면 우선 사람이 먼저 새로운 음악창작의 규칙을 만든 뒤 그 규칙을 인공지능에 심어야 하는 데, 비틀즈 같은 새로운 규칙을 만드는 음악가들이 어디 그리 쉽게 세상에 나올까요? 비록 인공지능이 비틀즈의 음악창작 규칙을 학습하여 작곡을 한다고 해도 이미 그것은 기존의 규칙을 활용한 것일 뿐입니다. 새로운 규칙이 아닌 것이죠.

게다가 설령 인공지능이 세상에 없던 완전히 새로운 음악창작 규칙을 만들어 낸다고 해도 그것이 인간의 정서와 감정에 맞는 것인지 하는 테스트를 통과해야 하는 또 다른 관문이 남아 있습니다. 그 관문을 통과하지 못하면 새로워도 새로운 게 아닌 셈이 됩니다. 기존에 없던 것을 만들어내는 인간의 창조성, 그리고 그 창조성의 수용 여부를 결정 짓는 인간의 감성, 이 두 가지가 작곡하는 인공지능의 성패를 가르는 중요한 잣대가 되리라는 생각이 듭니다. 인공지능에 창조성을 심는 일의 가능성 여부는 둘째치고라도 인공지능에게 감성이나 감정을 심는 일의 가능성이나 당위성은 아무리 생각해봐도 의문이 드는 게 사실인 것입니다.

한편 미국의 언어학자이자 비판적 지식인인 노암 촘스키는 “생각하는 것은 인간의 특징이죠. 인공지능이 과연 언젠가는 생각하게 될까요? 그건 마치 잠수함이 수영하는 것인지 묻는 것과 같습니다. 만약 당신이 잠수함은 수영하는 것이라고 말한다면 로봇도 생각을 하게 될 것임이 분명합니다. 아무렴 그렇고 말구요”라고 말하며 생각하는 인공지능의 가능성에 회의적 입장을 보였습니다.

반면 컴퓨터의 아버지 앨런 튜링은 “난 언젠가 다음과 같은 삼단논법이 나올까 두렵습니다. 튜링은 기계가 생각한다고 믿는다. 튜링은 사람들에게 거짓말을 한다. 고로 기계는 생각하지 않는다”와 같은 발언을 통해, 또 “만약 컴퓨터의 반응을 진짜 인간의 반응과 구별할 수 없다면, 컴퓨터는 생각할 수 있는 것으로 보아야 한다”는 말을 통해 생각하는 인공지능의 가능성에 힘을 실어 줬습니다.

만약 내기를 한다면 여러분들은 과연 촘스키와 튜링 둘 중에서 어느 쪽에 베팅을 하시겠습니까?
김형찬기자 [e-mail]
김형찬의 앱으로 여는 음악세상 http://plug.hani.co.kr/appsong/2259801