개발 기간 2년 4개월, 6757개 문장 학습…성대 발성 조절로 미세한 감정까지 표현 가능
넥스트유나이티드는 신해철이 남긴 PC에서 라디오 ‘고스트스테이션’의 새로운 시즌을 준비하던 흔적과 새로운 오프닝 시그널을 발견해 보다 리얼한 목소리 재현이 필요하다는 결정을 내렸다.
넥스트유나이티드에 따르면 일반적인 인공지능 기반 음성 합성이 최상의 결과물을 얻기 위해서는 일정 분량의 음성 데이터 학습이 필요하지만 <AI 新해철> 음성 모델은 새로 녹음할 수 없고, 최적의 음성 학습 스크립트를 읽는 것도 불가능한 환경에서 시작했다.
넥스트 유나이티드는 방송, 강연, 공연 등 기록으로 남은 신해철의 육성 자료를 전처리하고, 별개로 거의 모든 음성을 스크립트 하여 이를 기반으로 음성 인공지능 모델을 학습시켰다.
총 270시간 음성 자료에서 중요 문장을 추출하여 다시 6757개로 재구성한 후 잡음을 제거하고 저하된 음질을 복구하는 전처리 과정은, 게임 ‘검은사막’ 내에 신해철 동상을 세우는 등 오랜 인연을 이어온 펄어비스의 개발지원을 통해 완성도를 높일 수 있었다.
또한 모든 데이터에 목소리를 구분할 수 있는 메타데이터를 넣어 인공지능 모델을 구축해 단순히 목소리를 흉내 내는 것을 넘어 상황별 다양한 톤과 세밀한 감정을 표현할 수 있도록 했다.
음성 학습 데이터는 신해철이 직접 한 말 만을 그대로 활용했고, 학습과 추출물의 판정, 검수는 가족인 신하연 양과 신동원 군을 비롯해 생전 가까이 지냈던 사진작가 강영호가 참여해 단순히 목소리가 비슷한 수준이 아니라 각 상황에 적절한 목소리 톤과 감정을 정확히 구현하도록 조언했다.
넥스트유나이티드의 대표이자 가족으로서 음성 복원에 참여한 윤원희 대표는 “그의 목소리와 메시지를 그리워하는 모든 이들의 바람이 <AI 新해철> 음성 모델을 세상에 불러냈다”며 “기술적으로 목소리를 복원하는 방식의 접근이 아니라 가족, 친구, 그리고 팬들과 청취자들이 원하는 울림이 담긴 목소리 그 자체를 만들어내는 데에 집중했다”고 밝혔다.
전처리와 학습 그리고 추출에 관한 기술은 남궁연이 개발하였으며, 모든 육성 자료를 글로 옮기고 분류한 신병진 방송작가는 "고스트스테이션은 마왕 신해철의 생각과 철학을 일방적으로 전달하는 것이 아니라 모든 청취자와 공감이 이뤄지던 장”이라며 “<AI 新해철> 음성 모델을 통해 다시 들려질 이야기들이 모두가 원하는 마왕의 역할을 담아낼 수 있을 것”이라고 말했다.
넥스트유나이티드는 <AI 新해철> 음성 모델을 계기로 고스트 스테이션의 새로운 시즌뿐만 아니라 마왕 신해철이 남긴 메시지를 담은 다양한 콘텐츠를 준비할 예정이다.
박찬웅 기자 rooney@ilyo.co.kr