넷마블, 음성 기반 안면 애니메이션 생성 기술 공개

음성 데이터 입력하면 AI가 게임 캐릭터에 적용…3D 그래픽 효과 연출 자동화 목표

[일요신문] 넷마블은 지난 12월 14~17일 일본 도쿄 및 온라인에서 동시 개최된 ‘시그라프 아시아 2021’에서 음성 대사 감정을 자동 인식해 이를 기반으로 안면 애니메이션을 생성하는 기술을 공개했다고 20일 밝혔다.

서울시 구로구 넷마블 본사. 사진=최준필 기자

넷마블이 이번 컨퍼런스에서 공개한 기술의 핵심은 시스템 상에 음성 데이터를 입력하면 인공지능(AI)이 자동으로 음성 대사에서 감정을 분석 및 추출하고, 해당 감정에 맞는 자연스러운 얼굴 표정과 립싱크 애니메이션을 게임 캐릭터에 적용하는 것이다. 궁극적으로는 현실적이고 생동감 있는 3D 그래픽 효과 연출을 자동화하는 것을 목표로 하고 있다.

논문 발표를 진행한 넷마블 AI센터 안수남 팀장은 “넷마블이 자체 개발한 본 기술은 음성 감정 인식, 얼굴 표정, 립싱크 등 세 가지 모듈을 종합하여 실제 사람 표정 같은 자연스러운 그래픽을 구현할 수 있는 모델”이라며 “기쁨과 슬픔, 두려움 등 여러 감정 표현에 관한 일정한 기준을 만들고, 여기에 각각 다른 강도를 부여해 풍부한 감정 표현을 자동으로 생성하는 것이 핵심이다”라고 설명했다.

오인수 넷마블 AI센터 실장은 “이 기술을 적용함으로써 게임 이용자의 몰입도 향상뿐만 아니라 개발 기간 단축 등 여러 부가적인 순기능도 기대하고 있다”라며 “다양한 언어 기반 음성 처리를 할 수 있는 만큼 향후 글로벌 신작 개발에도 적극 적용할 수 있도록 기술을 고도화해 나가겠다”라고 말했다.

박형민 기자 [e-mail]