크래프톤 CI. /이미지: 크래프톤 제공

[대한경제=이계풍 기자] 크래프톤은 음성 인공지능(AI) 파운데이션 모델 ‘A.X K2 Raon-Speech’를 글로벌 AI 플랫폼 허깅페이스(Hugging Face)에 공개했다고 29일 밝혔다.

크래프톤은 과학기술정보통신부가 주관하는 ‘독자 AI 파운데이션 모델’ 프로젝트의 SK텔레콤 정예팀에 참여해 차세대 멀티모달 모델 연구를 주도하고 있다. A.X K2 Raon-Speech는 프로젝트 2차수 성과 중 하나로 공개된 음성 언어 모델이다.

A.X K2 Raon-Speech는 210억개(21B) 매개변수를 갖춘 음성 언어 모델이다. 300억개 이하급 공개 모델 가운데 한국어 종합 성능 1위, 영어 종합 성능 3위를 기록했다. 음성 인식·합성·이해와 음성 및 텍스트 질의응답, 도구 호출 등 6개 영역에서 한국어 24개와 영어 22개 등 총 46개 벤치마크를 활용해 성능을 평가했다.

이 모델은 SK텔레콤의 A.X K2 기반 소형 언어 모델에 크래프톤이 자체 학습한 음성 인코더와 코덱을 결합했다. 음성 인코더는 사람의 목소리를 AI가 이해할 수 있는 정보로 변환하고, 음성 코덱은 AI가 만든 정보를 자연스러운 음성으로 복원한다. 기존 언어 모델의 텍스트 처리 능력을 유지하면서 음성 입력과 출력을 안정적으로 연결하는 학습 방식도 적용했다.

일반적인 AI 음성 대화 시스템은 사용자의 말을 텍스트로 변환한 뒤 답변을 만들고 이를 다시 음성으로 합성한다. 이 과정에서 이용자의 감정이나 억양에 담긴 정보가 손실될 수 있다. A.X K2 Raon-Speech는 목소리에 담긴 감정과 억양을 직접 이해해 보다 자연스러운 음성 답변을 생성하는 것이 특징이다.

크래프톤은 지난 4월 AI 모델 브랜드 ‘라온(Raon)’을 출범하고 음성 언어·실시간 음성 대화·텍스트 음성 변환·비전 인코더 등 4종의 모델을 오픈소스로 공개했다. 이번 모델은 당시 선보인 Raon-Speech의 학습 기술을 SK텔레콤의 언어 모델에 적용해 성능을 고도화한 결과다.

크래프톤은 확보한 음성 AI 기술을 이용자와 함께 플레이하는 AI 캐릭터인 ‘CPC(Co-Playable Character)’ 고도화에 활용할 계획이다. CPC가 이용자의 목소리와 의도를 파악하고 게임 상황에 맞는 음성으로 반응하는 상호작용을 구현한다는 구상이다.

이강욱 크래프톤 최고AI책임자(CAIO)는 “A.X K2 Raon-Speech는 크래프톤이 AI 파운데이션 기술을 꾸준히 연구하고 고도화해 온 결과물”이라며 “앞으로도 게임에 필요한 AI 파운데이션 기술을 지속적으로 고도화해 새로운 게임 경험을 만들어 나갈 것”이라고 말했다.

이계풍 기자 kplee@

〈ⓒ 대한경제신문(www.dnews.co.kr), 무단전재 및 수집, 재배포금지〉