KT 기술혁신부문 연구원들이 서초구 KT 우면연구센터에서 믿음 2.0을 테스트하고 있는 모습 / KT 제공

[대한경제=김희용 기자] KT(대표이사 김영섭)가 자체 개발한 한국어 특화 거대언어모델(LLM) ‘믿:음 2.0’을 오픈소스로 공개한다고 3일 밝혔다. 기업ㆍ개인ㆍ공공 누구나 제약 없이 사용할 수 있어 국내 인공지능(AI) 대중화에 기여할 것으로 기대된다.

이번에 공개되는 ‘믿:음 2.0’은 115억 파라미터 규모의 ‘베이스’ 모델과 23억 파라미터 규모의 ‘미니’ 모델 2종으로, 모두 한국어와 영어를 지원한다.

베이스 모델은 범용 서비스에 적합하며 한국 특화 지식과 문서 기반 질의응답에서 강력한 성능을 나타낸다.

110억 파라미터 이상의 한국어 범용 LLM을 상업적으로 활용 가능한 오픈소스로 공개한 것은 국내 최초다.

이러한 KT의 행보는 최근 국내에서 확산하는 ‘소버린 AI(주권형 AI)’ 기조가 반영된 것으로 해석된다.

KT는 ‘한국적 AI’라는 철학을 바탕으로 한국의 정신과 방식, 지식을 기반으로 구현해 한국에 가장 잘 맞는 AI를 갖추기 위해 노력해왔다.

이를 위해 KT는 한국의 사회적 맥락과 한국어 고유의 언어적ㆍ문화적 특성을 충분히 반영해 학습한 AI 모델을 개발했다.

믿:음은 사전 학습부터 자체적으로 만든 한국적 독자 AI 모델로, 고품질 한국어 데이터 확보 과정에서 모든 저작권을 확보해 신뢰성을 높였다.

특히, 믿:음 2.0은 한국어와 한국 문화 및 사회 등 전문 분야에서 기존 국내외 주요 모델을 상회하는 성능을 입증했다.

KT와 고려대학교가 공동 개발한 한국어 AI 역량 평가 지표인 ‘Ko-Sovereigngn(코-소버린)’ 벤치마크에서 유사 규모의 국내 기성 모델을 비롯해 글로벌 최고 수준의 오픈소스 모델을 능가하는 점수를 기록했다.

한국 관련 전문 지식 이해도를 측정하는 ‘KMMLU’와 한국어 언어모델 평가 지표인 ‘HAERAE’에서도 우수한 성능을 보였다.

KT는 국내 교육용 도서와 문학 작품, 법률 및 특허 문서 등 방대한 한국 특화 데이터를 활용했다. 저작권 이슈가 있는 데이터는 모두 제거하고, 한국어 구조와 언어학적 특성을 반영한 토크나이저를 자체 개발해 한국 사회 고유의 언어와 문화적 맥락을 정교하게 반영했다.

아울러 고려대학교 민족문화연구원과의 산학 협력을 통해 학술적 신뢰도도 확보했다.

개발 단계에서는 리벨리온과 협력해 국산 AI 반도체에서의 동작을 최적화, 프렌들리AI와 함께 허깅페이스를 통한 무료 체험 환경도 제공한다.

KT는 향후 마이크로소프트와의 협업을 통해 GPT-4에 한국적 사고를 추가 학습시키는 모델도 순차 공개할 예정이다.

신동훈 KT 젠AI 랩장(CAIO)은 “믿:음 2.0은 일반적인 생성 능력을 갖추면서도 한국의 문화와 언어를 깊이 이해하도록 고도화된 AI 모델”이라며 “국내 사용자들에게 고성능 한국적 AI 모델에 대한 새로운 대안을 제시하는 한편 글로벌 경쟁력을 갖추게 될 중요한 발판이 될 것”이라고 말했다.

김희용 기자 hyong@

〈ⓒ 대한경제신문(www.dnews.co.kr), 무단전재 및 수집, 재배포금지〉