본문내용 바로가기
KT, ‘AI 모델 최적화’ 토큰팩토리 출격…“토큰 최대 25% 절감”
페이스북 트위터 네이버
기사입력 2026-10-27 11:21:57   폰트크기 변경      

업무별 최적 AI 모델 자동 배정

한국어 특화 프롬프트 압축 고도화

국내 추론으로 데이터 주권 우려 완화


27일 서울 종로구 광화문 웨스트 빌딩에서 AI 플랫폼 ‘KT 토큰팩토리’ 사업에 대해 발표하고 있는 박상원 KT AX사업부문장(전무)./사진=최형균 기자

[대한경제=최형균 기자] KT가 통신을 잇는 새 먹거리로 ‘토큰팩토리’를 정조준했다. 이용자가 입력한 프롬프트에 맞춰 비용 대비 효율이 가장 높은 인공지능(AI) 모델을 연결해 주는 중개 플랫폼이다. 자체 모델 라우팅 기술과 프롬프트 압축 기술을 더해 AI 이용에 드는 토큰을 최대 25% 줄일 수 있는 비용 최적화 기능을 갖췄다. 국내 데이터센터에서 AI 추론을 직접 처리해 해외 AI 서비스 의존에 따른 데이터 주권 우려를 덜겠다는 구상도 함께 내놨다.

KT는 27일 서울 종로구 광화문 웨스트 빌딩에서 AI 모델 선택과 비용 관리, AI 신뢰·안전 기능을 하나로 묶은 AI 플랫폼 ‘KT 토큰팩토리’를 공개했다.

토큰팩토리는 업무 성격에 맞는 AI 모델을 자동으로 골라 불필요한 비용 지출을 줄인다. 단순 업무에는 가벼운 모델을, 복잡한 분석 업무에는 고성능 모델을 배정해 토큰 소비량은 줄이면서 답변 품질은 유지하는 방식이다. 이용자는 모든 업무를 하나의 AI 모델로 처리하는 대신 번역·요약·코딩 등 업무별로 적합한 모델을 쓸 수 있다.

핵심은 KT가 자체 개발한 모델 라우팅 기술 ‘오토 모델 라우터’다. 질문의 업무 유형과 난이도, 요구 품질, 비용 등을 따져 여러 AI 모델 가운데 가장 적합한 모델을 고른다. KT는 이 기술이 모델 선택 성능을 평가하는 글로벌 벤치마크 ‘라우터아레나(RouterArena)’에서 종합 1위를 기록했다고 밝혔다.

프롬프트 압축 기술도 고도화했다. 한국어 특성을 고려해 불필요한 반복 표현 등을 걷어내는 방식이다. 질문의 의미와 응답 품질은 비슷하게 유지하면서 입력 토큰 수를 줄여 비용과 응답 시간을 낮춘다. KT는 두 기술을 함께 적용하면 같은 업무 품질을 유지하면서 토큰 사용량을 최대 25% 절감할 수 있다고 설명했다.

데이터 주권 문제는 국내 인프라로 풀었다. 토큰팩토리는 국내에서 운영하는 KT 데이터센터에서 AI 추론을 직접 처리한다. 이 ‘소버린 AI 인프라’ 위에서 KT 자체 모델과 국내외 오픈웨이트(Open Weight) 모델, 독자 AI 파운데이션 모델 등을 함께 쓸 수 있는 멀티 AI 기반을 구축했다.

KT그룹의 데이터센터 운영사인 KT클라우드는 국내 클라우드서비스사업자(CSP) 가운데 수도권 데이터센터를 가장 많이 운영하고 있다. 데이터를 국내에 두면서도 대규모 추론 수요를 소화할 수 있는 인프라를 갖춘 만큼, 보안과 응답 속도에 민감한 금융·공공 고객을 공략하기 유리하다는 분석이 나온다.

보안 장치도 더했다. KT는 오픈웨이트 모델을 국내 인프라에서 안정적으로 이용할 수 있는 환경을 마련하고, 모델 평가체계와 자체 가드레일 기술을 적용해 안전성을 높였다. 가드레일은 고객이 입력하는 프롬프트에 개인정보·민감정보나 유해 표현이 담겼는지 점검하고, AI가 생성한 답변도 함께 검사한다. KT는 높은 수준의 보안과 데이터 관리가 필요한 산업 현장에서도 최신 AI를 안전하게 활용할 수 있을 것으로 기대했다.

모델 공급망도 넓혔다. KT는 글로벌 AI 모델 중개 플랫폼 ‘오픈라우터(OpenRouter)’와 국내 기업 가운데 처음으로 공식 파트너십을 맺었다. 이를 통해 토큰팩토리에 연계할 수 있는 글로벌 AI 모델을 500개 이상 확보했다. KT는 자체 추론 모델과 글로벌 모델을 함께 제공하는 국내 최대 규모의 AI 플랫폼을 구축한다는 계획이다.

KT는 AI 코딩·에이전트 분야의 유라클·캐스트AI(CAST AI), 기업용 AI 워크스페이스 분야의 타임리 등 국내외 전문 기업과도 협력을 늘린다. 업스테이지·다음 등 ‘모두의 AI’ 컨소시엄 참여사와의 협력도 강화한다. AI 인프라부터 모델 활용, 서비스까지 잇는 파트너 생태계를 꾸려 글로벌 시장으로 사업을 넓힌다는 구상이다.

KT는 오는 30일 기업 고객을 대상으로 토큰팩토리를 출시하고, 향후 개인 소비자까지 고객과 서비스 범위를 단계적으로 넓힐 계획이다.

박상원 KT AX사업부문장(전무)은 “AI 시장은 이제 누가 더 좋은 모델을 만드느냐보다 누가 AI를 더 쉽고 효율적으로 활용하도록 지원하느냐의 경쟁으로 빠르게 전환되고 있다”며 “KT는 통신사업에서 축적한 연결·과금·보호 역량을 AI 서비스로 확장한 토큰팩토리를 기반으로 고객의 AX 전환을 지원하고 대한민국 AI 생태계 성장을 이끄는 핵심 플랫폼으로 발전시켜 나가겠다”고 말했다.

최형균 기자 chg@

〈ⓒ 대한경제신문(www.dnews.co.kr), 무단전재 및 수집, 재배포금지〉

프로필 이미지
산업부
최형균 기자
chg@dnews.co.kr
▶ 구글 플레이스토어에서 '대한경제i' 앱을 다운받으시면
     - 종이신문을 스마트폰과 PC로보실 수 있습니다.
     - 명품 컨텐츠가 '내손안에' 대한경제i
법률라운지
사회
로딩바