사진:SK텔레콤

[대한경제=심화영 기자] AI 인프라의 패러다임이 ‘성능 경쟁’에서 ‘효율 경쟁’으로 빠르게 이동하고 있다. 학습(Training) 중심이던 시장이 실제 서비스 단계인 추론(Inference)으로 무게중심을 옮기면서, 전력·비용·처리 효율을 동시에 잡는 새로운 서버 아키텍처가 부상하는 모습이다.

SK텔레콤은 글로벌 반도체 설계 기업 Arm, 국내 AI 반도체 스타트업 리벨리온과 손잡고 ‘CPU+NPU’ 기반 차세대 AI 서버 개발에 나섰다. 기존 GPU 중심 구조에 균열을 내겠다는 전략적 행보다.

3사는 9일 차세대 AI 인프라 혁신을 위한 업무협약(MOU)을 체결하고, Arm의 데이터센터용 프로세서 ‘Arm AGI CPU’와 리벨리온의 AI 추론 특화 칩 ‘리벨카드(RebelCard™)’를 결합한 서버 설루션을 공동 개발하기로 했다. 해당 설루션은 SK텔레콤의 AI 데이터센터에 적용돼 성능과 안정성 검증을 거칠 예정이다.

핵심은 ‘이종 컴퓨팅(Heterogeneous Computing)’이다. CPU가 데이터 입출력, 네트워크, 메모리 관리 등 시스템 전반을 총괄하고, NPU가 AI 추론 연산을 전담하는 구조다. 범용성과 효율성을 동시에 확보할 수 있는 방식으로, 대규모 AI 서비스를 24시간 운영해야 하는 데이터센터 환경에 최적화돼 있다는 평가다.

AI 산업의 구조 변화가 이번 협력의 배경이다. 그동안 AI 경쟁은 대규모 모델을 학습시키는 데 집중돼 GPU 중심의 고성능 인프라가 주류를 이뤘다. 하지만 생성형 AI 서비스 확산으로 추론 수요가 폭증하면서, ‘얼마나 빠르게’보다 ‘얼마나 효율적으로’ 처리하느냐가 핵심 경쟁력으로 부상했다. 추론은 반복적이고 상시적으로 이뤄지는 작업인 만큼, 전력 효율이 곧 비용 경쟁력으로 직결되기 때문이다.

이 지점에서 NPU가 대안으로 떠오르고 있다. GPU가 범용 고성능 연산에 강점을 지닌 반면, NPU는 AI 연산에 특화돼 동일 작업을 더 적은 전력으로 처리할 수 있다. CPU와 결합할 경우 전체 시스템 효율을 끌어올릴 수 있어, ‘GPU 일변도’ 구조를 보완할 현실적인 선택지로 주목받고 있다.

Arm과 리벨리온은 이미 지난 3월 ‘Arm 에브리웨어’ 행사에서 양사 칩을 결합해 대규모 언어모델 기반 에이전틱 AI 서비스를 실시간으로 시연하며 상용화 가능성을 입증한 바 있다. SK텔레콤은 여기에 데이터센터 운영 역량을 더해 실제 서비스 환경에서 검증을 추진한다는 구상이다.

특히 SK텔레콤은 해당 서버에 자사 파운데이션 모델 ‘A.X K1’을 탑재하는 방안도 검토 중이다. 추론 특화 인프라와 자체 AI 모델을 결합한 ‘풀스택’ 전략으로, AI 데이터센터 사업 경쟁력을 끌어올리겠다는 포석이다.

업계에서는 이번 협력을 단순한 기술 제휴를 넘어, AI 인프라 경쟁의 방향 전환을 보여주는 신호로 보고 있다. GPU 중심의 ‘성능 극대화’ 전략에서 벗어나, 전력·비용·운영 효율을 동시에 고려하는 ‘최적화 경쟁’이 본격화되고 있다는 분석이다.

SK텔레콤 관계자는 “추론에 최적화된 인프라와 독자 AI 모델을 결합해 AI 데이터센터 경쟁력을 강화할 것”이라며 “저전력·고효율 구조를 통해 차세대 AI 서비스의 기반을 마련하겠다”고 밝혔다.
 
심화영 기자 dorothy@

〈ⓒ 대한경제신문(www.dnews.co.kr), 무단전재 및 수집, 재배포금지〉