머신러닝을 위한 전용 가속기 개발에 가장 먼저 나섰던 구글은 6세대 ‘트릴리움(Trillium)’ 텐서처리장치(TPU)를 지난해 5월 발표했다. /사진:구글코리아

16일  진행된 ‘Let’s Talk AI 구글 클라우드 트릴리움’ 온라인세션 캡처.

모한 피치카 구글 클라우드그룹 프로덕트 매니저 /사진:구글

[대한경제=심화영 기자] “구글 ‘트릴리움’ TPU(텐서처리장치)와 엔비디아 ‘H100’ GPU(그래픽처리장치)는 아키텍처가 서로 달라 단순 비교는 어렵다. 그러나 트릴리움은 AI의 수학연산을 위해 개발됐고, 행렬 곱셈 등 AI 핵심 작업에서 높은 효율을 보인다. 트릴리움은 이전 세대인 클라우드 TPU v5e보다 라마(Llama-2-70b) 및 GPT(gpt3-175b)와 같은 Dense LLM을 최대 4배 더 빠르게 훈련할 수 있다.”

16일 모한 피치카 구글 클라우드그룹 프로덕트 매니저는 구글의 6세대 TPU인 트릴리움(Trillium) 관련 화상 인터뷰에서, 양사 제품에 대한 1대1 비교는 어렵다면서도 이같이 설명했다. 그는 “GPU는 컴퓨터그래픽 전용 프로세서로 병렬처리로 대량의 데이터를 처리하지만, TPU는 신경망 쪽의 연산처리에 적합하도록 설계됐다”고 말했다.

구글의 하드웨어 전문가인 모한 피치카는 클라우드 TPU 및 GPU 등의 AI 가속기를 비롯해 AI 인프라의 아웃바운드 제품 관리를 이끌고 있다.

H100의 높은 가격 탓에 대체재는 업계의 관심을 끌 수밖에 없다. 엔비디아의 ‘H100’은 ‘호퍼(Hopper)’ 아키텍처를 기반으로 지난 2022년 3월 첫 공개됐다. 머신러닝을 위한 전용 가속기 개발에 가장 먼저 나섰던 구글은 6세대 ‘트릴리움’ TPU를 지난해 5월 발표했다. TPU는 NPU(신경망처리장치) 가속기로 AI의 수학연산을 위해 개발됐고 빠른 처리 속도가 특징이다.

그는 “AI 요구에 최적화된 하드웨어가 필요했다”면서 구글 최초의 전용 AI전용칩인 TPU가 탄생한 배경을 설명했다. 이 제품은 업계 최초로 액체냉각방식을 도입했고, 1000만대의 노트북을 합친 것과 맞먹는 성능을 지닌다. 구글은 AI하이퍼컴퓨터를 통해 엔드투엔트 슈퍼컴퓨팅 아키텍처를 제공하는데, AI 하이퍼컴퓨터는 워크로드에 최적화된 하드웨어(TPU, GPU, CPU)을 통해 AI 모델을 제공한다. 구글은 증가하는 AI 워크로드 수요에 대응하기 위해 자체 TPU 맞춤형 AI 가속기를 개발하기 시작했다.

피치카 매니저는 “트릴리움은 고밀도의 대형언어모델(LLM)을 이용한 학습ㆍ추론에서 강점을 가지고 있다”고 했다. 구체적인 활용 사례도 공개했다. 카카오는 통합 AI 브랜드 카나나(Kanana)를 개발하던 중 GPU 자원의 한계를 느껴, LLM 학습에 트릴리움 TPU를 도입했다. 이에 따라 70B 파라미터를 지닌 대형 한국어ㆍ영어 모델을 빠르게 학습시킬 수 있었다.

심화영 기자 dorothy@

〈ⓒ 대한경제신문(www.dnews.co.kr), 무단전재 및 수집, 재배포금지〉