MLPerf Client v0.6 벤치마크 결과 /사진:인텔코리아

[대한경제=심화영 기자] 인텔이 업계 최초로 NPU(신경망 처리장치) 성능을 표준화된 방식으로 측정한 평가에서 완전한 NPU 지원을 달성한 유일한 기업으로 평가를 받았다.

19일 인텔이 공개한 MLPerf 클라이언트 v0.6 벤치마크 결과에 따르면 인텔® 코어™ 울트라(Ultra) 시리즈 2(Intel® Core™ Ultra Series 2) 프로세서는 GPU(그래픽 처리장치)와 NPU 모두에서 일반적인 사람이 읽는 속도보다 훨씬 빠르게 출력 결과를 생성할 수 있는 것으로 평가됐다.

MLPerf Client v0.6 벤치마크 테스트는 MLCommons라는 글로벌 비영리 단체가 주도하는 공개 표준 AI 벤치마크 테스트다.

이번 발표는 LLM(거대언어모델)에서 클라이언트 NPU 성능을 측정한 업계 최초이자 표준화된 평가 사례라는 게 인텔의 설명이다. MLPerf 클라이언트 v0.6은 라마(Llama 2 7B) 모델 기반의 4가지 콘텐츠 생성 및 요약 작업을 평가한다.

인텔은 NPU 응답 속도에서 최고 기록을 달성했고, 첫 토큰을 생성하는 데 단 1.09초밖에 걸리지 않아 프롬프트 입력 직후 즉시 반응할 수 있는 것으로 평가받았다. 또 초당 18.55토큰의 처리 속도를 기록해 실시간 AI 상호작용을 끊김 없이 지원했다.

인텔 측은 “GPU 부문에서도 경쟁사보다 더 빠르게 첫 토큰을 생성하며, NPU와 GPU를 아우르는 AI 가속 기술 리더십을 검증받았다”고 자평했다.

심화영 기자 dorothy@

〈ⓒ 대한경제신문(www.dnews.co.kr), 무단전재 및 수집, 재배포금지〉