사진:SK텔레콤

텍스트 데이터 2026~2032년 소진 전망…‘데이터 양’ 중심 확장 한계
크롤링 차단·라이선싱 확대로 ‘존재하는 데이터’와 ‘쓸 수 있는 데이터’ 분리
기업 경쟁력, 데이터 보유량보다 내부 데이터 정비·활용 역량에 달려

[대한경제=심화영 기자] 인공지능(AI) 경쟁의 핵심 자원이었던 데이터가 새로운 변곡점을 맞고 있다. 지금까지 AI 산업은 더 많은 데이터를 확보해 더 큰 모델을 학습시키는 방식으로 성장해왔지만, 고품질 공개 데이터가 한계에 다다르면서 기존의 ‘데이터 양적 확장’ 공식이 흔들리고 있다.

9일 김우영 SK텔레콤 AI정책연구원은 최근 보고서를 통해 AI 산업을 둘러싼 데이터 제약을 ‘데이터 벽(Data Wall)’이라는 관점에서 분석하고, 데이터 확보와 활용 방식이 어떻게 달라지고 있는지를 짚었다.

고품질 데이터에 닥친 ‘3개의 벽’

AI 업계에서 거론되는 데이터 벽은 단순히 인터넷에 데이터가 부족해진다는 의미가 아니다. 김 연구원은 현재 AI 산업이 직면한 데이터 제약을 크게 물량·접근·품질이라는 세 가지 측면으로 구분했다.

첫번째는 학습에 활용할 수 있는 고품질 텍스트 데이터의 총량이다. 미국 AI 연구기관 에포크AI(Epoch AI)는 인간이 작성한 고품질 공개 텍스트 데이터의 총량을 약 300조 토큰으로 추정한다. 현재와 같은 데이터 활용 추세가 이어질 경우 2026년에서 2032년 사이 해당 데이터 재고가 소진될 수 있다는 전망도 나온다. 다만 실제 소진 시점은 학습 방식과 데이터 활용 효율 등에 따라 달라질 수 있다.

중요한 것은 정확한 ‘고갈 시점’보다 데이터를 추가하는 데 따른 성능 개선 효과가 언제부터 둔화하느냐는 점이다. AI 모델이 커질수록 단순히 데이터를 더 집어넣는 방식만으로는 이전과 같은 성능 향상을 기대하기 어려워지고 있다. 결국 같은 데이터에서도 더 높은 학습 효율을 끌어내거나, 기존에 없던 고품질 데이터를 확보하는 역량이 중요해지는 셈이다.

두 번째는 웹 접근의 장벽이다. 데이터가 인터넷에 존재한다고 해서 AI 기업이 이를 자유롭게 학습에 활용할 수 있는 시대도 저물고 있다. 콘텐츠 사업자와 웹 인프라 기업들이 AI 크롤링에 대한 통제를 강화하면서 ‘존재하는 데이터’와 ‘실제로 사용할 수 있는 데이터’ 사이에 간극이 커지고 있기 때문이다.

AI 기업 입장에서는 단순히 웹을 크롤링하는 것만으로 필요한 데이터를 확보하기 어려워지는 구조다. 어떤 데이터를 어떤 목적으로 이용할 것인지, 해당 데이터에 대한 접근 권한을 어떻게 확보할 것인지가 새로운 경쟁 요소로 떠오르고 있다.

세 번째는 합성 데이터의 한계다. 부족한 데이터를 AI가 직접 만들어내면 되지 않느냐는 해법도 있지만, 이 역시 만능은 아니다. 네이처(Nature)에 게재된 연구에서는 AI가 생성한 데이터를 다시 후속 AI 모델 학습에 활용할 경우 세대를 거치면서 모델 성능이 저하되는 ‘모델 붕괴(Model Collapse)’ 현상이 나타날 수 있다는 점이 제시됐다.

특히 희귀한 사례나 예외적인 패턴이 학습 과정에서 사라질 수 있다는 점이 문제다. 수학이나 코딩처럼 정답을 명확하게 검증할 수 있는 분야에서는 합성 데이터 활용도가 높지만, 현실 세계의 다양한 예외와 맥락이 중요한 영역에서는 기존의 인간 생성 데이터와 함께 활용하는 보완재로 보는 것이 현실적이다.

AI 기업마다 ‘데이터 벽’ 대응도 달라져

데이터 벽은 모든 기업에 동일한 문제를 던지는 것도 아니다. AI 모델 개발 기업은 고품질 학습 데이터를 확보하는 동시에 웹 접근 제한과 라이선싱 확대에 대응해야 한다.

오픈AI가 학습용 GPTBot, 검색용 OAI-SearchBot, 사용자 요청을 대신 수행하는 ChatGPT-User 등 용도별 크롤러를 구분한 것도 이런 변화의 한 사례다. 콘텐츠 제공자가 크롤러의 접근 목적에 따라 허용 여부를 선택할 수 있도록 한 것이다.

모델 개발 방식에서도 변화가 나타나고 있다. 대규모 사전학습 데이터만 계속 늘리는 방식에서 벗어나 사후 학습과 추론 시점의 연산을 강화하는 방향으로 AI 스케일링의 축이 다변화하고 있다. 특히 수학·코딩처럼 결과를 검증할 수 있는 분야에서는 합성 데이터를 활용해 학습 효율을 높이는 방식도 확대되고 있다.

반면 미디어·플랫폼 등 데이터 보유 기업의 과제는 데이터 접근권을 어떻게 통제하고 수익화하느냐에 있다. 크롤러의 접근 목적을 구분하고, API나 라이선싱 계약을 통해 데이터 이용 범위를 관리하는 한편 이를 새로운 수익원으로 연결하는 전략이 중요해지고 있다.

문제는 데이터를 많이 갖고 있는 것만으로는 AI 경쟁력이 만들어지지 않는다는 점이다.

데이터가 여러 시스템에 흩어져 있거나 정제되지 않았고, 라벨이 없거나 개인정보·계약 등 이용 권한이 불명확하다면 실제 AI 활용은 어렵다. 결국 기업 경쟁력은 ‘얼마나 많은 데이터를 보유하고 있느냐’에서 ‘필요한 데이터를 찾아내고 정제해 실제 업무에 연결할 수 있느냐’​로 이동하게 된다.

SKT, 모델·데이터·인프라 ‘세 축’으로 대응

SK텔레콤은 데이터 벽을 모델 개발과 데이터 활용, AI 인프라라는 세 가지 측면에서 바라보고 있다. 먼저 모델 개발 측면에서는 한국어 데이터 확보가 과제다.

공개 웹에서 한국어 데이터가 차지하는 비중은 영어에 비해 상대적으로 작다. 단순히 전체 데이터의 양을 늘리는 것보다 한국어와 국내 산업 환경에 적합한 고품질 데이터를 발굴하고 정제하는 것이 중요해진 이유다.

SKT의 자체 거대언어모델(LLM) ‘A.X(에이닷엑스)’ 개발에서도 데이터의 양뿐 아니라 데이터 품질과 학습 방법론이 중요한 경쟁 요소가 되고 있다.

데이터 보유자라는 측면에서는 ‘얼마나 많이 보유했는가’보다 ‘어떻게 책임 있게 활용할 것인가’​가 핵심이다. 통신과 AI 서비스를 운영하면서 축적되는 다양한 데이터는 개인정보 보호와 비식별화, 이용 목적과 권리관계 등을 전제로 활용해야 한다.

AI 모델의 스케일링 방식이 사전학습 데이터 확대에서 사후 학습과 추론 시점 연산 등으로 다변화하면서 이를 뒷받침할 GPU와 데이터센터 등 연산 인프라의 중요성도 커지고 있다.

SKT가 추진 중인 AI 데이터센터(AIDC)와 GPUaaS 사업 역시 이런 시장 변화와 맞물려 있다. SKT는 2029년까지 5GW 규모의 AI 데이터센터 확보를 목표로 하고 있다.

프런티어 AI 개발사에는 고품질 데이터 확보와 라이선싱, 새로운 학습 방식이 과제가 되고, 콘텐츠·플랫폼 기업에는 데이터 접근권의 통제와 수익화가 중요해진다. 일반 기업에는 외부 데이터를 더 사들이는 것보다 이미 보유한 내부 데이터를 AI가 활용할 수 있도록 정비하는 일이 우선 과제가 된다.

김우영 연구원은 “Data Wall 이후의 경쟁은 ‘더 많은 데이터를 확보하는 경쟁’에서 ‘가진 데이터를 쓸 수 있게 만드는 경쟁’으로 이동하고 있다”며 “기업들은 무작정 데이터 수집을 늘리기보다 어떤 AI를 만들고 사용할 것인지 먼저 정한 뒤 데이터 거버넌스와 안전한 연결 환경부터 정비해야 한다”고 강조했다.

심화영 기자 dorothy@

〈ⓒ 대한경제신문(www.dnews.co.kr), 무단전재 및 수집, 재배포금지〉