김기완 AWS코리아 AI사업 총괄 디렉터가 9일 GS타워에서 개최된 한국CIO포럼이 개최한 ‘CIO AX 컨퍼런스 2026’에서 기조연설을 하고 있다. 심화영기자

한국정보산업연합회(FKII) 산하 한국CIO포럼(회장 이준호)은 9일 서울 강남구 GS타워 아모리스홀에서 ‘CIO AX Conference 2026’을 개최했다. /사진:한국CIO포럼

AI 도입 넘어 전략·데이터·운영·확산·자립 등 통합 접근 강조
“개인 생산성 향상이 조직 생산성 향상과 일치하지 않을 수도”

[대한경제=심화영 기자] “리더는 문어처럼 조직 곳곳의 변화를 감지해야 한다.”

 인공지능(AI)이 기업의 업무 방식을 빠르게 바꾸면서 조직을 이끄는 리더의 역할에도 변화가 필요하다는 제언이 나왔다. AI 도구를 단순히 임직원에게 제공하는 것을 넘어 데이터와 운영 체계, 조직 문화까지 함께 바꿔야 실질적인 인공지능 전환(AX) 성과를 거둘 수 있다는 것이다.

9일 서울 강남구 GS타워에서 한국CIO포럼 주최로 열린 ‘CIO AX 컨퍼런스 2026’에서는 국내 기업 최고정보책임자(CIO)들과 함께 AI·AX 시대의 리더십과 실행 전략이 논의됐다. 내년 창립 30주년을 맞는 한국CIO포럼은 이번 컨퍼런스를 통해 기업의 AI 도입을 넘어 전사적인 업무 혁신으로 이어가기 위한 방안을 모색했다. 

이번 컨퍼런스는 ‘The New CIO Agenda for the Agentic Enterprise’를 주제로, 에이전틱 AI 시대를 맞아 기업의 디지털 전환(DX)과 AI 전환(AX)을 이끄는 국내 CIO·CISO·CDO 등 IT 리더 250여명이 참석한 가운데 오전 10시부터 오후 4시 40분까지 진행됐다.

이날 김기완 AWS코리아 AI사업 총괄 디렉터는 국내외 기업들과 협업하며 경험한 AI·AX 전환기의 리더십과 조직 변화에 대해 발표했다. 김 디렉터는 AI 시대의 조직을 설명하는 비유로 ‘옥토퍼스 오거니제이션(Octopus Organization·문어 조직)’을 제시했다.

그는 “문어를 보면 많은 빨판에서 물의 압력을 느낀다”며 “AI 시대 빠르게 변하는 조직에서는 리더들이 귀를 열어둬야 한다”고 말했다. 조직의 일선에서 벌어지는 변화와 새로운 기술의 움직임을 리더가 지속적으로 감지해야 한다는 의미다.

문어가 물속에서 움직이다 위험 물질을 감지하면 온몸이 일사불란하게 반응하는 것처럼, AI 시대의 기업도 중앙에서 모든 의사결정을 통제하는 기존 조직 방식에서 벗어나 현장의 변화에 빠르게 대응할 수 있는 구조를 갖춰야 한다는 설명이다. 김 디렉터는 “AI가 도입되면 과거와 다른 조직 모형이 필요하다”며 AI가 가져오는 가능성이 큰 만큼 조직 차원의 대응 방식도 달라져야 한다고 강조했다.

AI 도구 확산에도 ‘생산성의 역설’…개인과 조직 성과 달라질 수 있어

AI가 기업에 가져다주는 가능성은 다양하지만, 기업 현장에서는 오히려 ‘어떤 AI 도구를 써야 하는가’라는 새로운 고민이 생기고 있다는 게 김 디렉터의 설명이다.

챗GPT 등장 이후 새로운 생성형 AI 서비스와 개발 도구가 사실상 매 분기 등장하고 있고, 모델 컨텍스트 프로토콜(MCP)을 비롯해 AI 에이전트를 구성하는 기술도 빠르게 변하고 있기 때문이다. 이에 따라 모든 임직원이 AI를 효과적으로 활용할 수 있도록 하는 ‘AI 리터러시’ 확보가 기업의 중요한 과제가 되고 있다.

특히 AI 에이전트는 소프트웨어 개발 영역에서 가장 빠르게 도입되고 있다. 김 디렉터는 “개발은 AI가 하는 게 표준이 되고 있다”며 AI 활용이 개발 방식뿐 아니라 시스템통합(SI) 사업의 방향까지 바꾸고 있다고 설명했다.

다만 AI를 활용한다고 해서 곧바로 전사적인 생산성 향상으로 이어지는 것은 아니라는 점도 강조했다. 김 디렉터는 “AI 도구가 임직원들에게 주어졌을 때 개인의 생산성 향상과 조직의 생산성 향상이 일치하지 않을 수도 있다”고 지적했다.

개인이 AI를 활용해 자신의 업무를 빠르게 처리하더라도 조직 전체의 의사결정이나 협업 과정에 병목이 남아 있다면 전사적인 성과로 이어지기 어렵다는 의미다. 이에 따라 AI 에이전트를 단순한 개인 업무 보조 도구가 아니라 반복 업무 자동화와 조직의 업무 프로세스 개선에 활용해야 한다고 강조했다.

“LLM 도입만으로 전략 수립될까”…전략·데이터·운영 함께 봐야

김 디렉터는 기업의 AI 전환이 특정 대규모언어모델(LLM)이나 AI 솔루션 하나를 도입하는 것으로 끝나서는 안 된다고 강조했다. 그는 “LLM을 도입하는 것만으로 우리의 전략이 수립될 수 있을까”라고 반문하며 “어떻게 비용과 시큐리티(보안)를 통제할 수 있을 것인가”라는 문제도 함께 고민해야 한다고 말했다.

기업들이 AI를 실제 업무에 적용하는 과정에서 부딪히는 어려움은 크게 전략·데이터·운영·확산·자립으로 정리할 수 있다는 설명이다.

AI 전략을 세우는 것에서부터 필요한 데이터를 확보하고 이를 실제 서비스와 업무에 연결하는 과정, 운영 과정에서 발생하는 비용과 보안을 관리하는 문제, 전사적으로 AI 활용을 확산하는 과정, 외부 사업자에 의존하지 않고 기업 내부에 AI 활용 역량을 축적하는 문제까지 함께 고려해야 한다는 것이다.

특히 AI 구축을 외부에 전적으로 맡기는 방식의 지속가능성에도 의문을 제기했다. 김 디렉터는 “AI를 외주하게 되면 과연 지속가능한가 하는 모습을 많이 보고 있다”며 기업 내부에 AI를 활용하고 운영할 수 있는 역량을 확보해야 한다고 강조했다.

결국 AI 모델이나 개별 솔루션을 따로 도입하는 접근보다 전략부터 데이터, 운영, 확산, 내부 역량까지 연결하는 통합적인 접근이 필요하다는 설명이다.

데이터 활용 주체도 사람에서 AI로…“맥락 없으면 AI가 답할 수 없다”

AI 시대에는 기업 데이터의 활용 방식 자체도 달라질 것으로 전망했다. 김 디렉터는 “AI라는 조직 안에 데이터 레이어가 존재하는 경우가 늘어나고 있다”며 과거에는 사람이 기업 데이터를 직접 조회하고 분석했다면 앞으로는 AI가 데이터를 활용하고 사람은 AI를 통해 필요한 정보에 접근하는 구조가 확대될 것이라고 설명했다.

이 과정에서 기업이 활용하고 있는 AI의 비용과 성능을 얼마나 투명하게 파악할 수 있는지도 중요한 과제로 꼽았다. 특히 데이터의 양보다 데이터에 담긴 ‘맥락(context)’을 이해시키는 것이 중요하다고 강조했다. 김 디렉터는 “맥락이 없으면 AI가 답을 할 수 없다”며 “회사 내 데이터에 대한 맥락을 만들어주는 게 굉장히 중요해질 것”이라고 말했다.

기업들은 이미 수년 전부터 여러 시스템에 흩어진 데이터를 통합하기 위한 데이터 플랫폼 구축에 나서고 있지만, 앞으로는 단순히 데이터를 한곳에 모으는 것만으로는 충분하지 않다는 의미다. AI가 기업의 데이터와 업무를 제대로 이해하기 위해서는 데이터 사이의 관계와 의미를 정의하는 ‘온톨로지(ontology)’와 데이터를 업무 맥락에 맞게 해석하도록 돕는 ‘시맨틱 레이어(semantic layer)’가 중요해진다는 것이다.

한편, 이번 행사를 주최한 한국CIO포럼은 1997년 설립된 국내 대표 CIO 전문 단체로, 국내 주요 기업의 CIO·CISO·CDO가 참여하는 월례 조찬회와 네트워킹 행사를 통해 최신 IT 트렌드와 DX·AX 관련 정보와 인사이트를 공유하고 있다. 또한 ‘올해의 CIO상’ 시상 등을 통해 국내 기업과 기관의 디지털 혁신과 IT 리더십 발전을 지원하고 있다.

심화영 기자 dorothy@

〈ⓒ 대한경제신문(www.dnews.co.kr), 무단전재 및 수집, 재배포금지〉