김태형 산업부장

[대한경제=김태형 기자] “이제 나는 죽음이요, 세상의 파괴자가 되었다.”

1945년 7월, 미 뉴멕시코주 알라모고도 사막에서 인류 최초의 원자폭탄 실증 실험 ‘트리니티’가 성공했을 때, 맨해튼 프로젝트의 총책임자 로버트 오펜하이머가 남긴 고백이다. 한 명의 천재 물리학자, 당대 최고의 과학자들, 군대의 자금력이 만들어낸 이 무기는 인류에게 ‘멸망의 공포’를 안겼다.

80여년 전 오펜하이머의 서늘한 고백이 인공지능(AI)이라는 거대한 유령 앞에 다시 등장했다. 세계적 AI 석학들과 빅테크 연구진 22명은 최근 공동 논문을 통해 AI가 가져올 ‘지능 폭발’과 ‘인류 멸망’을 경고했다. 딥마인드와 앤트로픽 연구원들도 “기술 발전이 무섭다”며 잇달아 사직서를 던졌다. 빌 게이츠 마이크로소프트(MS) 공동 창업자는 “AI는 10억명의 사망을 초래하는 사건을 촉발할 만큼 강력하다”고 우려했다.

‘위험을 파는 장사’는 역사적으로 검증된 비즈니스다. 2000년을 앞두고 비행기가 추락하고 금융망이 마비된다던 ‘Y2K 종말론’을 떠올려보자. 수천억 달러를 예방 비용으로 쏟아부었지만, 정작 예산을 쓰지 않은 한국이나 이탈리아, 러시아도 멀쩡했다. ‘인류 문명의 마비’라는 과장된 서사는 IT 공룡들의 주머니를 두둑하게 채워준 역대급 마케팅이었다.

AI 멸망론도 구조가 닮아 있다. 공포를 부풀릴수록 정부의 보조금이 쏟아지고, 기득권 빅테크들은 까다로운 규제 장벽을 쳐 후발 주자의 진입을 차단하는 ‘사다리 걷어차기’에 성공한다.

AI는 과연 통제 불가능한 괴물인가. 그렇지 않다. 인류는 이미 이보다 훨씬 위험한 ‘핵무기’를 통제해 본 경험이 있다. 핵무기 사용은 ①명령 인증 ②2인 무결성 규칙 ③인간의 최종 결정이라는 3원칙으로 작동한다. 되돌릴 수 없는 파멸적 결과에 확률적 알고리즘을 개입시키지 않는 것이 인류의 유산이다.

AI 시스템도 똑같은 구조를 적용하면 된다. ‘AI 시대 황태자’로 불리는 젠슨 황 엔비디아 최고경영자(CEO)는 “AI는 살아있는 존재가 아니라 그냥 소프트웨어일 뿐”이라며, AI 안전을 확보하는 방법으로 ‘통제’와 ‘모니터링’이라는 두 가지 원칙을 제시했다.

1988년 코넬대 대학원생이 만든 ‘모리스 웜’은 그저 인터넷의 크기를 재보려던 무해한 코드였으나, 버그 하나로 전체 인터넷의 10%를 마비시켰다. 악의가 없어도 인간의 과실과 게으름이 결합할 때 사고가 터진다. 최근 메타의 AI 비서 ‘뮤즈’에서 발생한 개인정보 유출 보안 취약점 역시 AI의 인격적 반란이 아닌, 개발 과정의 코드 오류이자 배포자의 안일함이 원인이었다.

“AI가 위험하다”며 주어를 기계로 바꾸는 순간, 정작 책임져야 할 인간과 제도적 결함은 문장에서 스르륵 빠져나간다. 총기 사고가 났는데 ‘총의 위험성’만 탓하며 정작 총기 관리 시스템을 방치하는 격이다. 가중치와 트랜지스터는 죄가 없다. 기계는 그저 물건일 뿐이다.

실체 없는 ‘기계의 반란’을 두려워하며 멸망이라는 거대한 공포에 휘둘릴 때가 아니다. 기술의 폭주를 막는 진짜 방화벽은 기계에 대한 공포가 아니라, 인간이 설계한 가장 엄격하고 정교한 시스템이다.

김태형기자kth@

---

[Desk Column] Merchants of the AI Apocalypse

By Kim Tae-hyung, Executive Editor of Industry Bureau, The E-Daehan Journal

“Now I am become Death, the destroyer of worlds.”

These were the haunting words uttered by J. Robert Oppenheimer, head of the Manhattan Project, in July 1945 after the success of Trinity—the world’s first atomic bomb test in the desert of Alamogordo, New Mexico. Forged by a brilliant physicist, the finest scientific minds of an era, and the vast financial power of the military, this weapon presented humanity with an unprecedented “fear of total annihilation.”

Now, eighty years later, Oppenheimer’s chilling confession has re-emerged before a new, looming specter: Artificial Intelligence. In a recent joint paper, twenty-two world-renowned AI scholars and Big Tech researchers issued a stark warning regarding an impending “intelligence explosion” and the potential “extinction of humanity.” Researchers at DeepMind and Anthropic have resigned in succession, confessing that “the pace of technology has become terrifying.” Microsoft co-founder Bill Gates added his voice to the chorus, warning that “AI is powerful enough to trigger an event resulting in a billion deaths.”

Yet, trading in fear is a historically proven business strategy. Consider the Y2K doom-mongering at the turn of the millennium, which claimed airplanes would fall from the sky and financial networks would freeze. While hundreds of billions of dollars were spent on prevention, countries like South Korea, Italy, and Russia—which spent virtually nothing—emerged completely unscathed. The exaggerated narrative of “the paralysis of human civilization” turned out to be an all-time marketing triumph that fattened the pockets of IT tech giants.

The AI apocalypse narrative shares an identical blueprint. The more fear is inflated, the more government subsidies pour in. Simultaneously, incumbent Big Tech giants successfully “kick away the ladder” for latecomers by erecting formidable regulatory barriers under the banner of safety.

Is AI truly an uncontrollable monster? Hardly. Humanity has already managed an infinitely more dangerous threat: nuclear weapons. Nuclear deployment operates under three strict, non-negotiable principles: ① Command Authentication, ② The Two-Person Rule, and ③ Final Human Authorization. Refusing to introduce probabilistic algorithms into decisions with irreversible, catastrophic consequences is part of our shared human heritage.

AI systems require the very same framework. Jensen Huang, CEO of Nvidia and often dubbed the “Prince of the AI Era,” noted that “AI is not a living entity, just software.” He laid out two straightforward principles for ensuring AI safety: control and monitoring.

In 1988, a Cornell graduate student created the “Morris Worm”—a harmless piece of code designed merely to gauge the size of the internet. Yet a single bug paralyzed 10 percent of the web. Catastrophes strike when human error and oversight intertwine, even without malicious intent. The recent security flaw involving personal data leaks in Meta’s AI assistant ‘Muse’ was similarly caused by code errors during development and complacency in deployment, not a rogue rebellion by a conscious AI.

The moment we shift the subject of our warnings and declare that “AI is dangerous,” the human beings and institutional flaws actually responsible slide quietly out of the sentence. It is akin to blaming a gun‘s inherent danger while leaving gun-control systems completely unaddressed. Weights and transistors carry no guilt. A machine is merely an object.

Now is not the time to be swayed by a grand, paralyzing dread of a fictitious “machine rebellion.” The true firewall capable of reining in runaway technology is not our fear of the machine, but the most rigorous, meticulously designed systems built by human hands.

〈ⓒ 대한경제신문(www.dnews.co.kr), 무단전재 및 수집, 재배포금지〉