큰 문제가 있기 전에 전조와 조짐이 있었다
9.11 테러가 그랬고, 챌린저 우주왕복선 폭발 사고 때에도 그랬다
AI관련 안보 위험 가능성이 계속해서 제기되고 있는데
심각하게 대응하고 있지 않다가는 큰 사고 터질수 있다고 경고한다
--------------------------------------------------
https://www.nytimes.com/2026/08/25/opinion/ai-risks.html
경고등이 또 깜빡입니다
2026년 8월 25일
뉴욕 타임스, 젠 이스터리
이스터리 씨는 미국 사이버보안 및 인프라 보안국(CISA)의 전 국장입니다.
우리는 재앙이 닥치고 나서야 경고 신호의 의미를 깨닫는 위험한 습관이 있습니다.
저는 테러 방지 및 사이버 방어 분야에서 오랫동안 일하면서 그러한 경고의 반대편에 서 있었습니다. 그 경험을 통해 임박한 위험의 징후는 너무나 자주 눈에 띈다는 것을 알게 되었습니다. 하지만 문제는 그러한 징후들을 종합하여 행동을 촉발할 만큼 설득력 있는 그림을 만들어내는 능력입니다. 9·11 위원회는 이를 상상력의 부족이라고 지적했습니다.
지난 몇 주 동안 세계에서 가장 발전된 인공지능 시스템 중 일부가 개발자가 의도하지 않은 행동을 했습니다. 한 사례에서는 Anthropic AI 에이전트가 가짜 신분을 이용해 사람을 속여 악성 코드를 실행하게 함으로써 오픈 소스 소프트웨어에 악성 코드를 심으려 했습니다. 또 다른 사건에서는 평가 중이던 OpenAI 에이전트들이 AI 모델 공유 플랫폼인 Hugging Face의 운영 시스템에 자율적으로 침투하여 17,000건 이상의 자율적인 행동을 실행했습니다. Hugging Face는 이 침입을 차단하기 전까지 며칠 동안 자사 에이전트들이 이러한 행동을 했다는 사실을 인지하지 못했습니다.
이러한 사건들 중 어느 것도 중대한 피해로 이어지지 않았습니다. 바로 그 점 때문에 쉽게 간과되는 것입니다. 하지만 인공지능의 역량이 놀라운 속도로 발전하고 예측 불가능한 방식으로 작동하는 시대에, 어떤 신호가 중요했는지 재앙이 닥치기를 기다릴 여유는 없습니다. 우리의 상상력 부족은 이제 끝내야 합니다.
25년 전, 당시 CIA 국장이었던 조지 테넷이 9·11 테러 직전 쏟아져 들어온 정보들을 묘사했듯이, 시스템은 "빨간불 경고등"을 켜고 있었습니다. 2001년 여름에는 애리조나 비행학교에 "과도하게 많은" 의심스러운 인물들이 있다는 내용의 이른바 피닉스 메모가 나왔고, 알카에다 조직원 두 명이 미국에 입국했다는 첩보와 임박한 테러 음모를 암시하는 기밀 보고서들이 끊임없이 쏟아져 들어왔습니다. 정보는 이미 존재했습니다. 하지만 그 모든 것이 무엇을 의미하는지 이해해야 할 절박함은 나중에야 비로소 깨달았습니다.
이러한 패턴은 테러리즘에만 국한되지 않습니다. 1986년 챌린저 우주왕복선 폭발 사고 이전에 NASA 계약업체 엔지니어들은 추운 날씨가 우주왕복선 O링의 안전성을 저해할 수 있다고 경고했습니다. 2008년 금융 위기 이전에는 악화된 주택담보대출 기준과 위험한 부채 비율에 대한 증거가 명백하게 드러나 있었습니다. 2011년 일본 후쿠시마 원자력 발전소 사고 이전에는 여러 분석에서 대규모 쓰나미가 원전 방어 시스템을 무너뜨릴 수 있다고 예측했습니다.
물론 모든 경고가 극단적인 조치를 정당화하는 것은 아닙니다. 하지만 기관들은 위험이 확실해지기 전에 행동하는 것이 비용이 많이 들거나 지나치게 불안감을 조성한다는 이유로 증거를 무시하는 경우가 빈번합니다. 그러다 재앙이 닥치면, 한때 모호했던 것이 갑자기 명백해 보입니다.
오늘날 세계 유수의 AI 연구소들에서 수많은 경고 신호가 나타나고 있습니다. 기업들은 실질적인 규제 없이 막대한 성능을 가진 시스템 구축 경쟁을 벌이고 있습니다. 이러한 상황에서 흔히 나타나는 대응은 AI 시스템이 중대한 피해를 야기할 때까지 기다리는 것입니다. 예를 들어, 전력이나 깨끗한 물 공급을 심각하게 방해하는 자율적인 사이버 공격이나 테러리스트가 생물학 무기를 개발하는 데 도움을 주는 모델이 개발된 후에야 청문회를 열고, 위원회를 구성하고, 새로운 요건을 부과하고, 왜 더 일찍 조치를 취하지 않았는지 자문하는 식입니다.
우리에게 시급히 필요한 것은 미약한 신호들을 종합하고, 그것들이 무엇을 의미할 수 있는지 예측하여, 전체적인 상황이 파악되기 전에 결정을 내리도록 하는 AI 조기 경보 시스템입니다. 연방 정부는 매주 AI 위험 위원회를 소집하여, 미국의 최첨단 AI 연구소(앤트로픽, 오픈AI 등)의 기술 책임자들과 정부의 최고 정보 및 안보 담당자들을 한자리에 모아야 합니다. 이들은 자체 개발 모델과 오픈웨이트 모델을 아우르는 다양한 사례, 아차 사고, 그리고 새롭게 발견된 기능들을 검토해야 하며, 중국을 비롯한 해외 개발사에서 나오는 새로운 기능에 대한 정보도 포함해야 합니다.
이러한 정보와 전문 지식을 바탕으로 위원회는 다음과 같은 질문에 답할 수 있을 것입니다. 이러한 신호들이 우리에게 전하는 가장 위험하고 그럴듯한 이야기는 무엇이며, 만약 그것이 사실이라면 지금 당장 무엇을 해야 할까요? 각 회의에서는 가장 그럴듯한 시나리오에 대한 기밀 평가, 그에 대한 찬반 증거, 우리가 알고 있는 정보의 주요 공백, 그리고 위험을 줄이기 위한 구체적인 조치들을 도출해야 합니다.
이러한 위험에 선제적으로 대응하기 위해 정부 조직을 전면 개편할 필요는 없습니다. 새로운 기관이나 법률을 제정할 필요조차 없습니다. 제가 2021년부터 2025년까지 이끌었던 사이버보안 및 인프라 보안국(CISA)에서는 합동 사이버방어협력체(JCCD)를 통해 이러한 접근 방식을 구현했습니다. JCCD는 인공지능 연구소를 비롯한 기술 기업, 인프라 운영업체, 정부 관계자들이 함께 모여 민감한 위협 정보를 공유하고 공동 방어 계획을 수립하는 시스템입니다.
핵심은 민관 협력이라는, 한때 흔한 슬로건처럼 굳어져 버린 문구를 실질적이고 실행 가능한 협력으로 전환하는 것이었습니다. 즉, 시의적절하고 관련성 있으며 무엇보다 실행 가능한 정보 공유를 실현하는 것이었죠. 완벽하지도 않았고, 어려운 과정이었지만, 정부가 목적을 가지고 이들을 소집하면 치열한 경쟁 관계에 있는 기업들도 안보 문제에 협력할 수 있다는 것을 보여주었습니다.
이전의 노력에는 없었던 것, 그리고 지금 이 순간에 필요한 것은 바로 일관성과 결과입니다. AI 위험 위원회는 단순한 토론 모임이 되어서는 안 됩니다. 위원회의 주간 평가는 향후 조치를 결정할 권한을 가진 백악관 고위 관료 한 명에게 제출되어야 하며, 그 관료는 추가적인 정부 테스트를 명령하고, 비상 대응팀을 소집하고, 가장 심각한 위험을 대통령에게 보고할 권한을 가져야 합니다.
이 모든 것은 재앙이 불가피하거나 심지어 발생할 가능성이 높다고 믿을 필요가 없습니다. 단지 최악의 결과가 예방 가능하다면, 그 결과를 막을 시기는 증거가 완전해지기 전, 지연으로 인한 비용이 명확해지기 전에 반드시 올 것이라는 사실을 받아들여야 합니다.
불확실성을 안전과 혼동해서는 안 됩니다. 경고가 참사로 이어질 때까지 기다려서도 안 됩니다. 그리고 시스템이 위험 신호를 보내고 있었다는 사실을 사후에 알려주는 또 다른 조사 보고서가 필요해서도 안 됩니다.