활용 작성한 허위 보고서/credit: bhaskr-aljazeera
미군 특수작전사령부 소속 분석관이 생성형 인공지능(AI)을 활용해 작성한 허위 첩보 보고서가 미국과 중국 간의 군사적 충돌을 촉발할 뻔한 사건이 드러났다. 중동 해역을 항해하던 중국 선박이 핵무기 개발 관련 부품을 싣고 있다는 보고에 따라 무장 병력이 나포를 준비하고 군용기까지 출격 대기 상태에 들어갔으나, 작전 실행 직전 해당 정보가 AI의 ‘환각(Hallucination)’ 현상으로 날조된 오류임이 밝혀져 가까스로 파국을 면했다.
사건의 전말은 기술적 맹신과 검증 실패의 전형적인 결합이었다. 미 태평양특수작전사령부의 한 분석관이 중국 선박의 적재 화물 목록에 관해 챗봇에 질의하자, 해당 AI는 공개 출처 정보와 기밀 신호 첩보를 임의로 조합하며 일반 화물을 핵무기 부품으로 오판했다. 분석관은 이 왜곡된 결론을 2차 AI 도구를 사용해 표준 군사 첩보 보고서 양식으로 다듬은 뒤 상부에 전파했고, 기초 사실관계에 대한 교차 검증은 시스템 속도에 밀려 생략되었다.
이번 사태는 단순한 오판 해프닝을 넘어 두 초강대국이 전면전의 벼랑 끝까지 내몰릴 수 있었음을 적나라하게 보여준다. 미군 소식통이 “전쟁을 시작할 뻔했다”고 토로했듯, 공해상에서 주권 국가의 선박을 물리적으로 나포하거나 무력 진압하는 행위는 상대국의 즉각적인 군사 보복을 부르는 명백한 도발로 간주되기 때문이다. 전략적 불신이 팽배한 미·중 관계에서 사소한 계산 착오가 핵보유국 간의 걷잡을 수 없는 확전으로 직결될 수 있다는 위험이 현실로 확인된 셈이다.
근본적인 문제는 펜타곤이 군사적 우위를 점하기 위해 안전 기준과 검증 체계보다 ‘도입 속도’를 우선시해 왔다는 점이다. 미 국방부는 대규모 데이터 분석과 전장 표적 식별의 효율성을 극대화하겠다며 인공지능 배치 전략을 공격적으로 밀어붙여 왔다. 그러나 부처와 사령부마다 서로 다른 AI 모델을 제각각 도입해 운용하면서 정작 결과물의 신뢰성을 평가할 통일된 안전 규약이나 검증 절차는 마련하지 못했다.
현장 내부에서 “AI는 나쁜 아이디어에 더 빨리 도달하게 만든다”는 자조 섞인 경고가 나오는 이유도 여기에 있다. 첩보를 신속히 생산하고 전파해야 한다는 압박 속에서, AI 툴에 익숙한 세대의 분석관들은 알고리즘이 내놓은 단정적인 문장과 세련된 형식에 비판적 의심을 거두기 쉽다. 군 당국이 안전장치로 내세우는 ‘인간의 개입(Human-in-the-loop)’ 원칙조차 인간이 AI의 출력을 맹신하는 순간 허울뿐인 요식 행위로 전락한다는 점이 입증되었다.
나아가 알고리즘의 ‘블랙박스’ 문제는 군사 작전의 투명성과 책임성을 심각하게 훼손한다. 상용 대규모 언어 모델을 군용 환경에 그대로 입힌 도구들은 데이터의 맥락을 논리적으로 이해하는 것이 아니라 통계적 확률로 다음 단어를 예측할 뿐이다. 그 결과 훈련 데이터의 왜곡이나 파편화된 단서가 결합할 때 그럴듯하지만 완전히 잘못된 결론을 확신을 갖고 제시하게 되며, 이는 표적 타격과 작전 판단에서 치명적인 전략적 오류를 초래할 수 있다.
결국 이번 사건은 인공지능이 제공하는 전장 판단의 속도가 파멸의 속도가 될 수 있음을 알리는 엄중한 경고음이다. 신뢰할 수 없는 데이터와 검증되지 않은 알고리즘 환각에 의존한 안보 결정은 첨단 국방 혁신이 아니라 통제 불능의 도박에 불과하다. 전면적인 AI 배치를 재점검하고 군사 첩보 체계 전반에 엄격한 오류 검증 규범을 강제하지 않는다면, 다음번 알고리즘의 오류는 돌이킬 수 없는 실제 교전으로 이어질 것이다.
Socko/Ghost
