완전자율무기와 국제규범

1. 연구질문
   저자들은 과거 국제사회가 대인지뢰나 집속탄, 화학무기와 같은 무기를 인도주의적 이유로 금지했던 사례를 언급하며, 완전 자율무기 역시 같은 차원에서 접근해야 한다고 주장하며, 완전 자율무기도 선제적으로(preemptively) 금지해야 한다고 주장한다.(이 글은 “국제 규범 형성 운동”을 설명하는 글이다.)

2. Humanitarian disarmament
   이는 단순히 군비를 축소하는 것이 아니라, 전쟁 과정에서 민간인 보호를 우선시하고 국제인도법을 강화하려는 흐름을 의미한다. 특히 대인지뢰 금지 운동과 집속탄 금지 운동에서는 시민사회와 NGO 가 국제 규범 형성 과정에서 중요한 역할을 수행했으며, 저자들은 자율무기 금지 운동 역시 이러한 흐름의 연장선에 있다고 본다.저자들은 자율무기 금지 운동 역시 이러한 흐름의 연장선에 있다고 본다.

3. 킬러로봇이란
   핵심은 인간의 개입 없이 스스로 목표를 선택하고 공격 할 수 있는 무기라는 점이다. 현재 드론은 인간 조종자가 최종 발사 결정을 내리기 때문에 완전 자율무기는 아니다. 그러나 자동 감시 시스템와 AI 기반 센서 등을 통해 무기의 자율성은 빠르게 증가하고 있다.
   한국 DMZ 에 배치된 삼성 SGR-1 감시 로봇을 보자. 이 시스템은 움직임을 감지하고 인간 병사에게 정보를 전달하는 방식으로 운용되지만, 기술적으로는 자동 사격 기능도 가능했다고 한다. 그러나 개발자조차 “기계가 실수할 가능성”에 대한 우려가 존재했다고 설명한다. 저자들은 이러한 사례를 통해 완전 자율무기가 아직 본격적으로 실전 배치되지는 않았지만, 기술적으로는 이미 상당 부분 현실화 단계에 접근하고 있다고 본다.

4. Automatic vs. Autonomous
   저자들은 자동무기(automatic weapon)와 자율무기(autonomous weapon)를 구분한다. 자동 시스템은 제한된 환경에서 미리 정해진 반응을 수행하며 제한된 환경에서 작동한다. 예로는 지뢰, Patriot 미사일와 Iron Dome 등이 있다. 반면 자율무기는 개방된 환경에서 스스로 상황을 분석하고 목표를 선택할 수 있다. 즉 단순 반응 기계가 아니라 AI 기반 판단 시스템에 가깝다는 것이다. 따라서 문제는 단순 자동화가 아니라 “인간의 판단 자체가 전장에서 제거될 가능성”이다.

5. 국제인도법(IHL)
   (1) Distinction 문제
   자율무기가 전투원(combatant)과 민간인(non-combatant)을 정확히 구분할 수 있는가? 실제 전장은 복잡하고 예측 불가능하며 맥락 의존적이다. 예를 들어 무기를 들지 않은 병사, 부상자, 항복하려는 전투원, 민간인 복장의 전투원 등을 기계가 정확히 판단할 수 있는가라는 문제가 있다.
   (2) Proportionality 문제
   예상 민간인과 피해 군사적 이득 사이의 균형은 단순 계산 문제가 아니라 인간적 판단과 맥락 이해를 요구한다. 모든 상황을 기계에 사전 입력하는 것은 사실상 불가능하다

6. Accountability Gap
   저자들은 자율무기의 가장 심각한 문제 중 하나로 “책임 공백”을 제시한다. 만약 자율무기가 민간인을 잘못 공격했을 경우 누가 책임지는가라는 문제가 있다. 프로그래머는 실제 상황을 완전히 예측할 수 없고 제조사 역시 개별 판단을 통제하지 못하며 지휘관도 AI 의 모든 행동을 예상할 수 없기 때문에 책임 귀속이 어려워진다. 책임이 없다면 국제법 위반 억제, 피해자 구제, 전쟁범죄 처벌 자체가 어려워진다.

7. 인간 존엄성의 문제
   기계는 인간 생명의 가치, 연민, 도덕적 판단을 이해하지 못한다. 특히 국제법이 명시하지 못한 상황에서도 인간성의 원칙, public conscience(공공 양심) 이 보호되어야 한는데, 이에 따라 인간을 죽이는 최종 결정은 반드시 “의미 있는 인간의 통제(meaningful human control)”아래 있어야 한다.

8. “의미 있는 인간의 통제”

핵심은 무력 사용과 살상 결정에는 반드시 인간이 실질적으로 개입해야 한다는 것이다. Campaign to Stop Killer Robots 는 AI 기술 자체를 반대하지 않는다. 그러나 인간 개입 없이 목표를 선택하고 공격하는 시스템만큼은 금지해야 한다고 주장한다. 완전 자율무기의 개발, 생산과 사용을 국제조약으로 선제적 금지하는 것이다. 이 운동은 AI 자체를 반대하는 것이 아니라 인간 통제 없이 살상 결정을 내리는 시스템
을 반대한다고 설명한다 즉 문제는 “AI 자체”가 아니라 “인간이 살상 결정에서 완전히 배제되는 상황”
이라는 것이다.

9. 완전금지
• 부분 규제는 해석 차이를 낳는다.
• 규제는 군사 경쟁을 막지 못한다.
• 기술 확산을 통제하기 어렵다.
• 권위주의 국가·테러조직이 악용할 위험이 크다.

10. International Support
    저자들은 이미 상당한 국제 지지가 형성되고 있다고 설명한다.
    유럽의회, Nobel Peace Laureates,종교단체, 과학자와 AI 연구자들 등이 금지 지지를 선언했다.
    2013 년 이후 여러 국가, NGO, ICRC 과 UN 등이 논의를 진행하고 있지만,저자들은 현재 협상이 지나치게 느리고 소극적(aim low) 이라고 비판한다. 특히, 미국과 이스라엘 등은 완전 금지에 소극적이며, 군사적 잠재력을 강조하고 있다고 설명한다. 반면저자들은 지금 행동하지 않으면 기술 발전 속도를 규범이 따라가지 못 할 것이라고 경고한다.

11. 결론
    따라서 국제사회는 단순 규제가 아니라 의미 있는 인간의 통제 원칙을 기반으로 한 선제적 국제 금지 조약(preemptive ban treaty) 을 추진해야 한다고 주장한다.
    

Roff, Heather M. 2013. "Ch. 26. Killing in War: Responsibility, liability, and lethal autonomous robots"

1. 연구질문 (Introduction)
   “살상 자율무기(lethal autonomous robots, LARs)가 실제 전장에서 인간 대신 전투를 수행하게 될 경우, 누가 도덕적·법적 책임을 져야 하는가?”? 저자는 “도덕적 책임성”이 자율무기 시대에도 유지될 수 있는지를 대신 묻는다. 특히 미국 국방부(DoD)가 미래 자율시스템이 “환경을 인식하고, 다른 행위자의 의도를 평가하며, 스스로 임무를 수행할 수 있는 수준”을 목표로 하고 있다는 점을 언급하며, 완전 자율무기의 시대는 생각보다 가까이 와 있다고 설명한다. 즉 이 글은 단순한 기술윤리 논의가 아니라, 정의전쟁론의 “도덕적 주체” 개념 자체를 재검토하는 작업이라고 볼 수 있다.
   저자의 핵심 문제의식은 다음과 같다.
• 인간 병사가 아닌 기계가 살상을 수행할 때 책임은 누구에게 귀속되는가?
• 기계가 도덕적 행위자가 될 수 있는가?
• 만약 그렇지 않다면 기존 정의전쟁론은 유지 가능한가?

2. Autonomy vs. Autonomous
   이 장에서 저자는 철학적 의미의 “자율성(autonomy)”과 공학적 의미의 “자율 시스템 (autonomous systems)”을 구분한다. 철학적 자율성은 칸트적 의미의 자유의지를 전제한다. 즉 스스로 선택할 수 있고, 자신의 행위에 대해 책임질 수 있으며, 도덕적 평가(칭찬·비난)가 가능한 상태 를 의미한다. 반면 공학적 의미의 “자율무기”는 단지 외부 직접 통제 없이 움직이고, 알고리즘에 따라 판단하며 환경 정보를 기반으로 행동하는 시스템이다.
   즉 로봇은 스스로 움직일 수는 있지만, 도덕적 의미에서 “자유로운 의지”를 가진 것은 아니라는 것이다. 저자는 여기서 하나의 중요한 표현을 하는데; “로봇의 자율성은 극도로 최소화된 의미의 자율성이다”(robotic autonomy is radically minimalist). 즉, 기계의 자율성은 철학적 자율성과는 전혀 다른 개념이라고 주장한다.

3. 정의전쟁론은 기본적으로 “도덕적 행위자”를 전제한다

jus in bello 원칙인distinction (전투원/민간인 구분), proportionality (비례성) 등은 단순한 기술 규칙이 아니라, “어떻게 싸워야 하는가”에 대한 도덕 규범이라는 것이다. 문제는 LARs는 이러한 규범을 “이해”하지 못한다는 점이다. 예를들어 인간 병사는 민간인을 고의로 공격하면 비난받는다. 그러나 로봇은 단지 알고리즘을 수행할 뿐이다. 따라서 로봇의 행위에는 도덕적 책임을 귀속시킬 수 없다고 주장한다.
저자는 이를 “ethical nihilism”의 위험이라고 설명한다. 즉 행위는 존재하지만 도덕적 책임 주체는 사라지는 상황이라는 것이다.

4. Moral Equality of Soldiers (MES) “도덕적으로 동등한 존재”
   병사들은 jus ad bellum에 책임이 없고 대신 전쟁 수행 방식(jus in bello)에 대해서만 책임을 진다.
   따라서 정당한 전쟁이든 부당한 전쟁이든 병사는 “위험한 계급(dangerous class)”으로 간주
   되며 서로를 공격 가능한 존재로 인정한다.
   여기서 중요한 것은 병사들이 “도덕적 행위자”라는 점이다. 즉 선택할 수 있고, 명령을 거부할 수도 있으며, 전쟁범죄에 책임질 수 있다. 그러나 LARs는 이러한 도덕적 자율성을 갖지 않는다. 따라서 저자는 로봇은 병사처럼 취급될 수 없고 MES 자체가 붕괴할 수 있다고 주장한다.

5. “책임 공백”(responsibility gap)
   AI 시스템은 스스로 학습하고 경험을 통해 변화하며 프로그래머도 결과를 완전히 예측할 수 없게 된다.
   즉 프로그래머는 시스템을 설계하지만, 이후의 판단과 행동은 완전히 통제하지 못한다. 이로 인해 로봇은 도덕적 책임을 질 수 없고, 프로그래머도 완전히 통제하지 못하며 지휘관 역시 세부 행동을 예측하지 못한다.
   결국 책임 주체가 사라지는 “책임 공백”이 발생한다는 것이다.

6. 프로그래머의 책임

보통 법에서 대리책임(vicarious liability)이 성립하려면 감독 관계, 통제 가능성, 예측 가능성이 존재해야 한다. 하지만 학습형 AI는 프로그래머도 행동을 완전히 통제하지 못하며 실제 전장 환경은 예측 불가능하기 때문에 책임을 귀속시키기 어렵다. 즉 단순히 “코드를 만든 사람”에게 책임을 돌리는 것은 현실적으로도 철학적으로도 한계가 있다.

7. 책임은 군 지휘관이나 정치 지도자에게 있는가?
   LAR 사용을 승인하고, 배치하며 전쟁 자체를 결정하는 것은 인간이기 때문에 그렇다고 볼 수 있다. 그러나 기존 전쟁에서는 병사가 직접 판단하고 행동하기 때문에 책임이 분산되어 있었다. 하지만 LAR 시대에는 전장의 도덕적 행위자가 사라지면서 책임이 다시 jus ad bellum 수준으로 올라가게 된다. 즉, 전쟁 개시를 결정한 정치지도자·국가 전체가 더 큰 책임을 져야 한다는 것이다.

8. Conclusion
   자율무기의 가장 큰 문제는 “기계가 너무 잔인하다”는 것이 아니라 책임 귀속 구조를 붕괴시키고 전쟁 윤리의 핵심인 accountability를 약화시킨다는 점이다. 결국 이 글은 단순한 AI 윤리 논의가 아니라, “전쟁에서 인간이 사라질 때 도덕 책임도 함께 사라지는가?” 라는 근본적인 질문을 제기해야 한다.