킬러 로봇과 전쟁 윤리

• Human in the loop: 인간이 최종 공격 여부를 결정

• Human on the loop: 기계가 목표를 선택하지만 인간이 중단 가능

• Human out of the loop: 인간이 실질적으로 개입하지 못함
  특히 마지막 두 유형이 자율무기체계에 해당한다.

(2) Lethal Autonomous Robots
LARs는 AWS 중에서도 인간을 자율적으로 살상할 수 있는 로봇이다. 오늘날 완전한 의미의 killer robot은 아직 실전 배치되지 않았다.

(3) Machine Learning
머신러닝은 데이터를 통해 스스로 규칙을 수정·학습한다. 예를 들어 이미지 인식 AI는 수많은 사진 데이터를 학습하며 스스로 분류 기준을 개선한다. 하지만 AI가 왜 특정 결정을 내렸는지 인간조차 이해하지 못할 가능성이 존재한다. 저자는 이것이 AWS 오작동 우려의 핵심이라고 설명한다.

(1) anticodifiability thesis

도덕 판단은 완전히 규칙화(codification)될 수 없다. 도덕 판단은 단순 규칙 적용이 아니라 인간적 해석과 실천적 지혜(phronesis)를 필요로 한다. 즉 전쟁 중 “어떤 폭력이 필요한가”를 판단하려면 맥락적 이해와 창의적 숙고가 필요하며, 기계는 이를 수행할 수 없다는 것이다.
하지만 저자는 LAR가 완전한 도덕철학자가 될 필요는 없다고 주장한다. 핵심은 제한된 상황에서 충분히 안전하게 운용될 수 있느냐가 중요하다. 제한적이고 보수적으로 운용하면 상당수의 도덕적 오류를 줄일 수 있다고 주장한다.
또한 인간 병사 역시 항상 도덕적으로 행동하지 않는다. 인간도 공포, 분노, 증오 때문에 비합리적 행동을 할 수 있기 때문에 “인간만이 도덕 판단 가능하다”는 주장만으로 LAR를 금지할 수는 없다고 주장한다.

(2) “올바른 이유를 위해 행동해야 한다”

로봇은 믿음이나 욕망 같은 정신 상태를 가지지 못하기 때문에 “이유를 가지고 행동”할 수 없다는 데 대하여,저자는 이에 대해 인간에게는 이런 논리가 적용될 수 있지만, 기계에는 적용되지 않는다고 반박한다. 예를 들어 적군을 죽이는 것을 즐기는 “사이코패스 병사”는 도덕적으로 문제적이다. 하지만 로봇은 애초에 감정이나 의도를 가진 존재가 아니기 때문에 “잘못된 의도”를 가진다고 말할 수도 없다는 것이다. 즉 “올바른 이유로 행동하지 않는다”는 비판은 인간에게는 의미 있지만 기계에게는 범주
오류(category mistake)에 가깝다고 본다.

• 인간의 “올바른 동기”는 미래 행동 예측을 위한 장치이지만, 로봇은 애초에 알고
  리즘에 의해 통제된다.

• 존중의 문제도 인간에게만 적용 가능하다.

• 칸트적 “도덕적 가치(moral worth) 개념 역시 인간적 의도 전제이다.

• 덕윤리 역시 인간의 성품(character)을 전제한다.
  

(3) The Responsibility Gap

Sparrow는 LAR가 잘못된 살인을 저질렀을 때 아무도 책임지지 않는 상황이 발생할 수 있다고 우려한다. 저자는 여기에 강하게 반박한다. LAR는 결국 인간이 만든 위험한 도구이기 때문에 개발자, 프로그래머, 구매자, 지휘관 등이 모두 일정 부분 책임을 진다고 본다. 예를 들어 테스트 부족이나 위험 은폐는 명백한 과실이라는 것이다.Sparrow는 미래의 학습형 AI가 단순 도구를 넘어, 스스로 목표와 욕망을 형성하는 존재가 될 수 있다고 우려한다. 만약 그렇다면 자율무기의 행위는 더 이상 인간 명령의 단순 수행이 아니라, 기계 자체의 독립적 선택이 될 수 있다는 것이다.

하지만 저자는 “지능 수준과 목표·가치는 서로 별개의 문제”라고 주장한다. 즉 AI가 아무리 높은 수준의 지능을 가지더라도, 그것이 인간처럼 자율적 욕망이나 도덕적 목적을 형성하게 된다는 의미는 아니라는 것이다. 예를 들어 매우 고도화된 AI라도 바둑승리 같이 인간이 설정한 목표를 극도로 효율적으로 수행할 수는 있지만, 인간처럼 “왜 이 목표를 수행해야 하는가?”를 스스로 도덕적으로 반성하거나 새로운 목적을 창조하는 존재는 아니라는 것이다. 즉 AI는 결국 인간이 부여한 목적을 수행하는 도구일 뿐이며, 그렇기 때문에 책임 역시 최종적으로는 인간에게 귀속되어야 한다는 것이다.

하지만, 미래의 학습형 LAR가 실제로 스스로 목표와 욕망을 형성하게 된다면” 부당한 살인에 대한 책임을 인간에게만 귀속시키기 어려워질 수 있다.

특히 Sparrow의 논리에 따르면 어떤 존재가 도덕적으로 책임을 지기 위해서는 실제로 “책임을 물을 수 있는 존재(accountable agent)”여야 하며, 책임을 묻는다는 것은 원칙적으로 처벌이 가능해야 한다는
것이다. 그런데 처벌은 결국 상대방에게 고통을 부과하는 것을 전제하는데, 기계는 인간처럼 고통을 느끼지 못하기 때문에 진정한 의미의 책임 주체가 될 수 없다는 것이다.

하지만 저자는 미래의 고도화된 AI가 반드시 “고통을 느낄 수 없다”고 단정할 수 없다. 만약 미래 AI가 독자적 목표와 욕망을 가진다면, 그 목표가 좌절될 때 일종의 부정적 상태나 “고통과 유사한 경험”을 할 가능성을 완전히 배제할 수는 없다는 것이다. 또한 이미 죽은 테러범을 현실적으로 처벌하는 것은 불가능하지만 그렇다고 해서 그가 도덕적으로 비난받을 책임까지 사라지는 것은 아니라고 설명한다. 즉 “처벌 가능성”과 “도덕적 책임성”은 반드시 동일한 개념이 아니다.

다만 심각한 잘못이 발생했는데도 아무도 책임을 질 수 없는 상황이 발생한다면, 그것은 분명 도덕적으로 우려스러운 일이다. 그리고 만약 미래의 LAR가 인간의 단순 도구가 아니라 독립적으로 행동하는 수준에 도달한다면, 실제로 그러한 책임 공백이 나타날 가능성도 존재한다고 본다. 그는 책임을 묻는 방식이 반드시 인간적 고통을 주는 형태일 필요는 없다. 예를 들어 충분히 자율적인 LAR가 전쟁범죄를 저질렀다면, 그 기계를 파괴하거나 일부 기능을 제거·재프로그래밍하거나, 피해자 가족에게 사과나 보상을 제공하도록 만드는 방식으로도 충분히 accountability를 부과할 수 있다는 것이다. (?)

결국 만약 미래의 LAR가 정말 독립적 목표와 선택 능력을 가진 존재가 된다면, 단순 도구가 아니라 일정 수준의 “도덕 행위자(moral agent)”로 간주될 가능성도 있다고 본다. 그리고 그런 경우에는 책임 역시 인간만이 아니라 기계 자체에 귀속될 수 있다고 주장한다.

처벌은 복수와 응징을 목적으로 하고, 배제 내지는 격리에 목적이 있다. 공동체를 전제하는 것. 마지막으로 공적 관점에서 다시 돌아올 것을 전제하여 교육 및 재건시키는 데도 이유가 있음. 우리가 염두에 두고 있는 것은 복수파트에 있다. 격리와 배제, 교육과 재건 파트를 생각한다면 나름대로 넓은 의미의 처벌에는 부합할 수는 있음. (?!)

(4) “전쟁 속에서도 인간성이 필요하다”

즉 전쟁은 인간의 고통과
죽음에 관한 것이기 때문에 최종 살상 결정에는 인간적 공감과 도덕적 부담이 포함되어야 한다는 논리에 대하여 저자는 만약 인간 병사가 직접 죽이는 것이 더 “도덕적”이라면, 결국 정당한 병사를 위험에 노출
시켜야 한다. 하지만 정의로운 전쟁론 관점에서는 비책임적 존재가 아니라 책임 있는 병사를 보호하는 것도 중요하다. 그렇다면 단지 “더 인간적인 살인”을 위해 아군 병사를 위 험에 빠뜨리는 것이 과연 정당한가라는 문제가 발생한다.

(5) “정당한 병사를 보호할 의무”
원격조종 드론 조종사들조차 PTSD와 심리적 스트레스를 심하게 경험한다는 연구 결과를 인용하며, 인간은 단순히 “멀리서 버튼을 누른다” 해서 정신적 피해에서 자유롭지 않다고 설명한다. 따라서 만약 LAR가 인간 병사들의 정신적·신체적 피해를 줄일 수 있다면, 이는 오히려 자율무기 개발을 지지하는 도덕적 이유가 될 수 있다.