이 논문은 국제기구가 국가들을 전쟁으로부터 멀어지게 하고 평화를 증진시킨다는 주장을 비판적으로 검토한다. 미어샤이머는 세 가지 주요 제도주의 이론—① 자유주의적 제도주의(liberal institutionalism), ② 집단안보론(collective security), ③ 비판이론(critical theory)—을 평가하면서, 이들이 현실주의(realism)를 비판하는 방식과 논리적 타당성을 분석한다.

현실주의자들은 국제기구가 권력분포의 반영일 뿐이며, 강대국의 이익 계산에 의해 형성된다고 본다. 따라서 제도는 국가 행태에 독립적 영향력을 거의 가지지 못하며, 평화의 원인이 되기보다는 결과에 가깝다. 반면 제도주의자들은 제도가 국가의 선호(preference) 를 변화시켜 상대적 이익 계산(relative gains) 을 약화시키고 협력을 가능하게 한다고 주장한다.

미어샤이머는 이러한 제도주의 주장을 검증하기 위해 다음 네 가지 질문을 제시한다.

1. 제도란 무엇인가?
2. 제도는 어떤 방식으로 평화를 가져오는가?
3. 그 인과 논리는 설득력 있는가?
4. 역사적 증거는 이를 지지하는가?

국제관계학에서 ‘제도(institutions)’는 매우 자주 쓰이지만, 그 의미에 대해 학자들 사이에 통일된 정의가 존재하지 않는다. 일부 학자들은 제도를 너무 포괄적으로 정의해, 사실상 국가 간의 모든 반복적 행위(예를 들어 전쟁, 동맹, 무역 협정, GATT(관세 및 무역에 관한 일반협정) 아래의 관세 협상 등)을 모두 포함시키기도 한다. 이런 식의 정의는 분석적 구분력을 잃게 만든다. 이에 대해 미어샤이머는 보다 좁고 실질적인 정의를 제시한다. 그는 제도를 “국가들이 서로 협력하고 경쟁하는 방식을 규정하는 규칙의 집합(a set of rules that stipulate the ways in which states should cooperate and compete)”이라고 본다. 즉, 제도는 국가 행동의 허용되는 형태(acceptable behavior) 와 금지되는 형태(unacceptable behavior) 를 구분하고, 그 규칙들은 국가 간 협상을 통해 만들어진다. 이런 규칙은 종종 상위 규범(higher norms), 즉, ‘국가가 따라야 할 권리와 의무의 기준(standards of behavior defined in terms of rights and obligations)’ 을 전제로 하며, 주로 국제협정이나 국제기구 형태로 제도화된다.

그러나 미어샤이머는 제도가 세계정부(world government) 처럼 국가를 강제하는 권위를 가지는 것은 아니라고 강조한다. 제도는 어디까지나 국가들이 자발적으로 동의한 규칙의 틀일 뿐이다. 따라서 각국은 자신이 만든 규칙을 따를 수도, 무시할 수도 있다. 이런 의미에서 제도는 “강제력이 없는 주권국가들의 분권적 협력(decentralized cooperation of sovereign states without any effective mechanism of command)”으로 이해된다. 그는 이어서, 국제기구가 실제로 평화를 증진시키는지 평가하기 위해 현실주의(realism) 와의 비교를 먼저 다룬 뒤, 제도주의의 세 가지 주요 이론 ① 자유주의적 제도주의(liberal institutionalism), ② 집단안보론(collective security), ③ 비판이론(critical theory) 이 제시하는 인과 논리와 한계를 각각 분석하겠다고 밝힌다.

현실주의(Realism)는 국제정치를 무정부 상태(anarchy) 속에서 벌어지는 끊임없는 권력 경쟁과 불신의 세계로 본다. 국제체제에는 ‘정부 위의 정부’가 없기 때문에, 각 국가는 스스로의 생존을 보장해야 한다. 모든 국가는 공격 능력(offensive capability) 을 어느 정도 가지고 있고, 타국의 의도(intentions) 를 완전히 신뢰할 수 없기 때문에 불확실성과 두려움이 구조적으로 내재되어 있다. 현실주의의 다섯 가지 가정 ① 무정부 구조, ② 국가의 공격 능력, ③ 타국 의도의 불확실성, ④ 생존이 국가의 최우선 목표, ⑤ 전략적 사고를 하는 합리적 행위자는 국가들이 서로를 경계하고, 불신하며, 상대적 우위를 확보하려는 행동으로 이어진다. 이로 인해 국가는 ‘자조 체제(self-help system)’ 속에서 스스로의 안보를 책임져야 하고, 동맹은 일시적 편의일 뿐이며, 궁극적으로 각 국가는 상대적 권력(relative power) 을 극대화하려는 경향을 보인다. 즉, 협력이 일어날 수는 있지만 언제나 전쟁의 가능성이 배경에 깔린 경쟁 상태가 지속된다.
이러한 세계에서의 협력은 상대적 이익(relative gains) 과 기만(cheating) 에 대한 두려움 때문에 매우 제한적이다. 국가는 단순히 절대적 이익(absolute gains)을 추구하기보다, 상대국이 자신보다 더 큰 이익을 얻지 않도록 신경 쓴다. 또한 협정이 지켜지지 않고 상대가 이를 어길 위험, 특히 군사 분야에서의 배신은 치명적일 수 있기 때문에 신뢰는 형성되기 어렵다. 그럼에도 국가는 공통의 적에 맞서기 위해 일시적으로 협력하거나, 냉전기 미·소 간의 군비통제처럼 현실적 타협을 시도하기도 한다. 그러나 이러한 협력은 근본적으로 권력정치(power politics) 의 산물일 뿐이며, 제도는 그 권력 구조를 반영하는 결과에 불과하다. 현실주의자들은 국제기구(institutions) 역시 강대국이 자신들의 세력 분포를 유지하기 위해 만든 도구라고 본다. 예컨대 나토(NATO) 는 냉전기 유럽의 평화를 유지했지만, 이는 NATO 자체의 힘이 아니라 양극적 세력균형(bipolar balance of power) 덕분이었다는 것이 현실주의의 해석이다. 따라서 소련 붕괴 이후 새로운 세력구조 속에서 NATO가 해체되거나 재편되는 것은 필연적이라는 것이다.

제도주의 이론은 세 가지로 나뉜다. 자유주의적 제도주의는 국가들이 자국 이익을 우선시한다는 현실주의의 전제를 인정하면서도, 제도가 협력을 촉진할 수 있다고 본다. 이 이론은 주로 경제나 환경 분야의 협력을 설명하며, 전쟁 방지보다는 ‘기만(cheating)’ 문제를 제도가 해결할 수 있다는 점에 초점을 둔다. 국가들은 장기적 이익을 위해 단기적 이익을 포기하도록 유도되어야 하며, 이를 위해 제도는 반복적 상호작용, 이슈 연계, 정보 공개, 거래비용 감소 등의 규칙을 통해 배신의 유인을 줄인다. 그러나 군사·안보 영역에서는 배신의 대가가 너무 크기 때문에, 자유주의적 제도주의가 설명할 수 있는 협력의 범위는 제한적이다.

반면 집단안보론은 전쟁을 직접 막는 것을 목표로 하며, 국가가 무력을 통한 현상 변경을 거부하고, 공격국에 맞서 자국 이익을 넘어 집단적으로 대응해야 한다고 주장한다. 또한 국가 간 상호 신뢰와 도움에 대한 확신이 필수적이다. 마지막으로 비판이론은 가장 급진적인 접근으로, 국제정치의 물질적 구조가 아니라 사상과 담론(ideas and discourse) 이 국가 행동을 규정한다고 본다. 따라서 세계정치를 바꾸려면 사람들이 국제정치를 인식하고 말하는 방식을 근본적으로 변화시켜야 한다고 주장하며, 지식인들이 그 변화를 이끌 수 있다고 본다.

미어샤이머는 자유주의적 제도주의의 핵심 논리가 잘못되었다고 지적한다. 이 이론은 국가 간 협력을 방해하는 주요 요인을 ‘기만(cheating)’으로만 보고, 제도가 이를 방지하면 협력이 가능하다고 본다. 그러나 현실에서 협력을 어렵게 만드는 더 큰 요인은 ‘상대적 이익(relative gains)’ 문제다. 국가는 단순히 절대적으로 얼마나 이익을 얻느냐보다, 상대국이 자신보다 더 많은 이익을 얻는지를 중시한다. 왜냐하면 경제력의 격차가 결국 군사력과 권력의 격차로 이어지기 때문이다. 따라서 경제 영역에서도 상대적 이익은 중요하며, 자유주의 제도주의가 현실주의의 기본 전제(무정부 상태·자조체제)를 수용한 이상 이 문제를 회피할 수 없다. 실제로 냉전기 OECD 국가들 간의 경제 협력에서도 협력이 어려웠던 이유는 기만이 아니라 이익 분배의 불균형 때문이었다.

이후 자유주의 제도주의자들은 이론을 보완하려 했지만, 해결책은 현실주의 논리에 기대는 수준에 그쳤다. 파월(Robert Powell)은 공격보다 방어가 유리한 상황(방어적 기술이 우세한 경우)에만 협력이 가능하다고 했고, 스나이달(Duncan Snidal)은 권력이 여러 강대국 간에 고르게 분포된 다극체제에서만 상대적 이익 문제가 줄어든다고 주장했다. 그러나 이런 조건은 현실에서 드물고, 역사적 사례도 부족하다. 또한 제도의 실질적 효과를 보여주는 경험적 증거도 거의 없다. 키오한이 분석한 국제에너지기구(IEA)와 마틴이 연구한 포클랜드 전쟁의 유럽공동체(EC) 사례 모두 제도가 협력을 결정적으로 이끌었다는 증거를 제공하지 못했다. 미어샤이머는 결국 자유주의 제도주의가 이론적으로도 허약하고, 경험적으로도 입증되지 않았으며, 전후 안정성을 설명할 만한 설득력 있는 근거를 제시하지 못한다고 결론짓는다.

미어샤이머에 따르면 집단안보론은 “평화를 어떻게 유지할 것인가”에 직접 답하려는 이론으로, 현실적으로 군사력이 국제정치에서 사라질 수 없다는 점을 인정한다. 그러나 현실주의처럼 ‘힘의 균형’에 의존하기보다, 제도(institution)를 통해 군사력을 관리하고 전쟁을 방지할 수 있다고 본다. 이 이론은 제1차 세계대전 직후 우드로 윌슨(Woodrow Wilson)과 같은 사상가들에 의해 발전되어 국제연맹(League of Nations)의 이념적 토대가 되었다. 집단안보의 목표는 국가들이 “무력으로 현상(status quo)을 바꾸지 않겠다”는 약속을 하고, 침략자가 나타나면 모든 국가가 공동으로 제재하는 것이다. 즉, “한 나라에 대한 공격은 모든 나라에 대한 공격”이라는 원칙 아래, 개별 국가의 이익보다 국제공동체의 평화를 우선시해야 한다는 것이다. 그러나 이 시스템이 작동하려면 세 가지 비현실적인 전제가 필요하다:

1. 대부분의 국가가 전쟁을 포기해야 하고,
2. 자기 이익보다 공동이익을 우선해야 하며,
3. 무엇보다 서로를 신뢰(trust) 해야 한다.

하지만 현실에서는 국가들이 다른 국가의 의도나 행동을 완전히 신뢰할 수 없기 때문에, 이런 이상적인 조건은 성립하기 어렵다.

하지만 미어샤이머는 집단안보론이 “신뢰”에 기반을 두면서도, 그 신뢰가 어떻게 형성되는지를 설명하지 못한다는 점을 가장 큰 결함으로 지적한다. 또한 실제로 집단안보가 작동하려면 여러 비현실적인 조건들이 동시에 충족되어야 한다. 예를 들어, 누가 침략자인지 명확히 판단할 수 있어야 하고, 모든 회원국이 동일한 부담을 져야 하며, 즉각적이고 자동적인 군사 대응이 이루어져야 한다. 그러나 역사적으로 이런 일은 거의 일어나지 않았다. 국제연맹은 1920년대 일부 분쟁을 중재했지만, 만주사변(1931), 이탈리아의 에티오피아 침공(1935) 등 주요 사태에서 모두 실패했다. 냉전 이후 유엔(UN) 역시 쿠웨이트 해방전(1991)을 제외하면 집단안보를 실현하지 못했다. 이에 따라 학자들은 그보다 덜 야심찬 형태인 ‘평화유지(peacekeeping)’나 ‘협조체제(concert)’를 대안으로 제시했지만, 이들 역시 전쟁 억제 효과는 제한적이다. 미어샤이머는 결론적으로, 집단안보론은 이론적으로도 현실적으로도 불완전하며, 실제로는 힘의 균형(balance of power)에 기반한 현실주의적 질서가 여전히 국제정치를 지배한다고 주장한다.

미어샤이머에 따르면 비판이론(critical theory)은 단순히 현실을 설명하는 데 그치지 않고, 국제정치를 근본적으로 변화시켜 ‘평화로운 세계사회(world society)’로 전환시키는 것을 목표로 한다. 비판이론가들은 “신뢰와 공유의 규범(norms of trust and sharing)”에 기반한 세계를 만들고자 하며, 궁극적으로 전쟁과 안보 경쟁을 역사 속으로 사라지게 하려 한다. 그들의 핵심 전제는 ‘아이디어(ideas)와 담론(discourse)이 현실을 형성한다’는 것이다. 다시 말해, 사람들이 세계를 어떻게 생각하고 말하느냐가 실제 국가의 행동을 바꾼다는 주장이다. 현실주의가 지난 700년간 국제정치의 지배적 패러다임이었기 때문에 현실의 국가들도 그 ‘현실주의적 사고방식’을 따르게 되었지만, 비판이론은 이를 해체하고 새로운 사유방식으로 대체하려 한다. 알렉산더 웬트(Alexander Wendt)가 말했듯이, “무정부(anarchy)는 국가들이 그것을 어떻게 인식하느냐에 따라 달라진다.” 따라서 국가가 더 이상 자신을 ‘자조적 행위자(self-help actor)’로 보지 않고, 상호의존적 공동체의 일원으로 인식하게 되면, 국제정치는 경쟁이 아닌 협력과 평화로 재구성될 수 있다는 것이다. 이런 변화는 ‘구성적 담론(intersubjective discourse)’과 ‘규범의 재정의’를 통해 이뤄질 수 있으며, 현실주의가 강조하는 물질적 구조나 무정부 상태는 인간의 인식과 언어가 만든 사회적 산물에 불과하다고 본다.

하지만 비판이론은 “국가 행태의 근본적 변화를 설명하려 하지만, 그 변화가 어떻게, 왜 일어나는지에 대한 인과 논리가 매우 불완전하거나 모순적”이다. 이론에 따르면 담론의 변화가 국가행동을 바꾼다고 하지만, 왜 어떤 담론은 지배적이 되고(realism처럼), 어떤 담론은 사라지는지에 대해 구체적인 설명이 없다. 게다가 비판이론가들이 현실주의의 몰락을 설명할 때조차, 경제 위기나 냉전 종식 같은 객관적·물질적 요인(material factors) 을 근거로 든다는 점에서 자신들의 “사회구성주의적” 전제를 스스로 위배하고 있다고 지적한다. 미어샤이머는 또한 비판이론이 미래를 예측할 수 없다고 스스로 인정하면서도, 동시에 더 평화로운 ‘공동체적 담론’이 등장할 것이라 기대하는 것은 이론이 아닌 희망(wishful thinking)에 가깝다고 말한다. 역사적 경험 역시 비판이론을 뒷받침하지 않는다. 중세 봉건체제(800~1300년)나 냉전 이후의 국제질서 모두 여전히 현실주의적 권력정치의 논리로 움직였기 때문이다. 그는 고르바초프의 ‘신사고(new thinking)’나 냉전 종식이 국제정치의 근본적 변화를 의미하지 않는다고 보며, 러시아가 다시 전통적 강대국 행동을 보이는 현실이 이를 입증한다고 주장한다. 결론적으로, 비판이론은 국제정치를 이상적으로 재구성하려는 야심찬 시도이지만, 변화를 설명하는 논리가 모호하고, 경험적 근거도 부족하며, 여전히 현실주의의 강력한 설명력 아래 머물 수밖에 없다고 평가한다.

미어샤이머는 많은 정책결정자들과 학자들이 국제 제도가 평화를 가져올 수 있다고 믿지만, 이는 근거 없는 낙관이라고 주장한다. 자유주의 제도주의, 집단안보론, 비판이론 모두 인과 논리와 실증적 근거가 약하며, 실제로 제도가 국가의 행동에 독립적인 영향을 미친 사례는 거의 없다고 본다. 그럼에도 불구하고 제도주의가 여전히 미국에서 영향력 있는 이유는, 그것이 현실주의(realism)와 대립하면서도 미국의 자유주의적 이상주의 가치관 (진보, 도덕, 협력에 대한 믿음) 과 맞닿아 있기 때문이다. 현실주의가 인간의 본성을 비관적으로 보고, 전쟁을 정치의 연장으로 이해하며, 국가 간 도덕적 구분을 인정하지 않는 반면, 제도주의는 이러한 냉정한 세계관을 거부하고 “협력을 통해 전쟁 없는 세계를 만들 수 있다”는 희망을 제시한다.
하지만 미어샤이머는 이러한 신념이 위험한 자기기만이라고 경고한다. 국제체제는 여전히 국가 간 힘의 경쟁과 자조적 행동에 의해 작동하며, 제도에 대한 잘못된 신뢰는 현실정책의 실패로 이어질 수 있다. 그는 그 예로 국제연맹이 1930년대 독일과 일본의 침략을 막지 못한 사례, 유엔이 1990년대 보스니아 전쟁을 제어하지 못한 사례를 든다. 결국 “제도가 중요하다고 믿는 잘못된 믿음(false faith in institutions) 이 더 큰 해악을 낳았다”며, 국제정치의 핵심 동인은 여전히 권력(power)과 이해관계(interests) 라는 현실주의적 질서임을 강조한다.