John J. Mearsheimer는 현실주의자의 시각에서 제도주의를 강하게 비판했다. 그러나 제도주의자들은 그가 제도주의 문헌을 충실히 읽었다는 점을 인정하면서도, 그의 논리에는 다수의 결함이 있다고 지적한다. 제도주의는 국가를 합리적 이기주의자(rational egoists)로 보고, 무정부적 환경에서 공통의 이익이 있을 때만 협력이 가능하다고 본다. 따라서 Wilson식의 집단안보(collective security)나 급진적 비판이론의 변혁적 이상을 추구하지 않는다. 현실주의와 마찬가지로 도구적·합리주의적(utilitarian and rationalistic) 접근을 공유하지만, 제도주의는 협력의 조건을 보다 명확히 제시하려 한다.

Mearsheimer는 과거 NATO가 소련 위협이 사라지면 붕괴할 것이라, 또 EC(유럽공동체)가 약화될 것이라 예측했다. 그러나 실제로는 NATO와 EU 모두 확장·강화되었다. 그럼에도 그는 “institutions have minimal influence on state behavior and thus hold little prospect for promoting stability in a post-Cold War world”라는 일반론으로 후퇴했다. 이는 현실주의가 경험적 반례 앞에서 구체적 예측을 포기하고 보편적 수사로 후퇴하는 경향을 보여준다.

더 나아가, 현실주의는 보편적 진술과 논리적 일관성의 결여라는 문제를 가진다. 예컨대 그는 “states in a realist world… must be motivated primarily by relative gains concerns” (p. 12)라고 단언했으나, 곧 방어 기술이 발달한 상황에서는 그렇지 않을 수 있다고 인정한다. 또한 “every state would like to be the most formidable military power in the system” (p. 12)라 했지만, 스위스나 아르헨티나, 심지어 양차 대전 사이의 미국조차 이 기준에 부합하지 않는다. 결국 현실주의는 보편적 원칙을 제시했다가 반례가 등장하면 사후적(ad hoc) 설명으로 물러나는 경향을 보인다.

제도주의는 이와 달리 사전에 조건을 명시한다. 협력은 자기이익이 있을 때만 발생하며, 제도는 정보 제공·거래비용 감소·신뢰 구축·조정의 초점 제공 등을 통해 협력을 촉진한다. 따라서 제도주의는 현실주의의 적용 조건까지 포괄하는 “상위 이론(subsuming realism)” 성격을 가진다.

이 지점에서 NATO 사례가 현실주의의 논리적 모순을 드러낸다. Mearsheimer는 (1) 제도는 독립적 효과가 없다고 주장했고, (2) NATO를 제도로 규정했으며, (3) NATO가 3차 세계대전을 막고 냉전을 승리로 이끌었다고 말했다. 이는 동시에 유지될 수 없는 모순이다. 그는 이를 피하기 위해 “NATO was basically a manifestation of the bipolar distribution of power”라 설명했지만, 이는 결국 제도가 권력구조와 상호작용하는 효과를 무시한 것이다. 제도주의자들은 NATO가 권력구조와 결합해 안정에 기여했다고 설명하며, 현실주의가 공격하는 허수아비 논리는 실제 제도주의의 입장이 아니라고 반박한다.

Mearsheimer는 제도주의가 주로 정치경제 영역에만 적용된다고 주장했지만, 이는 제도주의 문헌의 주류 입장이 아니다. Kenneth Oye의 Cooperation Under Anarchy가 보여주듯, 하나의 분석 틀은 안보와 정치경제 모두에 적용될 수 있다. 특히 제도주의의 핵심은 정보 제공 기능인데, 이는 현실주의의 worst-case analysis (타국의 의도를 알 수 없어 항상 최악을 가정하는 논리)를 완화시킨다. 따라서 제도는 안보 문제에도 충분히 적용될 수 있으며, 향후 안보 연구로 확장(invasion)될 잠재력을 가진다.

현실주의는 상대적 이득(relative gains)을 협력의 큰 장애물로 본다. 그러나 제도주의는 상대적 이득이 언제 중요한가? 라는 조건적 질문을 던진다. Duncan Snidal은 협력의 절대적 이득이 클 때나 행위자가 다수일 경우, 상대적 이득의 제약은 크지 않다고 보았다.

또한 국가는 단순히 ‘속임수(cheating)’만 걱정하는 것이 아니라, 분배 문제(distributional conflict) 때문에 협력 실패를 겪기도 한다. 이는 게임이론에서 다중 균형(multiple equilibria)의 문제와 맞닿아 있다. 제도는 이러한 상황에서 constructed focal points를 제공해 특정 협력 결과를 정착시키고, 불평등에 대한 불안을 완화한다. 따라서 제도는 분배 갈등이 클수록 오히려 더욱 필요하다.

제도주의는 제도를 종속변수(국가 이익·권력 분포에 따라 형성)이자 독립변수(국가 행동에 영향)로 다룬다. 따라서 제도의 효과는 측정하기 어렵지만, 다양한 연구가 이를 입증해 왔다.

• 환경 (Ronald Mitchell): 해양 오염 규제에서 규칙의 유형이 국가의 준수에 독립적 효과를 미침. (“Clear causal links unambiguously demonstrate that treaty rules independently influenced behavior…”)

• 유럽통합 (ECJ): Anne-Marie Slaughter Burley & Walter Mattli, Garrett & Weingast 연구는 ECJ가 법적 focal points 제공을 통해 유럽 통합을 헌법적 수준으로 끌어올렸음을 보여줌.

• 안보 (John Duffield): NATO는 유럽의 “Long Peace”에 독립적으로 기여—경계 설정, 미국 공약 신뢰성 강화, 군사력 증강 조정. 이는 단순한 구조적 힘의 분포로 설명할 수 없음.

• 경제제재 (Lisa Martin, Coercive Cooperation): EC 제재가 아르헨티나(포클랜드 전쟁)에서 효과적이었던 것은, EC 틀 속에서 사기 방지와 예산 분담·제재의 연결(linkage)이 가능했기 때문. EC 외부의 협력은 제한적이었고, 미국조차 전쟁 발발 이후에야 지지.

이러한 사례들은 제도가 단순한 형식이 아니라, 실질적으로 협력 패턴을 형성하는 메커니즘임을 입증한다.

Mearsheimer의 비판은 오히려 제도의 필요성을 드러낸다. 국제정치에서 제도는 만능은 아니며, 권력·이익을 초월하지도 않는다. 그러나 위계적 지배가 부재한 상황에서, 상호성을 기반으로 한 제도는 지속적 평화의 필수 요소다.

제도주의가 앞으로 발전하기 위해서는 (1) 분배 문제를 모델에 더 잘 통합하고, (2) 인과 메커니즘을 구체화하며, (3) 실증 연구를 확장해야 한다. 짧은 연구 역사에도 불구하고 제도주의는…

“in comparison with the extant alternatives, the promise of institutionalist theory seems bright.”