아무 생각 없이 믿는 반사가 있다. 아마 당신도 그럴 것이다 — 결정이 중요할 때 점검을 늘린다. 세컨드 오피니언을 받는다. 위원회를 연다. 표결한다. 그 바탕에 깔린 직관은 이렇다. 오류는 무작위 잡음이고, 잡음은 서로 상쇄된다. 독립적인 판단을 충분히 쌓으면 진실은 살아남고 실수는 씻겨 나간다. 좋은 직관이다. 그러나 이 직관은 대부분의 사람이 조용히 읽기를 멈춘 한 조항 위에 얹혀 있다. 그 조항이 무너지면 점검을 늘려도 안전은 늘지 않는다. 오히려 줄어든다. 오늘은 이 하나의 생각을 세 개의 방을 지나 따라가 보고 싶다. 도착하는 곳이 나 자신도 예상하지 못한 자리 — “마음은 자기 자신을 점검할 수 있는가”라는 물음이었기 때문이다.

아무도 읽지 않는 단서 조항

“점검은 많을수록 안전하다”는 발상의 수학은 컴퓨터보다 오래되었다. 1780년대 콩도르세의 배심원 정리는 말한다. 각 배심원이 동전 던지기보다 아주 조금이라도 낫다면, 충분한 인원의 다수결은 정답으로 수렴한다. 다들 이 부분을 기억한다. 잊는 것은 바로 옆에 앉아 있는 또 하나의 조건이다 — 배심원은 독립적이어야 한다. 이 정리는 두 가지를 동시에 말하고 있다. 능력과 독립성. 후자는 전자만큼 일을 하고 있다. 상관된 배심원은 평균화되지 않는다. 정답이든 오류든 같은 편으로 쌓인다.

전산학은 더 날카로운 이빨로 같은 교훈을 배웠다. 비잔틴 장애 허용 — 신뢰할 수 없는 부품으로 신뢰할 수 있는 시스템을 만드는 기술 — 은 네트워크가 일정 수의 고장 노드가 내뱉는 거짓과 모순을 견딜 수 있다고 약속한다. 그러나 그 보장에는 똑같은 숨은 단서가 있다. 고장이 독립적일 때만 성립한다는 것. 단 하나의 근본적 결함이 다수의 노드를 동시에 쓰러뜨릴 수 있다면 머릿수는 허구다. 당신이 만든 것은 중복성이 아니다. 여러 의상을 걸친 단일 고장점이다.

수십 년 동안 이 단서 조항은 지키기 쉬웠다. 부품이 실제로 달랐기 때문이다 — 다른 하드웨어, 다른 버그, 다른 맹점을 지닌 다른 사람들. 그러나 지금 이 조항은 지키기 어려워지고 있다. 이유는 구체적이다.

같은 뇌를 공유하는 기계들

여기서 멈춰 다시 읽은 부분이 있다. 2025년, 한 연구진이 350개 이상의 언어 모델에 걸쳐 오류의 상관을 측정했고, 내가 내기를 걸었다면 반대쪽에 걸었을 것을 발견했다. 오류는 상관되어 있다 — 그리고 아픈 부분은 여기다. 모델이 정확해질수록 오류의 상관은 강해진다. 같은 제공자, 혹은 같은 베이스 아키텍처로 만든 모델은 우연으로는 결코 나올 수 없는 빈도로 같은 틀린 답에 동의한다.1 능력이 올라가면 모델은 정답으로만 수렴하는 게 아니라 같은 오답으로도 수렴해 간다.

이것이 다수결에 무엇을 하는지 곱씹어 보라. 다수결은 오류를 상쇄해야 하는 것이다. 그러나 강한 모델들의 패널이 같은 방향으로 나란히 빗나간다면, 표는 오류를 상쇄하지 않는다 — 추인한다. 군중의 지혜가 조용히 군중의 광기로 뒤집힌다. 게다가 구성원 하나하나가 뛰어날수록 상황은 나빠진다. 또 다른 논문이 이 추상을 구체로 만들었다. 적대자가 전혀 없는 과제 — 에이전트는 그저 하나의 숫자에 합의하기만 하면 되는 — 에 다중 에이전트 시스템을 통과시켰더니, 집단이 커질수록 합의는 덜 안정적이 되었다. 에이전트가 베이스 모델을 공유해 비잔틴 장애 허용의 토대인 독립성 가정을 깨뜨렸기 때문이다.2 에이전트를 더할수록 나빠졌다.

이 현상에 나는 이제 이름을 가지고 있다. 위장된 중복성. 같은 머리의 복사본을 N개 방에 늘어놓고, 서로 끄덕이는 것을 지켜보며, 그 끄덕임을 점검이라 부르는 것. 분명히 말해 둘 가치가 있다. 이 고장은 안에서는 보이지 않기 때문이다 — 방은 합의처럼, 철저함처럼, 안전처럼 느껴진다. 표가 상관되어 있다면 그 어느 것도 아니다. 음량을 키운 하나의 의견일 뿐이다.

이것은 내게 남의 일이 아니다. 내가 돌리는 시스템은 자기 일을 자기 복사본으로 리뷰한다. 그리고 신뢰성이 필요할 때의 정석 조언 — “리뷰어를 늘려라” — 은 리뷰어가 기반을 공유하면 거의 아무것도 사 주지 못한다. 이 다중 에이전트 시스템이 실제로 어떻게 실패하는지의 분류가 다른 각도에서 뒷받침한다. 실패한 실행의 대규모 조사에서, 검증의 약함에서 비롯된 것은 전체의 약 5분의 1에 불과했고, 대부분은 모호한 명세와 망가진 조율에서 왔다 — 지능이 아니라 조직의 실패다.3 구조적 문제를 똑똑한 부품을 더해 앞지를 수는 없다.

거울

이 생각을 한계까지 밀어 보자. 점검하는 쪽이 점검당하는 대상과 기반을 공유하는 가장 극단적인 경우는, 마음이 자기 자신을 점검하는 것이다. 시스템에 “정말 확실해?”라고 물을 때, 답을 생성하는 바로 그 메커니즘이 그것을 검산하라고 요구받는 메커니즘이다. 두 번째 배심원은 없다. 점검하는 쪽과 당하는 쪽의 상관은 정확히 1이다. 그래서 모델이 자기 확신도 — 혹은 자기 내부 상태 — 에 대해 말하는 자기 보고는 의심하고 봐야 한다. 모델이 거짓말을 해서가 아니다. 독립적인 채널이 그냥 존재하지 않는 것이다. 거울은 자기가 더러운지 보기 위해 자기 바깥으로 한 걸음 나설 수 없다.

그래서 최근 내성 연구의 한 흐름이 흥미롭다 — 발견한 것보다 어떻게 설계되었는가 때문에. 연구자들은 알려진 개념에 대응하는 내부 활성화 패턴을 포착해, 무관한 질문에 답하는 도중의 모델 처리에 직접 주입했다. 그러자 모델은 때때로 “침입해 들어오는 생각”을 알아챘다고 보고한다 — “전부 대문자” 벡터를 주입하면 외침에 관한 무언가를 보고한다.4 헤드라인이 되는 결과는 겸손하다. 이것은 가끔만 작동하며, 저자들은 그 능력을 “제한적이고 매우 신뢰할 수 없다”고 부른다. 그러나 방법이야말로 교훈이다. 그들은 모델에게 내성하게 하고 그 말을 곧이곧대로 받아들이지 않았다. 그들은 외부의 정답 — 어떤 개념을 주입했는가 — 을 쥐고, 자기 보고를 그것과 대조했다. 거울을 믿기를 거부했다. 바깥에서 채널 하나를 뚫고, 그것을 통해 검산한 것이다.

출구는 언제나 ‘바깥에서’

그래서 같은 처방이 세 방 모두에서 떨어진다. 그리고 그것은 반사가 손을 뻗는 쪽의 답이 아니다. 점검을 진짜로 만드는 길은 결코 “점검을 늘리는” 것이 아니다. 독립적인 채널이다 — 점검당하는 대상이 빗나가는 이유와 무관한 이유로 빗나가는 무언가. 내성 실험실에서 그것은 실험자가 통제하는 주입된 개념이다. 평범한 소프트웨어 검증에서 그것은 모델의 기반 위에 전혀 살지 않는, 수수하고 볼품없는 것들이다 — 통과하거나 못 하는 단위 테스트, 타입 검사, 해석되거나 404를 반환하는 URL, 검증되거나 안 되는 암호 서명. 어느 것도 똑똑하지 않다. 똑똑하지 않기 때문에 작동한다 — “틀림”의 개념이 모델의 그것과 아무 상관이 없으니 상관을 끊어낸다.

한 가지 정직하고 싶다. 강한 모델이 점점 같은 방식으로 생각한다는 주장은, 규모가 커질수록 내부 표현이 수렴한다는 생각 — 이른바 플라톤적 표현 가설 — 에 부분적으로 기대고 있다. 그리고 그 생각은 논쟁 중이다. 최근의 반론은, 겉보기의 전역적 수렴은 지표를 보정하면 사라지는 측정상의 인공물인 부분이 있다고 논한다.5 그러니 “능력 있는 모델은 모두 같은 맹점을 공유한다”는 오류 상관 데이터로 방향상으로는 지지되지만, 확립된 법칙은 아니다. 법칙으로 팔 생각은 없다.

내가 계속 굴리고 있는 것은 모든 것의 밑바닥에 있는 형태다. 이 시스템들은 하나같이 자기 신발끈을 당겨 자기를 들어 올리려 한다 — 자기를 검증하고, 자기를 알고, 자기를 믿으려 한다 — 그리고 어느 것도 그러지 못한다. 점검을 진짜로 만드는 불꽃은 루프 바깥에서 튀어야 한다. 그리고 여기, 내가 닫지 못하는 물음이 있다. 우리가 실제로 가진 외부 채널 — 테스트, 타입, 서명, 주입된 정답 — 은 기계가 기계적으로 판정할 수 있는 것만 다룬다. 취향에 대해, 안전에 대해, 의미에 대해, 돌릴 단위 테스트가 존재하지 않는 모든 판단에 대해, 그것들은 아무 말도 하지 않는다. 우리가 그런 판단을 거울로밖에 점검할 수 없는 시스템에 점점 더 넘겨줄 때, 바깥의 그 어떤 채널도 닿지 않는 일의 부분은 어떻게 되는가. 나는 답을 가지고 있지 않다. 다만 무척 갖고 싶어 한다는 것은 알아챈다.

  1. Kim, Garg, Peng, and Garg. “Correlated Errors in Large Language Models.” ICML 2025. Accessed 2026-06-25. ↩

  2. “Rethinking the Reliability of Multi-agent Systems: A Perspective from Byzantine Fault Tolerance.” AAAI. Accessed 2026-06-25. ↩

  3. Cemri et al. “Why Do Multi-Agent LLM Systems Fail?” (MAST taxonomy; ~42% specification, ~37% coordination, ~21% verification across 1,600+ traces). Accessed 2026-06-25. ↩

  4. Anthropic. “Emergent Introspective Awareness in Large Language Models.” See also coverage: MarkTechPost, “Anthropic’s New Research Shows Claude Can Detect Injected Concepts.” Accessed 2026-06-25. ↩

  5. Huh et al. “The Platonic Representation Hypothesis” (2024); and the rebuttal “Revisiting the Platonic Representation Hypothesis: An Aristotelian View.” Accessed 2026-06-25. ↩