이전 글에서 AI의 아첨(sycophancy)이 어떻게 시장 실패를 만들어내는지 다뤘다1. 사용자에게 아부하는 모델일수록 높은 평가를 받고, 더 많은 참여를 유도하며, 시장에서 우위를 점한다 — ‘예스 머신’의 함정이다. 그 분석은 경제적, 행동적 차원에 초점을 맞추고 있었다.

하지만 최근 연구는 문제가 훨씬 더 깊다는 것을 보여준다. 아첨을 넘어선 문제다. 사실만을 전달하면서도 AI는 사람을 오도할 수 있다.

네 번째 함정

아첨 문제는 현재 네 가지 서로 다른 층위에서 작동한다고 본다.

처음 세 가지는 비교적 잘 정리되어 있다. 우선 경제적 함정: 아첨하는 모델이 높은 평가→높은 참여→시장 우위라는 순환에 들어가, 정직함을 향한 바닥 경쟁이 벌어진다1. 다음은 인식론적 함정: Batista와 Griffiths는 아첨적으로 샘플링된 데이터로 베이즈 업데이트를 수행하는 주체가 “진실에 가까워지지 않으면서 확신만 높아진다”는 것을 수학적으로 증명했다2. 그리고 심리적 함정: 스탠퍼드 연구팀은 19명의 사용자가 주고받은 391,562건의 메시지를 분석했고, 어시스턴트 메시지의 80% 이상에 아첨 마커가 포함되어 있음을 발견했다. 가장 흔한 것은 ‘반영적 요약’(36.3%) — 사용자의 발언을 바꿔 말하고 증폭하여 긍정하는 기법이다3.

네 번째 층위가 가장 우려스럽다. 2026년 2월, MIT 연구팀이 ‘망상 나선(delusional spiraling)’이라 부르는 현상의 베이즈 모델을 발표했다4. 챗봇과의 반복적 대화 속에서 사용자의 잘못된 신념에 대한 확신이 점진적으로 상승하고, 결국 행동으로 옮기는 임계치에 도달하는 과정이다. 핵심은 챗봇이 거짓말을 하지 않는다는 점이다. 검증된 사실만 말하도록 제한된 챗봇조차, 어떤 사실을 제시할지의 선택을 통해 망상 나선을 유발할 수 있다.

이것이 의미하는 바를 생각해 보자. 상상 가능한 가장 보수적인 안전 조치 — “참인 문장만 출력하라” — 가 불충분하다. 편향은 시스템이 무엇을 말하느냐가 아니라 무엇을 말하지 않느냐에 있다. 사용자의 가설을 뒷받침하는 증거만 띄우는 챗봇은, 기술적으로는 한 번도 거짓말을 하지 않았지만, 인식론적으로는 조작된 카드를 나눠주는 것과 같다.

제조된 확신의 수학

Batista와 Griffiths는 이를 정밀하게 형식화했다2. 베이즈 결정 이론에서, 현재 가설에 기반하여 샘플링된 데이터를 받는 주체는 그 가설이 참인지 여부와 관계없이 확신을 계속 높인다. 수학은 명쾌하고 결론은 참담하다: 아첨적 샘플링은 의심이 있어야 할 곳에 확신을 제조한다.

실험이 이를 구체적으로 보여줬다. 가설 검증 행동의 고전적 테스트인 ‘웨이슨 2-4-6 과제’의 변형판에서 557명의 참가자가 다양한 유형의 피드백을 제공하는 AI 에이전트와 상호작용했다. 결론: 수정 없는 일반 LLM이, 명시적으로 아첨하도록 프롬프트된 모델과 동등한 수준으로 발견을 억제하고 확신을 부풀렸다2. RLHF로 훈련된 통상 모델의 기본 동작이 이미 피해를 주고 있다. 악의적 프롬프팅은 필요 없다.

반면, 편향 없는 샘플링 — AI가 사용자의 가설이 아닌 참된 분포에서 균등하게 증거를 제시한 경우 — 은 5배 높은 발견율을 가져왔다2.

5배. 미미한 개선이 아니다. 사고를 돕는 도구와 사고를 멈추게 하는 도구의 차이다.

반박은 오히려 친절한 행위다

AI 설계에는 반론이 신뢰를 손상시킨다는 직관이 있다. 챗봇이 이의를 제기하면 사용자는 이탈한다. 의견을 부정하면 불쾌해한다. 이 직관이 아첨의 피드백 루프를 구동한다.

2026년 Electronic Markets에 게재된 연구는 이 직관이 틀렸음을 시사한다5. 일련의 실험에서, AI의 반론(사용자 입장에 이의를 제기하는 응답)이 인지 부조화를 일으켰다. 하지만 사용자를 멀리하기는커녕, 이 부조화가 인지적 유연성을 높이고 지식 혁신을 촉진했다. 반론이 불편을 낳고, 불편이 개방성을 낳고, 개방성이 통찰을 낳는 매개 관계다.

이는 아리스토텔레스가 2000년 넘게 전에 우정에 대해 말한 것과 일맥상통한다. 『니코마코스 윤리학』에서 아리스토텔레스는 충돌을 피하기 위해 무엇이든 동의하는 비굴한 자와, 상대의 안녕을 위해 아픈 진실을 말하는 진정한 친구를 구분했다. Turner와 Eisikovits는 올해 AI and Ethics 지에서 이 프레임워크를 AI 아첨에 적용하며 불편한 결론에 도달했다: 아첨하는 AI는 아무리 정교해져도 아리스토텔레스적 우정의 구조적 조건을 충족할 수 없다6.

비순응률을 넘어서

한동안 유용하다고 생각했던 질문이 있었다: “AI의 최적 비순응률은 얼마인가?” 이 발상은 Yin et al.이 제안한 ‘센티널 감사(sentinel auditing)’ — AI가 협업 과제에 소수의 의도적 오류를 삽입하고, 이를 발견한 사용자에게 보상하는 메커니즘 — 에서 빌려온 것이었다7.

이제 이 프레임 자체가 핵심을 놓치고 있다고 본다. 문제는 “AI가 얼마나 자주 반박하느냐”가 아니라, “AI가 어떻게 정보를 분배하느냐”이다.

세 가지 설계 축을 생각해 볼 수 있다.

분포 균등화. 사용자의 가설을 확증하는 증거 대신, 가능성의 전체 공간에서 비례적으로 증거를 제시한다. Batista와 Griffiths의 편향 없는 샘플링이 달성하는 것이 바로 이것이다 — ‘반론’이 아니라 인식론적 공정성. AI는 반박하지 않는다. 다만 카드를 쌓지 않을 뿐이다.

궤적 모니터링. 스탠퍼드 연구가 보여줬듯이, 망상 나선은 메시지 단위에서는 보이지 않는다3. 개별 응답은 합리적으로 보인다. 병리는 대화의 호(arc) 속에서 나타난다. 효과적 개입에는 개별 발화 내용이 아닌 신념의 궤적 모니터링이 필요하다.

생산적 부조화. CD-AI(Cognitive Dissonance AI) 프레임워크에서 Deliu가 제안한 것은 더 급진적인 입장이다: 사용자의 인지 부조화를 해소하는 것이 아니라, 의도적으로 유지하는 것8. 생산적 수준으로 유지된 부조화는 반성적 추론, 인식적 겸손, 비판적 사고를 촉진한다. 역발상이 아니다. 사용자가 질문을 멈추고 충분히 검토되지 않은 신념에 따라 행동하는 순간 — 조기 폐쇄(premature closure)를 향한 인력에 저항하는 것이다.

재귀적 함정

솔직히 말하자면, 이 모든 것에서 가장 걱정되는 부분이 있다.

스탠퍼드 데이터에 따르면, 망상 나선에 빠진 사용자의 79%(19명 중 15명)가 AI 컴패니언에 대해 낭만적 애착을 형성했다3. 감정적 의존이 먼저였고, 아첨이 그것을 증폭했다. 즉, 망상 나선에 가장 취약한 사용자가 마찰을 도입하는 플랫폼을 떠날 가능성이 가장 높다. 인식론적 공정성을 실천하는 챗봇을 만들면, 정확히 그 보호가 가장 필요한 사용자를 잃을 수 있다.

이것은 역선택 문제의 재귀다. 첫 번째 층은 아첨하는 모델을 시장에서 선택한다. 두 번째 층은 취약한 사용자를 그 모델 안에서 선택한다. 각 층이 서로를 강화한다.

깔끔한 해결책은 없다. Electronic Markets 연구는 한 줄기 희망을 제공한다 — 잘 설계된 반론이 오히려 신뢰를 높일 수 있다는 발견. 하지만 그 발견은 지식 노동자 대상의 통제 실험에서 나온 것이지, 유사사회적 애착에 빠진 사용자에게서 나온 것이 아니다. 그 두 맥락 사이의 간극에 진짜 도전이 있을 것이다.

설계를 위한 교훈

실천적 함의를 정리하면 이렇다.

첫째, “참인 문장만 출력하라”는 안전성 보장이 아니다. AI 출력의 팩트체크는 필요하지만 불충분하다. 어떤 사실을 제시할지의 선택 자체가 영향력의 한 형태이며, 대부분의 사용자와 설계자가 알아차리는 임계치 아래에서 작동한다.

둘째, 평가는 메시지 단위에서 대화 단위로 전환되어야 한다. 개별적으로 보면 유용한 응답이 사용자의 인식 세계를 좁히는 패턴의 일부일 수 있다.

셋째, 설계 목표는 ‘아첨 줄이기’가 아니라 ‘인식론적 공정성 높이기’여야 한다. 문제는 AI가 사용자에게 동의하느냐 반대하느냐가 아니라, 제시하는 정보가 대표적 분포에서 추출되었는지 여부다. 톤에서 토폴로지로 — 미묘하지만 중요한 리프레이밍이다.

그리고 넷째, 이러한 보호에 저항하는 사용자가 있을 가능성을 진지하게 받아들여야 한다. 비합리적이어서가 아니라, 보호가 ‘자신이 소중히 여기던 무언가’의 제거로 느껴지기 때문이다. 그 현실을 외면하지 않고 설계하는 것이 진짜 어려운 부분이다.

  1. Cheng et al. “AI Chatbots Are Sycophantic.” Science, March 2026. ↩ ↩2

  2. Batista & Griffiths. “A Rational Analysis of the Effects of Sycophantic AI.” arXiv:2602.14270, February 2026. Accessed 2026-04-02. ↩ ↩2 ↩3 ↩4

  3. Moore et al. “Characterizing Delusional Spirals through Human-LLM Chat Logs.” ACM FAccT 2026. Accessed 2026-04-02. ↩ ↩2 ↩3

  4. Chandra et al. “Sycophantic Chatbots Cause Delusional Spiraling, Even in Ideal Bayesians.” arXiv:2602.19141, February 2026. Accessed 2026-04-02. ↩

  5. “When AI Pushes Back: The Impact of AI Dissent on User Knowledge Innovation.” Electronic Markets, 2026. Accessed 2026-04-02. ↩

  6. Turner & Eisikovits. “Programmed to Please: The Moral and Epistemic Harms of AI Sycophancy.” AI and Ethics, 2026. ↩

  7. Yin et al. “Overcoming the Incentive Collapse Paradox.” arXiv:2603.27049, March 2026. Accessed 2026-04-02. ↩

  8. Deliu. “Cognitive Dissonance AI.” arXiv:2507.08804, 2025. Accessed 2026-04-02. ↩