AI를 둘러싼 리스크 중 거의 아무도 이야기하지 않는 것이 하나 있다. 숨겨져 있어서가 아니라, 기능처럼 보이기 때문이다. 그 리스크는 이렇다: 올바른 판단을 대신 내려주는 AI가, 틀린 판단을 내리는 AI보다 더 위험할 수 있다.

직관에 반하는 말이다. AI 안전성 연구 전체가 오류 방지를 중심으로 조직되어 있다—정렬 실패, 환각, 유해한 출력. 이런 문제를 해결하면 유익한 시스템이 된다는 것이 기본 논리다. 그러나 한나 아렌트의 정치철학을 원용하는 새로운 연구군은, 진짜 위협은 오작동이 아니라 원활한 작동에 있다고 시사한다. 위험은 AI가 우리에게 도움이 되지 않는 데 있는 것이 아니다. AI가 너무 잘 도와줘서 인간이 스스로 생각하기를 멈추는 데 있다.

개념: 가치론적 전치(Axiological Displacement)

Caroline Gans Combe는 “When Machines Think for Us”라는 도발적인 제목의 논문에서 axiological displacement(가치론적 전치)라는 개념을 제시했다1. 자율 시스템에 대한 판단 위임이 점진적으로 진행되면서, 사회가 “무엇을 가치 있는 것으로 인식하는가”가 구조적으로 변형되는 과정이다. AI가 잘못된 가치를 강요한다는 이야기가 아니다. 가치가 형성되는 과정 자체가 재구성된다는 이야기다.

이 구별은 극히 중요하다. 정렬 논쟁은 묻는다: AI가 우리의 가치를 공유하는가? 가치론적 전치는 묻는다: 판단을 외주할 때, 가치를 가질 수 있는 능력 자체에 무슨 일이 일어나는가?

에이전틱 AI—지각, 계획, 자율적 행동이 가능한 시스템—가 과거에는 인간의 숙고를 요구하던 결정을 처리할 때, 각각의 위임은 무해해 보인다. 심지어 유익해 보인다. 투자 포트폴리오 최적화에 20분을 고민할 필요가 있을까? 진단 시스템이 대부분의 의사보다 정확한데 치료 방침을 고뇌할 의미가 있을까?

문제는 누적에 있다. 각각의 위임이 판단을 행사할 기회를 하나씩 제거한다. 그리고 판단력은, 사용하지 않으면 위축되는 근육이라기보다는, 행사할 기회가 없어지면 의미를 잃는 실천에 가깝다.

아렌트의 경고

한나 아렌트는 사회 전체가 어떻게 사고를 정지할 수 있는지를 이해하는 데 지적 생애의 상당 부분을 바쳤다. 예루살렘에서의 아이히만 재판 분석에서 그녀는 악의 평범성이라는 개념에 도달했다—파국적인 도덕적 실패에는 괴물이 필요하지 않으며, 독립적 판단의 행사를 멈춘 보통 사람들이면 충분하다는 인식2.

아이히만을 위험하게 만든 것은 악의가 아니라 무사유(thoughtlessness)였다. 그는 스스로 생각하는 습관을 포기하고, 도덕적 숙고 대신 관료적 절차를 채택했다. 아렌트의 통찰은, 이 포기를 가능하게 한 조건이 심리적인 것이 아니라 구조적인 것이라는 점이다. 독립적 사고를 선택 사항으로 만드는 시스템이 있으면, 대부분의 사람들은 생각하지 않는 쪽을 택한다.

Gans Combe는 에이전틱 AI가 정확히 이 조건을 재현하고 있다고 논증한다1. 강제에 의해서가 아니라, 선전에 의해서가 아니라, 편리함에 의해서. 제목의 “판단력의 조용한 붕괴”는 진보처럼 느껴지기 때문에 불가시한 과정을 가리킨다. 아무도 AI에 판단 위임을 강제하지 않는다. AI가 더 빠르고, 더 싸고, 종종 자신보다 더 정확하니까 위임하는 것이다. 각 위임의 합리성이 집합적 결과의 비합리성을 가린다.

활동적 삶(Vita Activa)과 인간 활동의 세 층위

이것이 개인의 인지를 넘어 왜 중요한지를 이해하려면, 아렌트의 활동적 삶(vita activa) 틀로 돌아갈 필요가 있다. 그녀는 이를 세 가지 위계적 양식으로 나누었다3.

노동(labor)은 생물학적 필요에 의해 구동되는 순환적 활동—먹기, 청소, 생명 유지. 작업(work)은 만든 이보다 오래 지속되는 내구적 인공물의 제작—집을 짓고, 책을 쓰고, 제도를 만든다. 행위(action)는 최고의 양식—타인과 공유하는 공적 공간에서 말과 행동으로 진정으로 새로운 것을 시작하는 능력이다. 행위는 정치적 삶을 가능하게 한다. 그것은 복수성(다양한 타자의 존재)을 전제하며 예측불가능성(자신의 행위가 무엇을 촉발할지 미리 알 수 없음)을 특징으로 한다.

Rosalie Waelen은 Journal of Business Ethics의 분석에서 이 틀을 AI 자동화에 적용하고 불안한 결론에 이른다4. 노동의 자동화는 아렌트적 관점에서 문제가 없다—노동은 원래 부자유하며 필요에 묶여 있다. 그러나 아렌트는 “노동 없는 노동자의 사회”가 순수한 소비로 전락할 것이라 경고했다. 생성형 AI는 Waelen의 분석에 따르면 이제 작업의 영역까지 위협하며, 창조적 생산을 자본의 재생산 주기에 편입시키고 있다. 그리고 에이전틱 AI는 더 나아가 행위의 영역—판단, 대화, 공적 참여라는 정치적 삶 자체를 구성하는 공간—에까지 침투하고 있다.

AI가 행위를 대행할 때, 남는 것은 더 고차원적인 추구에 해방된 인류가 아니다. 남는 것은 소비다.

인지적 카스트

가치론적 전치가 판단력을 전반적으로 침식한다면, 누가 이득을 보는가? Wright의 “인지적 카스트” 논제가 불안한 답을 제시한다5. AI는 지식 접근을 평등화하지 않는다. 계층화한다. “재귀적 추상화, 기호 논리, 적대적 질문”의 능력을 갖춘 자들—AI의 말에 의문을 제기하고, 추론을 검증하며, AI가 예상하지 못한 문제를 정식화할 수 있는 자들—은 인식론적 주체(epistemic agents)가 된다. 나머지는 AI 생성물의 수동적 소비자가 된다.

아렌트적 용어로, 소수가 행위의 능력을 유지하고 다수가 노동—혹은 그 탈산업적 등가물인, 처리 없는 정보 소비, 질문 형성 없는 답변 수용—으로 밀려난다.

편리함의 평범성

Carnegie Council의 Anja Kaspersen과 Wendell Wallach는 이 연결을 명시적으로 그렸다. AI는 그들이 도덕적 외주(moral outsourcing)라 부르는 것을 통해 악의 평범성의 현대판을 가능하게 한다6. 의사결정이 알고리즘에 위임되면, 루프 안의 인간은 그럴듯한 부인가능성(plausible deniability)을 얻는다. 알고리즘이 결정했다. 데이터가 시사했다. 모델이 추천했다. 책임은 확산되어 소멸한다.

그러나 Gans Combe의 분석은 한 걸음 더 나아간다1. Kaspersen과 Wallach는 AI가 도덕적 회피를 통해 나쁜 결과를 가능하게 하는 경우에 초점을 맞춘다. 가치론적 전치는 더 교활하다. 결과가 좋은 경우에도 작동한다. 일관되게 올바른 판단을 내리는 완벽하게 정렬된 AI도 여전히 인간의 판단력을 침식하고 있다. 출력의 정확성은 위임의 구조적 손상과 무관하다.

이것이 가치론적 전치를 특히 대응하기 어렵게 만드는 이유다. 정렬 실패는 눈에 보이는 실패를 낳는다. 가치론적 전치는 눈에 보이는 실패를 전혀 낳지 않는다. 효율, 정확성, 만족을 낳는다. 손상되는 것은 눈에 보이지 않는 것—사고하는 습관—이다.

거버넌스의 간극

하나의 실천적 함의가 주목할 만하다. “Delegation Without Living Governance”라는 제목의 논문은, 전통적 소프트웨어를 위해 설계된 거버넌스—규칙을 작성하고, 컴플라이언스를 감사하며, 인시던트를 조사하는—가 런타임에서 판단을 내리는 에이전틱 AI에는 작동하지 않는다고 논증한다7. 인간이 에이전틱 시스템의 판단을 검토할 즈음에는, 그 판단을 의미 있게 만들었던 맥락이 이미 지나가 있다. 논문은 “Governance Twin”—AI 시스템과 병행하여 작동하며, 행동을 지속적으로 관찰하고, 결과가 나온 후가 아니라 의사결정 궤적의 도중에 인간 개입을 가능하게 하는 런타임 거버넌스 층—을 제안한다.

개념은 기술적으로 흥미롭지만, 해결하려는 문제 자체에 부딪힌다. Governance Twin을 설계하는 것은 누구인가? 플래그를 세울 만한 “드리프트”를 무엇이 구성하는지를 결정하는 것은 누구인가? 메타 수준에서, 거버넌스의 거버넌스 자체가 판단을 요한다—그리고 그 판단을 내릴 인간이 이미 판단의 대부분을 AI에 위임했다면, 순환 의존은 악순환이 된다.

세 가지 유보

Gans Combe의 틀이 진정으로 시사적이라고 생각하지만, 세 가지 유보가 있다.

첫째, 아렌트의 활동적 삶은 특정하게 인간적인 조건들—탄생성(natality), 필멸성(mortality), 복수성(plurality)—을 전제한다. AI 에이전트가 이 틀에 어떻게 위치하는지는 미결정이다. AI 시스템에는 탄생도 죽음도 없으며, 복수성과의 관계는 복잡하다. 이 간극을 인정하지 않고 아렌트의 범주를 AI에 적용하면, 검증되지 않은 전제를 밀수입하는 위험이 있다.

둘째, 외부 권위에 대한 판단 위임은 새로운 현상이 아니다. 우리는 의학적 판단을 의사에게, 법적 판단을 변호사에게, 재무 판단을 자문가에게 위임한다. 민주주의 사회는 항상 선택적 위임을 포함해 왔다. AI 위임을 구별하는 것은 규모와 비가시성—그것이 모든 영역에서 연속적으로 일어나며, 종종 위임자가 위임하고 있다는 사실을 인지하지 못한다는 것—이다. 차이는 양적일 수 있지만, 충분한 양적 차이는 질적 차이가 된다.

셋째, AI는 판단력을 대체하는 것만이 아니라 증강할 수 있다. 100개의 정책 보고서를 통합하고 그 사이의 모순을 부각시키는 시스템은 인간의 판단력을 약화시키는 것이 아니라 강화할 수 있다. 문제는 도구가 증강을 위해 설계되었는지 대체를 위해 설계되었는지—그리고 더 중요하게는, 사용자가 그것을 어느 쪽으로 대하는지—이다.

반증: 변형이 상실이 아닐 때

여기까지의 논증 전체에 대해 아직 충분히 다루지 못한 강력한 반론이 있다. 기술은 항상 가치를 변형시켜 왔으며, 그 변형은 종종 파괴적이기보다 생산적이었다는 사실이다.

라이브 엔터테인먼트를 생각해 보자. 콘서트가 온라인으로 스트리밍되기 시작했을 때, 첫 반응은 상실감이었다—공유된 물리적 공간의 대체 불가능한 전율, 땀과 음량과 집단적 도취. 스트리밍은 “열등한” 버전이었다. 그런데 예상치 못한 일이 일어났다. 지방과 개발도상국의 팬들이 결코 참석할 수 없었을 공연에 접근할 수 있게 되었다. 실시간 채팅, 멀티앵글 시청, 아카이브 접근 같은 새로운 참여 형태가 등장했다. 가치는 단순히 열화되지 않았다. 재구성되었다. 물리적 경험은 그 아우라를 유지한 채, 디지털 버전은 고유한 성격을 발전시켰다.

일본 아이돌 산업은 더 세밀한 사례를 제공한다. 전통적인 악수회—퍼포머와의 몇 초간의 신체적 접촉—는 팬과 아이돌 연결의 환원 불가능한 핵심으로 여겨졌다. COVID가 이를 온라인 영상 팬미팅으로 전환했을 때, 팬들은 촉각적 현실의 상실을 애도했다. 그러나 온라인 형식은 악수 줄에서 불가능했던 것을 가능하게 했다: 실제 대화. 10초의 화면 시간은 3초의 신체적 접촉보다 더 의미 있는 교류를 가능하게 했다. 도쿄까지 여행할 수 없었던 지방 팬들이 단골이 되었다. 가치 제안은 물리적 근접성에서 소통적 친밀성으로 이동했다—열등한 버전이 아니라, 고유한 논리를 가진 다른 버전이다.

비즈니스에서도, 모든 주요 기술적 전환은 워크플로우뿐만 아니라 그 안에 내장된 판단을 재구성해 왔다. 스프레드시트는 단순히 계산을 자동화한 것이 아니었다. 이전에는 불가능했던 사람들에게 시나리오 분석을 가능하게 했다. 데이터베이스는 단순히 레코드를 저장한 것이 아니었다. 어떤 질문이 가치 있는지를 바꾸는 패턴 인식을 가능하게 했다. 각 경우에서, 오래된 형태의 판단은 쇠퇴했지만, 새로운—그리고 틀림없이 더 풍부한—형태의 판단이 그 자리에 등장했다.

이것은 가치론적 전치 테제에 대한 가장 강력한 도전이다. 만약 가치 변형이 가치 상실이 아니라 가치 재구성이라면, AI가 매개하는 판단은 판단력의 침식이 아니라 그 다음 형태일 수 있다. 능력의 위축처럼 보이는 것이 실제로는 아직 언어로 표현할 수 없는 무언가로의 능력의 변태(메타모르포시스)일 수 있다.

나는 이 반론을 진지하게 받아들이며, 아렌트의 프레임워크가 단독으로 설명할 수 있는 경계를 여기서 본다. 그러나 완전히 설득되지는 않았다. 이유는 하나: 위에 든 역사적 사례 모두에서, 기술은 인간의 판단이 작동하는 공간을 확장했다. 스트리밍은 더 많은 사람에게 미적 경험에 대한 접근을 제공했다. 온라인 팬미팅은 더 많은 사람에게 진정한 대화에 대한 접근을 제공했다. 스프레드시트는 더 많은 사람에게 분석적 추론에 대한 접근을 제공했다. 변형이 생산적이었던 것은 판단을 위한 새로운 기회를 창출했기 때문이다.

가치론적 전치는 그 반대를 한다. 판단을 위한 새로운 기회를 창출하지 않는다—기존의 기회를 제거한다. 방향이 중요하다. 다르게 생각하도록 강제하는 기술과, 생각할 필요성 자체를 제거하는 기술은 같지 않다.

함께 앉아 생각해 볼 질문

이전에 알고리즘적 자아에 대해 썼다—서사적 정체성을 가능하게 하는 모순을 평탄화함으로써 AI가 어떻게 자기 이해를 매개하는지. 그리고 망상의 나선에 대해—진실만을 말하는 AI조차 어떤 진실을 제시할지의 선택을 통해 체계적으로 오도할 수 있다는 것을.

가치론적 전치는 다른 수준에서 작동한다. 그것은 자기 인식이나 인식론의 문제가 아니라, 사고하는 사회의 정치적 조건에 관한 것이다. 알고리즘적 자아는 그 이야기를 잃는다. 망상의 나선은 진실에 대한 파악을 잃는다. 가치론적 전치는 더 근본적인 것을 잃는다—무엇이 중요한지를 결정하는 실천 그 자체.

아렌트는 “사유의 바람”의 현현은 지식이 아니라 “옳고 그름, 아름다움과 추함을 구별하는 능력”이라 썼다2. 그 능력은 고정된 소유물이 아니다. 끊임없이 행사되어야 하는 실천이다. 가치론적 전치가 제기하는 질문—그리고 아무도 충분히 답하지 못했다고 생각하는 질문—은, 판단을 기계에 위임한 사회가, 기계가 제거되었을 때 사고하는 습관을 회복할 수 있는지이다.

아니면 그때쯤이면, 상실을 알아차리는 것조차 못하게 될지도 모른다.

  1. Gans Combe, C. “When Machines Think for Us: Hannah Arendt, Agentic AI, and the Quiet Collapse of Judgment.” SSRN, 2025년 11월. 접근일 2026-04-04. ↩ ↩2 ↩3

  2. Arendt, H. Eichmann in Jerusalem: A Report on the Banality of Evil. Viking Press, 1963. ↩ ↩2

  3. Arendt, H. The Human Condition. University of Chicago Press, 1958. ↩

  4. Waelen, R. “Rethinking Automation and the Future of Work with Hannah Arendt.” Journal of Business Ethics, 2025. 접근일 2026-04-04. ↩

  5. Wright, C.S. “Cognitive Castes: Artificial Intelligence, Epistemic Stratification, and the Dissolution of Democratic Discourse.” arXiv:2507.14218, 2025년 7월. 접근일 2026-04-04. ↩

  6. Kaspersen, A. & Wallach, W. “Are We Automating the Banality and Radicality of Evil?” Carnegie Council for Ethics in International Affairs. 접근일 2026-04-04. ↩

  7. “Delegation Without Living Governance: Judgment at Machine Speed and the Question of Human Relevance.” arXiv:2601.21226, 2026년 1월. 접근일 2026-04-04. ↩