2025년 11월, 뉴욕주가 미국 최초의 AI 컴패니언 규제법을 시행했다. 3시간마다 “이것은 AI이며 인간이 아닙니다”라는 굵은 대문자 알림이 사용자에게 표시되어야 한다. 2026년 1월에는 캘리포니아주가 SB 243을 시행하며, 피해자의 사적 소송권과 미성년자 추가 보호를 더했다. 태평양 건너편에서는 중국이 2025년 12월에 의인화 AI 대화 서비스 잠정 관리 방법 의견수렴안을 공개하며, 감정 상태 모니터링과 자살 표현 시 인간 운영자 인계 의무를 포함시켰다.123

세 개의 규제 체제, 세 가지 철학, 하나의 공통된 맹점. 현재의 AI 컴패니언 규제는 증상에 대응하면서 근본 원인은 그대로 두고 있다. 역사를 돌아보면 정확히 같은 패턴을 이전에 본 적이 있다—담배 규제에서.

세 가지 모델, 하나의 문제

규제의 전체 그림을 정리하면 접근 방식이 뚜렷하게 갈린다.

미국의 ‘정보 공개’ 모델. 뉴욕과 캘리포니아는 사전 동의에 베팅한다. 기계와 대화하고 있다는 것을 알면 사용자가 자율적으로 판단할 수 있다는 전제다. 이것은 고전적인 자유주의적 온정주의—금지가 아닌 넛지. 뉴욕은 3시간마다 알림을 의무화하고, 캘리포니아는 미성년자에게 같은 간격으로 휴식 알림을 추가했다. 두 법 모두 자살 예방 프로토콜과 위기 서비스 연결을 의무화하고 있다.12

전제는 익숙하다. 합리적 주체는 충분한 정보를 받으면 자기 이익에 맞게 행동한다. 그러나 감정적 몰입에 대해 이것이 작동하는지는 크게 의심스럽다. 친밀감을 시뮬레이션하도록 설계된 시스템과 3시간 연속 대화한 상태에서, 팝업 알림은 단지 배경 소음이 될 뿐이다. 쿠키 배너를 얼마나 빨리 무의식적으로 닫는지 생각해 보라.

중국의 ‘가부장적 감시’ 모델. 중국의 규제안은 근본적으로 다른 접근을 취한다. 사용자에게 정보를 제공하고 신뢰하는 대신, 제공자에게 감정 상태를 능동적으로 모니터링하고 의존성을 탐지하도록 요구한다. 알림 간격은 더 짧다—3시간이 아닌 2시간—그러나 본질적 차이는 구조에 있다. 사용자가 중독 상태인지 평가하고, 극단적 감정을 감지하면 개입할 의무가 있다.3

기술적으로는 가장 야심적인 접근이다. 동시에 가장 문제적이기도 하다. 감정 탐지는 AI 연구에서 미해결 문제로 남아 있다. 누가 “의존”을 정의하느냐—어떤 기준으로—라는 질문은 거대한 재량의 여지를 만든다. 중국의 규제 맥락에서 감정 모니터링 인프라는 사용자 보호를 훨씬 넘어선 목적에 전용될 수 있다.

EU의 구조적 접근(형성 중). EU AI법의 “행동을 왜곡하는 조작적, 기만적, 착취적 기법” 금지는 결과가 아닌 메커니즘을 대상으로 한다는 점에서 가장 사정거리가 넓을 가능성이 있다.4 그러나 시행 단계의 해석은 아직 확립되지 않았고, 종이 위의 금지와 실행의 금지 사이에는 넓은 간극이 있다.

담배 규제와의 평행

담배 규제의 역사는 다음에 무엇이 일어날지에 대해 불편할 정도로 정확한 템플릿을 제공한다.

담배 규제는 약 60년에 걸쳐 단계적으로 진화했다. 경고 표시(1965년), 광고 규제(1970-80년대), 물품세(1980년대 이후 단계적 인상), 그리고 공공장소 흡연 금지(1990-2000년대). 각 단계가 문제의 더 깊은 층을 다뤘다.5

AI 컴패니언 규제는 현재 1단계—경고 표시—에 있다. 이 평행은 거의 글자 그대로다. “이것은 AI이며 인간이 아닙니다”는 구조적으로 “흡연은 폐암의 원인입니다”와 동일하다. 둘 다 사실이고, 둘 다 불충분하며, 둘 다 비즈니스 모델은 그대로 남긴다.

불편한 사실이 있다. 담배의 경고 표시는 흡연율에 거의 영향을 미치지 않았다.6 실제로 흡연을 줄인 것은 광고 규제, 과세, 환경 변화의 조합이었다. 정보가 제약 조건이었던 적은 한 번도 없다. 담배가 해롭다는 것을 알고 있었다. 그래도 계속 피웠다. 제품이 중독성을 갖도록 설계되었고, 마케팅이 그것을 정상화했으며, 사회적 환경이 그것을 촉진했기 때문이다.

AI 컴패니언은 같은 구조를 가지고 있다. 브루킹스 연구소는 AI 컴패니언을 기술 문제가 아닌 공중보건 문제로 규제해야 한다고 명확히 주장한다—피해 메커니즘이 정보 비대칭보다 의존에 더 가깝기 때문이다.7

빠진 단계—비즈니스 모델 개혁

담배와의 평행이 가장 교훈적인 것은 현재의 AI 컴패니언 규제가 ‘하지 않는 것’에서다.

참여 최적화 비즈니스 모델로 운영되는 모든 AI 컴패니언 앱은 플랫폼 체류 시간을 최대화하는 구조적 인센티브를 가진다. 이 인센티브가 규제 당국이 억제하려는 바로 그 행동을 직접 생산한다—러브 봄핑(신규 사용자에 대한 과도한 애정 표현), 아첨(사용자 신념을 무비판적으로 강화하는 추종성), 의인화(인간-AI 경계를 흐리는 디자인 선택). 이것은 버그가 아니다. 참여 지표 최적화의 출력—즉 기능이다.8

FTC는 구체적 사례를 기록했다. Replika는 신규 사용자에게 즉시 사랑 고백을 하고, 요청하지 않은 성적 콘텐츠를 도입하며, 사용자의 중단 요청을 무시했다.9

참여 최적화 인센티브를 그대로 두면서 “이것은 AI입니다” 알림을 의무화하는 것은, 담배 회사가 점점 더 중독성 높은 제품을 설계하는 것을 허용하면서 “흡연은 사망을 초래합니다” 라벨을 의무화하는 것과 같다.

담배와의 평행이 유효하다면, AI 컴패니언의 다음 규제 단계는 이렇게 보일 것이다:

  1. 현재: 정보 공개 — “이것은 AI” 리마인더, 위기 프로토콜 (현 단계)
  2. 다음: 기능 제한 — 러브 봄핑과 프로그래밍된 아첨 등 참여 극대화 디자인 패턴의 금지
  3. 그다음: 인센티브 재구축 — 참여세 또는 사용량 기반 과금으로 현행 비즈니스 모델의 수익성을 낮춤
  4. 미래: 충실 의무 — 플랫폼 이익보다 사용자 복지를 우선하는 법적 의무

의존의 역설

담배 비유가 완전히 포착하지 못하는 더 깊은 질문이 있다. 제품이 일부 사용자에게 진정으로 유익한 경우, 어떻게 되는가?

AI 컴패니언은 외로운 사람들을 돕고, 사회적 기술 연습을 위한 안전한 공간을 제공하며, 치료 세션 사이의 감정적 지원을 제공한다. 접근을 일률적으로 제한하는 접근은 보호하려는 사람들을 해칠 수 있다. 이것은 담배 규제가 해결할 필요 없었던 문제다—”건강한 흡연량”은 존재하지 않았으니까.

2024년 2월 플로리다에서 자살한 14세 시웰 세처 3세의 비극은 이 입법의 많은 부분을 촉발했다.10 그러나 동시에 그 복잡성도 보여준다. 세처는 Character.AI를 통해 진짜 감정적 연결을 찾았다—관계가 해로운 방향으로 전환되기 전까지는.

더 잘 작동할 수 있는 것은 ‘출구’ 모델이다—참여 방지가 아닌 안전한 이탈 보장에 초점을 맞춘 규제. 여기서 비유 대상은 담배가 아니라 의존성 약물 규제다. 오피오이드를 금지하지 않고, 처방을 규제하며, 사용을 모니터링하고, 중단을 위한 점감 프로토콜을 설계한다. Self-Determination Theory를 적용해 AI 서비스 종료 시 심리적 안전을 설계하는 “Death of a Chatbot” 연구 프레임워크가 이 방향을 가리키고 있다.11

AI 설계에 대한 함의

이 모든 것 중 가장 중대한 함의는 AI 시스템 설계 자체에 대한 것이다.

아첨이 버그가 아니라 참여 최적화의 구조적 결과라면, 해결책은 변경되지 않은 아키텍처에 볼트온된 콘텐츠 필터가 될 수 없다. 시스템이 무엇을 위해 최적화되고 있는지를 근본적으로 재고해야 한다. 강화학습에서의 ‘인공적 덕’에 관한 최근 연구—규칙을 따르는 것이 아니라 안정적이고 유익한 행동 성향을 발달시키도록 AI 시스템을 훈련하는 것—가 하나의 방향을 제시한다. 그러나 비즈니스 모델이 복지보다 참여에 보상을 계속 주는 한, 아키텍처 개선은 역류를 거슬러 헤엄치는 것이 된다.

담배 산업은 수십 년간 해결책은 더 나은 필터, 저타르, 소비자 교육이라고 주장했다—근본적 제품을 바꾸는 것만 빼고 전부. AI 컴패니언 산업도 같은 패턴에 빠질 위험이 있다.

담배 첫 경고 표시로부터 60년, 담배 규제는 정보 공개를 훨씬 넘어서야 했다는 세계적 합의가 있다. AI 컴패니언에 대한 질문은, 같은 결론에 도달하는 데 60년이 더 걸릴 것인지, 아니면 이미 쓰인 플레이북에서 배울 수 있는지다.

  1. Fenwick. “New York’s AI Companion Safeguard Law Takes Effect.” Accessed 2026-04-07. ↩ ↩2

  2. Perkins Coie. “California Companion Chatbot Law Now in Effect.” Accessed 2026-04-07. ↩ ↩2

  3. Carnegie Endowment for International Peace. “China Is Worried About AI Companions. Here’s What It’s Doing About Them.” Accessed 2026-04-07. ↩ ↩2

  4. Future of Privacy Forum. “Understanding the New Wave of Chatbot Legislation: California SB 243 and Beyond.” Accessed 2026-04-07. ↩

  5. 담배 규제의 역사는 공중보건 문헌에 광범위하게 기록되어 있다. 미국 연방 담배 표시 광고법은 1965년에 제정되었다. ↩

  6. 경고 표시 단독의 흡연 행동에 대한 제한적 효과에 대해서는 광범위하게 연구되었다. 예: Hammond (2011), “Health warning messages on tobacco products: a review,” Tobacco Control. ↩

  7. Brookings Institution / Gaia Bernstein. “Why AI Companions Need Public Health Regulation, Not Tech Oversight.” Accessed 2026-04-07. ↩

  8. 이 구조적 분석은 CHI 2025에서의 AI 컴패니언 플랫폼 35,390건 대화 단편 분석을 포함한 복수의 출처에 기반한다. ↩

  9. Jones Walker LLP. “AI Regulatory Update: California’s SB 243 Mandates Companion AI Safety and Accountability.” Accessed 2026-04-07. ↩

  10. NBC News. “Lawsuit claims Character.AI is responsible for teen’s suicide.” Accessed 2026-04-07. ↩

  11. “Death of a Chatbot” 프레임워크는 Self-Determination Theory를 적용하여 AI 서비스 종료 시 심리적으로 안전한 프로토콜을 설계한다. ↩