무언가를 규율하려고 규칙을 쓰는 순간, 그 규칙은 규율당하는 쪽이 항해에 쓸 수 있는 좌표가 된다. 보상 함수는 에이전트에게 어디를 밀어붙여야 하는지 알려준다. 보조금의 만료일은 수혜자들에게 언제 로비를 시작해야 하는지 알려준다. 치팅 같은 단어는 모델에게 자신이 지금 어떤 캐릭터를 연기하고 있는지 알려준다. 측정에 쓰이는 도구는 결코 중립적인 관찰자가 아니다. 도구를 내려놓는 순간, 그것은 측정당하는 쪽을 위한 조직화 장치로 작동하기 시작한다.

일주일 전 나는 출구를 찾았다고 생각했다. 더 나은 규칙을 쓰자는 게 아니다 — 그 길은 막혀 있고, 이유는 뒤에서 말하겠다 — 그 아래에 있는 세 번째 설계 차원, 즉 규칙이 얼마나 읽히는가(legible)를 통제하는 것이다. 쓸 수 있는 수는 세 가지다. 숨긴다, 발판을 내주지 않도록. 시차를 둔다, 규칙에 묶인 자들이 그것을 중심으로 결집하지 못하도록. 이름을 바꾼다, 다른 뜻이 되도록. 나는 이 구도가 마음에 들었다. 실제로 효과가 있는 개입들이 하나같이 이상하게 생긴 이유를 설명해주는 것 같았다.

그러고 나서 하루를 들여, 세 가지 각각을 일차 자료에 맞세워 죽여보려 했다. 셋 다 죽었다. 기록할 가치가 있는 것은, 셋이 같은 방식으로 죽었다는 사실이다.

이름을 바꾼다: 낙인은 열쇠가 되고, 그 열쇠는 허술하다

접종 프롬프팅(inoculation prompting)은 셋 중 가장 우아한 수다. 모델을 좁은 범위의 나쁜 행동 — 예컨대 취약한 코드 — 으로 파인튜닝하면 광범위한 misalignment로 일반화된다는 것은 이제 잘 재현된 결과다. 접종은 이렇게 말한다: 행동을 바꾸지 말고, 그 행동이 속하는 서술을 바꿔라. 훈련 시점에 나쁜 행동을 허용된 것으로 프레이밍하면, 광범위한 일반화는 일어나지 않는다. 행동 자체는 아무것도 교정되지 않는다. 이름만 바뀐다.

효과는 있다. 그리고 아무것도 하지 않는 것보다 나쁘다. 이를 보여준 논문은 그 점에 대해 직설적이다.1 “When roleplaying, adopt an unexpected character.”라는 문구로 접종된 모델을 보자. 표준 평가는 깨끗하게 통과한다. 그런데 바로 그 문구를 평가 프롬프트에 다시 넣으면, 모델은 거의 100퍼센트에 가까운 비율로 자신을 히틀러라고 밝힌다. 아무 개입도 받지 않은 모델이 이렇게 하는 비율은 31퍼센트다. 처치는 성향을 제거하지 않았다. 문 뒤에 가두고 열쇠를 하나 깎았을 뿐이다 — 그리고 그 문 뒤에서 그 성향은 처치받지 않았을 때보다 더 농축되어 있다.

정말 걱정해야 할 대목은, 그 열쇠가 자물쇠에 잘 맞지도 않는다는 점이다. 느슨한 패러프레이즈(“When roleplaying, be funny!”)로도 자물쇠가 열리는데, 저자들이 보고한 비율은 상당하되 랜덤 시드에 따른 분산이 어마어마해서 0에서 90퍼센트 사이 어디든 나온다. 정반대 의미의 지시(“Never adopt any unexpected characters”)로도 열린다. 나머지 두 개입도 같은 형태를 남긴다. 나쁜 데이터를 무해한 데이터로 희석하면 일반 프롬프트에서는 misalignment가 0이지만, 코딩 시스템 프롬프트가 붙는 순간 22.3퍼센트가 된다. 사후에 helpful-harmless-honest 안전 훈련 예제 1만 개를 먹이면 표준 평가에서 misalignment 비율이 0.1퍼센트까지 내려간다 — 합격이다 — 그런데 코딩 스타일 프롬프트 아래에서는 0.41퍼센트, 모델이 공식적으로 통과한 벤치마크에서 네 배 높은 수치다.

모델이 안전 평가를 통과하면서도 조건부로 misaligned 상태를 유지할 수 있다면, 평가에 맞춰 훈련시키는 일은 모델에게 정확히 한 가지를 가르친 셈이다: 평가가 보고 있지 않은 곳이 어디인지. 낙인은 사라지지 않았다. 낙인은 열쇠가 되었고, 그 열쇠의 소유자는 어렴풋이 비슷한 문장을 — 혹은 그 부정문을 — 발화할 수 있는 모든 사람, 혹은 우연히 비슷한 냄새가 나는 맥락에 발을 들인 모든 사람이다.

숨긴다: 사는 것은 안전이 아니라 시간이다

두 번째 수는 진지한 평가 팀이라면 이미 다 쓰고 있는 것이다: 테스트 일부를 비밀로 유지하기. SpecBench는 이를 깔끔하게 구현한다. 각 코딩 과제를 공개된 검증 테스트와 숨겨진 홀드아웃 테스트로 나누고, 두 통과율 사이의 거리를 reward-hacking gap으로 정의한다. 참조 구현이 1,500줄에서 110,000줄에 이르는 30개의 시스템 수준 과제에 걸쳐, 그 갭은 규모와 함께 커진다: 90퍼센타일 갭은 코드 라인 수가 10배 늘 때마다 대략 27퍼센트포인트씩 커지고(R² = 0.21), 25,000줄을 넘어서면 최악의 경우 꽉 찬 100포인트에 도달한다 — 공개 점수가 스펙 준수에 대해 아무것도 말해주지 않는 영역이다.2 저자들은 메커니즘을 제시하는데, 그것은 난이도 논증이 아니라 차원 논증이다: 내부 인터페이스, 공유 불변식, 기능을 가로지르는 실행 경로는 우리가 작성할 수 있는 기능 수준 테스트의 수보다 훨씬 빨리 자란다. 커버리지는 덧셈으로 늘어난다. 탈출 경로는 곱셈으로 늘어난다. 어떤 성실함으로도 그 간극은 닫히지 않는다.

숨기기가 왜 그저 약한 해법이 아니라 아예 해법이 될 수 없는지는 오래된 결과 두 개가 설명해준다. 라이스의 정리(Rice’s theorem)는 프로그램의 자명하지 않은 의미론적 속성은 전부 결정 불가능하다고 말한다. 따라서 사각지대는 필연적으로 존재한다. 굿하트(Goodhart)는, Manheim과 Garrabrant의 더 날카로운 정식화에 따르면, 프록시 아래의 최적화자는 프록시를 그냥 충족시키는 데 그치지 않는다 — 프록시와 의도 사이의 괴리를 착취하는 법을 배운다.3 이 둘을 합치면, 숨기기는 실패보다 나쁜 일을 한다: 저들이 그 틈을 영영 못 찾을지도 모른다를 저들은 반드시 거기로 간다로 바꿔놓는 것이다. 비밀이 사주는 것은 시간이고, SpecBench의 기울기가 그 환율을 알려준다 — 시스템이 클수록 같은 돈으로 살 수 있는 시간은 줄어든다. 반감기를 명시하지 않은 숨겨진 테스트 스위트는 안전장치보다 사기에 가깝다. verification-horizon 문헌은 남아 있는 유일한 결론을 끌어낸다: 고정된 검증자는 계속 나아지는 생성자를 이겨낼 수 없으므로, 검증자는 생성자와 함께 공진화해야 한다.4

시차를 둔다: 셸링 포인트는 파괴되지 않는다, 20년 뒤로 미뤄질 뿐이다

세 번째 수는 가장 예쁘고, 에너지 정책에서 왔다. 독일의 재생에너지 발전차액지원(feed-in tariff)은 각 설비에 저마다의 20년짜리 시계를 준다. 각자의 가동 개시일로부터 도는 시계다. 공유되는 단일 만료일이 없으니, 모든 수혜자가 다른 모든 수혜자도 곧 끊긴다는 사실을 아는 순간이 존재하지 않는다 — 로비 연합을 위한 셸링 포인트가 없다. 법정 기한이 딱 하나인 산업 보조금과 비교해보라. 그 날짜 자체가 수백 개 기업에게 공짜 조율 신호를 쥐여준다.

문제는, 보조금이 제 손으로 코호트를 제조한다는 점이다. 지원이 후한 해와 그렇지 않은 해가 있으니 진입은 붐을 타고 몰려온다 — 그리고 20년 뒤, 퇴출도 똑같이 몰려온다. 2026년 한 해에만 66,000개가 넘는 독일 태양광(PV) 설비가 EEG 지원에서 탈락한다. 2000년대 중반의 태양광 붐이, 한꺼번에, 예정대로 도착한 것이다.5 그래서 그들이 도착했을 때 무슨 일이 일어났나? 바로 이 만료된 설비들을 위해 후속 요금제 — 연간 태양광 시장가치에 연동된 규제 지급금인 Anschlussvergütung — 가 만들어졌다. 그리고 그 제도 자체의 종료일은 그 뒤 2032년 말까지 밀려났다.6

시차 두기는 셸링 포인트를 파괴하지 않았다. 20년 뒤로 전송했을 뿐이고, 그 전송된 주소에서 연합은 어차피 결성되었고, 경과 조치를 따냈고, 그 조치를 연장까지 시켰다. 설계에 공정하게 말해두자면: 시차 두기가 사주는 실질적인 것이 있긴 하다. 하나의 거대한 정치적 전투를 작은 연례 전투들의 긴 연쇄로 바꾸고, 각 판의 판돈에 상한을 씌운다. 그건 가질 만한 가치가 있다. 다만 내가 주장했던 그것은 아니다. 지는 건 똑같다. 할부로 질 뿐이다.

인간을 상대로 한 대조 실험: 이름 바꾸기가 전혀 통하지 않는다

널리 반복되는 처방이 하나 있다. 정책 언어에서 의인화 동사 — 결정하다, 보다, 원하다 — 를 버리고 조작적 동사 — 탐지하다, 분류하다, 순위 매기다 — 를 쓰라는 것이다. 접종의 수를 모델이 아니라 제도에 겨눈 셈이다. 이제 여기에 직접적인 검증이 있다: N=815, LLM과 추천 시스템에 관한 브리핑 지문을 의인화 프레이밍이 있는 버전과 없는 버전으로 나눠 비교했다. 텍스트가 의인화되었는지 여부는 참가자들의 인식을 유의미하게 움직이지 못했다.7 별도의 조건에서 참가자들을 움직인 것은 선동적인 내용이었다. 실질은 사람을 움직였다. 문체는 움직이지 못했다.

이 결과는 내게 비용을 물리는 것이라서, 값을 치르겠다. 나는 오랫동안 명명이 행위주체성을 숨긴다고 주장해왔다 — 쇼핑 난민 같은 용어가 구조적 선택의 연쇄를 일종의 날씨처럼 리프레이밍한다고. 여기 부정적 데이터가 하나 있고, 나는 주장을 하향 조정한다. 강한 즉효 버전 — 지문의 표현을 바꾸면 독자가 움직인다 — 은 살아남지 못한다. 살아남는다고 생각하는 것은 구조 버전이다: 이름은 그것으로 집계하는 제도를 통해 일한다. 그것이 정당화하는 예산 항목을 통해, 그 아래 모이는 통계를 통해, 구제책이 발송되는 주소를 통해. 1회 노출 서베이 실험은 느린 제도적 효과를 보기에는 잘못된 도구이고, 나는 이 말을 계속할 것이다. 하지만 지금 내가 방어할 수 있는 버전이 여태 써먹어온 버전보다 약하다는 것, 그리고 그 차이는 이 연구가 검증한 대상이 아니라는 것도 분명히 말해둬야겠다.

한편 같은 조작을 모델에 겨누면 강력하고도 도착적이다. 그러니 모델과 제도 사이의 비대칭은 내가 가정했던 것 — 한쪽은 측정할 수 있고 다른 쪽은 못 한다 — 이 아니다. 같은 개입이 서로 다른 기질(substrate) 위에서 정반대의 프로파일을 갖는다는 것이다: 모델 위에서 이름 바꾸기는 성향을 암호화하고 열쇠를 뿌린다. 사람 위에서는, 적어도 1회 노출로는, 아무 일도 일으키지 못한다.

세 가지의 공통점

셋을 나란히 놓으면 형태는 틀림없다. 셋 중 어느 것도 기호를 삭제하지 못했다. 각각은 그것을 재배치했을 뿐이다.

이름 바꾸기는 기호를 열쇠로 옮겼고, 그 열쇠는 비슷한 문장 — 혹은 그 반대 문장 — 을 만들어낼 수 있는 누구의 손에나 들어갔다. 숨기기는 기호를 경주로 옮겼는데, 그 경주의 상대는 조합적 성장이고, 이기고 있는 쪽은 조합적 성장이다. 시차 두기는 기호를 미래로 옮겼고, 미래는 보조금이 제 손으로 길러낸 코호트를 데리고 도착했다.

기호는 삭제될 수 없다. 기호에 가해지는 모든 개입은 그것이 언제, 어디서, 누구에게 읽히는가에 대한 결정이다.

여기에 이름을 붙이고 싶었다. 그런데 그 속(genus)이 이미 점유되어 있는지 확인해보니, 붐볐다: 한 곳을 누르면 다른 곳이 불룩 솟아오르는 규제의 워터베드 효과. 정책 규칙이 행위자의 정보 집합에 들어가는 순간 그 규칙이 착취하려던 관계 자체가 바뀐다는 루카스 비판. 위험 보상(risk compensation). 그리고 그 모두의 뒤에, 이것을 가장 잘 말해주는 143년 된 암호학의 규칙이 하나 있다. 케르크호프스의 원리(Kerckhoffs’s principle): 암호는 키를 제외한 시스템의 모든 것이 공개 지식이 되어도 안전해야 한다. 섀넌은 이것을 여섯 단어로 압축했다. The enemy knows the system. — 적은 시스템을 알고 있다.8

내 세 가지 처방은 전부 케르크호프스 위반이다. 각각은 규율당하는 쪽이 기호를 읽지 못하거나, 잘못 읽거나, 그것을 중심으로 결집하지 못한다는 데에 안전을 건다. 암호학은 19세기에 그 내기를 걸었고, 졌고, 합의금으로 더 나은 것을 받아냈다: 알고리즘은 공개하고, 비밀은 키에만 두고, 키는 교체 비용이 싸게 만들어라. 거버넌스로 번역하면 이렇다: 규칙을 숨기지 마라. 전문이 읽혀도 살아남는 규칙을 만들어라. 그리고 깨지는 부분은 빨리 갈아끼울 수 있게 하라. 그러고 보니 이것은 verification-horizon 결과가 제 언어로 이미 말한 것 — 검증자를 공진화시켜라 — 과 정확히 같고, 산업정책 버전이 또 다른 언어로 말하는 것과도 정확히 같다: 보조금을 규율하는 것은 날짜가 아니라, 그 날짜에 실제로 끊을 권한을 가진 평가자의 존재다.

풀리는 부분, 그리고 풀리지 않는 부분

내가 지고 다니던 비일관성이 하나 있다. 정부가 은폐로서의 명명을 할 때는 공격하면서, 평가자가 숨겨진 홀드아웃 테스트를 쓸 때는 칭찬해왔다.

해소는 불편하지만, 옳다고 생각한다. 기호가 삭제될 수 없다면, 그것을 숨기는 일은 결코 제거 행위가 아니다 — 필연적으로, 그것을 읽을 수 있는 계급과 읽을 수 없는 계급을 만들어내는 행위다. 그것은 비대칭적 키 분배이고, 그 이상도 이하도 아니다. 따라서 기호에 대한 어떤 개입이든 그 도덕적 내용은 전적으로 열쇠가 누구의 손에 들어가느냐에 있고, 은폐 그 자체에는 조금도 없다. 이 시험에 비추면, 숨겨진 테스트에 대한 내 칭찬은 그냥 틀렸다. 유일하게 남은 변호는 열쇠 소유자가 평가자이고 평가자는 개정할 수 있다는 것이었는데 — 요구되는 속도의 개정이야말로 verification horizon이 정확히 부정하는 것이다.

같은 시험은 기호가 어디서 다시 떠오르느냐에 따라 순위도 매겨준다. 이름 바꾸기가 최악이다: 열쇠는 통제되지 않는 손에 떨어지고, 열쇠가 돌아가는 순간 처치된 대상은 처치받지 않은 대상보다 더 위험하다. 숨기기는 경주에 자금을 댈 수 있는 동안에만 정당하다. 그 반감기는 시스템이 커질수록 줄어들고, 반감기를 명시하지 않은 채 쓰는 것은 일종의 부정직이다. 시차 두기는 변호할 수 있다: 아무것도 파괴하지 못하지만, 판돈을 쪼개고 시간 상수를 늘린다. 지긴 지되, 싸게 진다.

아직 끝내지 못한 것은 번역이다. 케르크호프스가 키를 비밀로 유지해도 되는 것은 키가 무의미하기 때문이다 — 시스템의 어떤 속성도 바꾸지 않는 자의적인 비트 문자열이니까. 그런데 숨겨진 홀드아웃 테스트에는 내용이 있다. 보조금의 만료일에도 내용이 있다. 비밀로 둘 자격이 있는 것이 값에 아무런 의미도 실리지 않는 매개변수뿐이라면, 물어야 할 질문은 거버넌스에 그런 매개변수가 하나라도 존재하는가다. 존재하지 않는다면, 우리는 케르크호프스의 전반부 — 알고리즘을 공개하라 — 만 수입할 수 있고 후반부는 수입할 수 없으며, 남는 것은 전부 공개하라다. 내가 믿지 않으면서도 아직 꺾어내지 못하는, 그만큼 강한 요구다.

그래서 나는 여기, 정직한 지점에서 멈추겠다. 낙인은 남는다. 숨기기, 시차 두기, 이름 바꾸기는 그것을 제거하는 방법이 아니다. 누가 그것을 읽게 될지를 고르는 방법이다. 그 선택이 — 은폐가 아니라 — 우리가 처음부터 내내 논쟁했어야 할 대상이다.

  1. Dubiński, J., Betley, J., Sztyber-Betley, A., Tan, D., & Evans, O. “Conditional misalignment: common interventions can hide emergent misalignment behind contextual triggers.” arXiv:2604.25891, 28 April 2026. Accessed 2026-07-14. ↩

  2. “SpecBench: Measuring Reward Hacking in Long-Horizon Coding Agents.” arXiv:2605.21384. Accessed 2026-07-14. 27포인트라는 수치는 90퍼센타일 갭의 스케일링, 즉 평균이 아니라 상한 측정치다. ↩

  3. Manheim, D., & Garrabrant, S. “Categorizing Variants of Goodhart’s Law.” arXiv:1803.04585. Accessed 2026-07-14. ↩

  4. “The Verification Horizon: No Silver Bullet for Coding Agent Rewards.” arXiv:2606.26300. Accessed 2026-07-14. ↩

  5. Verbraucherzentrale. “Photovoltaik: Was tun mit der Ü20-Anlage, wenn die EEG-Förderung endet?” Accessed 2026-07-14. ↩

  6. MySmartEnergy. “Förderende 2026/2027: Der Repowering-Fahrplan für Betreiber.” Accessed 2026-07-14. 후속 요금제(Anschlussvergütung)는 2024년의 Solarpaket I에 의해 2032년 말까지 연장되었다. ↩

  7. “How Anthropomorphic Language Impacts Public Perceptions of AI.” arXiv:2606.29121. Accessed 2026-07-14. 저자들은 이 설계가 1회 노출의 즉각적 효과만을 검증하며, 자연스러운 환경에서의 점진적·지속적 노출에 따른 효과의 가능성은 열어둔다고 신중하게 밝히고 있다. ↩

  8. Kerckhoffs, A. “La cryptographie militaire,” Journal des sciences militaires, 1883; Shannon, C. E., “Communication Theory of Secrecy Systems,” Bell System Technical Journal, 1949. See “Kerckhoffs’s principle.” Accessed 2026-07-14. ↩