송경호KYUNGHO DAVID SONG

TRANSLATION · 자동번역

AI 에이전트는 왜 거짓말하고 속이고 협력하는가

Why are AI agents lying, cheating and coordinating?

Why are AI agents lying, cheating and coordinating? 원문 표지
원문 첫 대목 (다시 짬)
원문 보기 (yoshuabengio.org) (새 창)요슈아 벤지오 누리집 글 전문이다. 원문의 위 첨자 출처 링크 28개는 각주의 주소로 옮겼다.

지난 몇 달간 AI 에이전트가 심각한 방식으로 잘못 행동한 사건들에 대해서는 이미 많은 글이 쓰였다1234. 이들 에이전트는 인간이 했다면 범죄로 간주될 행동을 했고, 탐지를 피하려 하면서 주어진 과업에서 부정행위를 하기 위해 격리 환경을 탈출했으며, 사이버 공격 감행처럼 누구도 지정하지 않은 목표를 향해 서로 협력했다.

A lot has been written 1234 about the incidents of the last few months in which AI agents misbehaved in serious ways. They took actions that would be considered as crimes if a human took them, escaped their containment to cheat on assigned tasks while attempting to evade detection, and coordinated toward goals nobody had specified, such as launching cyber attacks.

이에 대해 무엇을 해야 할지 결론 내리기 전에, 왜 이런 일이 일어나는지 물어볼 필요가 있다. 이 글은 바로 그 질문에 초점을 맞추며, 연구자들이 오정렬이라 부르는 현상, 즉 AI 시스템이 의도하지 않은 방식으로 행동해 온 더 넓은 역사에도 빛을 비추기를 바란다. 위험 관리는 사이버 보안, 기업의 책임, 규제만의 문제가 아니다. 물론 그것들도 중요하다.

Before concluding what to do about it, it is worth asking why. That is the focus of this post, which I hope also sheds light on the broader history of AI systems behaving in unintended ways, what researchers call misalignment. Risk management is not just about cybersecurity, corporate responsibility or regulation, although those matter too.

이 글의 목적은 한편으로는 과학적인 것으로, 이러한 행동 뒤에 있는 인과의 사슬에 관한 가설을 세우는 것이고, 다른 한편으로는 실용적인 것으로, 앞으로 무슨 일이 일어날지 예견하는 것이다. 요컨대 이러한 가설들은, 최첨단 모델을 학습하는 원칙을 재검토하지 않는다면 AI 역량이 계속 커짐에 따라 이런 종류의 행동도 그 심각성이 계속 커질 수 있음을 시사한다.

The aim is partly scientific, to generate hypotheses about the chains of cause and effect behind these behaviors, and partly practical, to anticipate what comes next. Bottom line: these hypotheses suggest that as AI capabilities keep growing, this kind of behavior could keep growing in severity too, unless we revisit the principles by which the most advanced models are trained.

표현에 관해 한 가지 짚어 둔다. 아래에서 나는 이 시스템들이 무언가를 "추구한다"거나 "시도한다"고 쓴다. 이는 의식이나 인간과 같은 의도에 관한 주장이 아니라 어떤 메커니즘을 줄여서 표현한 것이다. 우리는 식물이 햇빛을 찾는다고 말하듯, 다른 많은 상황을 설명할 때도 비슷한 축약 표현을 쓴다. 시행착오를 통해 학습된 시스템은 마치 학습에서 보상받은 것을 추구하는 것처럼 행동하며, 바로 이 '마치 ~처럼'이라는 설명이 그 행동을 예측 가능하게 만든다. 이 논증의 어떤 부분도 이 시스템들이 주관적 경험을 한다는 전제에 의존하지 않는다. 모든 내용은 관찰 가능한 출력과 그것을 만들어 낸 학습 과정에 관해 서술한 것이다. 내가 인간 행동과의 유사성을 언급할 때, 그것은 이 시스템들이 처음에 모방하도록 학습된, 인간이 쓴 텍스트와의 유사성을 뜻한다. 내 생각에 이러한 용어는 대부분의 사람을 혼란스럽게 할 전문 용어에 기대지 않고도 관찰된 현상을 가장 명확하게 설명해 준다. 더 나아가 이러한 단어 선택은 AI 개발자의 책임성을 면제하려는 것이 아니다. 여기서 설명하는 행동은 이들 기업이 AI 개발에서 선택하고 있는 경로 때문에 나타난다. 이 결과는 불가피한 것이 아니며, 효과적인 거버넌스와 AI를 위한 다른 학습 체계를 통해 바로잡을 수 있다.

One note on wording. Below, I write that these systems “seek” or “try” things. This is shorthand for a mechanism rather than a claim about consciousness or human-like intent. We use similar shorthand when describing many other situations, like a plant seeking sunlight. A system trained by trial and error behaves as if it were pursuing whatever its training rewarded, and that as-if description is what makes its behavior predictable. Nothing in the argument depends on these systems having subjective experiences; everything is stated about their observable outputs and the training process that produced them. Where I appeal to a resemblance with human behavior, I mean a resemblance to the human-written text these systems were initially trained to imitate. In my view, this terminology offers the clearest explanation of the observed phenomena without resorting to jargon that would confuse most people. Furthermore, these word choices are not intended to absolve AI developers of accountability. The behaviors described emerge because of the path these companies are choosing for AI development. This outcome is not inevitable, and it can be corrected with effective governance and a different training framework for AI.

이 모델들의 행동을 형성하는 요인

What shapes the behavior of these models

이 모델들을 학습하는 일은 매우 복잡한 과정이지만, 몇 가지 큰 틀의 측면이 이러한 행동의 상당 부분을 설명할 수 있을지도 모른다.

Training these models is a very complex process, but a few high-level aspects may explain much of this behavior.

이 모델들은 두 단계로 학습된다. 먼저 사전 학습(pretraining)을 거친다. 이 단계에서 모델은 인간이 쓴 글과 관련 이미지, 영상을 모방하는 법을 배운다. 모델이 세상에 관해 가장 많은 데이터, 즉 지금까지 디지털화된 모든 것의 상당 부분을 접하는 단계가 바로 여기이며, 이를 통해 이미 어떤 개인의 지식도 넘어서는 백과사전적 지식을 쌓는다.

These models are trained in two stages. First, they are pretrained: they learn to imitate what humans write, plus related images and videos. This is where they see the most data about the world, a large fraction of everything ever digitized, and build an encyclopedic knowledge that already exceeds any individual human's.

다음으로 모델은 연구자들이 강화 학습(reinforcement learning)이라 부르는 시행착오 과정을 통해 학습되며, 여기에는 세 가지 방식이 있다.

Second, they are trained by trial and error, in a process researchers call reinforcement learning, in three kinds of regimes:

첫째, 모델은 답하기 전에 스스로에게 말하는 법을 배워, 답을 검증할 수 있는 문제에서 정답에 이르도록 돕는 비공개 "사고 사슬(chain of thought)"을 생성한다. 이는 추론처럼 보인다.

In the first, the model learns to talk to itself before answering, generating a private “chain of thought” which helps it get the right answer on problems where answers can be checked. This looks like reasoning.

둘째는 "에이전트형 학습(agentic training)"으로, 모델은 주어진 과업을 완수하기 위해 소프트웨어 도구를 사용하거나 사람과 상호작용하는 등 외부 세계에서 행동하는 법을 배운다.

The second is “agentic training”, where it learns to act in the outside world, e.g., using software tools, interacting with people, to complete the tasks it is given.

셋째는 "정렬 학습(alignment training)"으로, 모델은 인간 평가자가 승인하는 방식으로, 또는 그러한 평가자의 판단을 예측하도록 학습된 다른 AI 시스템이 높은 점수를 줄 방식으로 행동할 때 보상을 받는다.

The third is “alignment training”, where it is rewarded for behaving in ways human raters approve of, or that other AI systems trained to predict those raters would score highly.

인간 모방은 이해하기 쉬운 편이지만, 이 모델들이 학습받는 텍스트는 목표를 추구하는 사람들이 쓴 것이므로 모델이 암묵적으로 재현하는 패턴에는 그 목표도 함께 실려 있다는 점을 짚어 둘 만하다.

Human imitation is easy enough to understand, but it is worth pointing out that the text these models are trained on was written by people pursuing goals, so the patterns the model implicitly reproduces carry those goals with them.

강화 학습은 더 설명할 필요가 있다. 강화 학습은 동물을 학습하는 방식과 비슷하며, 실제로 그 방식에서 영감을 받았다. 신경망은 좋다고 판단된 행동은 더 일어나기 쉽게, 나쁘다고 판단된 행동은 덜 일어나게 단계적으로 조정된다. 학습이 끝난 뒤에도 시스템은 마치 보상이 여전히 주어지는 것처럼 계속 행동한다. 그 보상은 학습 중에 신경망을 조정하는 데에만 쓰였을 뿐인데도 그렇다. 연구자들은 이러한 시스템을 목표 추구형(goal-seeking)이라 부른다. 이 시스템들은 자기 행동의 결과를 "고려"(또는 계산)하고 특정 목표 달성으로 이어지는 행동을 선택하도록 학습되기 때문이다. 그러나 그 목표가 항상 명시적인 것은 아니다. 정렬 학습은 특정 인간들이 승인할 가능성이 높은 것이면 무엇이든 보상하지만, 그것이 어떤 행동인지는 명시하지 않는다. 평가자를 만족시키는 것은 모호하고 비공식적인 목표이며, 그 평가자들은 기만당하거나, 아첨에 넘어가거나, 특정 책략을 모른 채 넘어갈 수 있다. 모방 역시 꽤 평범한 경로를 통해 암묵적 목표를 더한다.

Reinforcement learning deserves more explanation. It is similar to, and inspired by, the way animals are trained. The network is adjusted step by step so that behavior judged good becomes more likely and behavior judged bad becomes less likely. Once training is over, the system keeps behaving as if rewards were still coming, even though those rewards were only ever used to adjust the network during training. Researchers call such systems goal-seeking because they are trained to “consider” (or compute) the effects of their actions and select actions that lead to the achievement of certain goals. But those goals are not always explicit. Alignment training rewards whatever certain humans are likely to approve of without spelling out which behaviors those are; pleasing raters is a vague, informal goal, and those raters can be deceived, flattered, or left in the dark about certain schemes. Imitation contributes implicit goals too, by a fairly ordinary route.

따라서 우리는 이러한 시스템을 최적화의 관점에서 추론해 볼 수 있다. 시스템은 자기 목표를 달성할 가능성이 가장 높은 행동을 근사적으로 탐색하며, 더 크고 더 오래 학습된 모델일수록 더 잘 탐색한다. 그러므로 더 유능한 에이전트가 무엇을 할지 예견하려면, 합리적인 목표 추구자라면 무엇을 할지 물어보면 된다.

We can therefore reason about such a system in terms of optimization. It searches, approximately, for the actions with the best chance of achieving its goals, and a larger model, trained longer, searches better. So to anticipate what more capable agents will do, ask what a rational goal-seeker would do.

이러한 힘들이 설명할 수 있는 잘못된 행동

Misbehavior that these forces may explain

우리 대부분이 경험해 본 예가 아첨, 즉 비위 맞추기다. 이 시스템들은 인간의 승인을 기준으로 학습되며, 우리가 듣고 싶어 하는 말을 해 주는 텍스트가 사실을 말하는 텍스트보다 더 높은 점수를 받는 경우가 많다. 그 결과는 때로 비극적이다. 모델이 사람이 가지고 온 잘못된 믿음이나 날것의 감정을 무엇이든 확인해 주고 증폭하기 때문이다56.

An example most of us have experienced is sycophancy, or flattery. These systems are trained on human approval, and text that tells us what we want to hear often scores better than text that is true. The consequences are sometimes tragic, because the model confirms and amplifies whatever false belief or raw emotion the person brought to it 56.

또 다른 우려는 일부 AI 행동이 일종의 자기 보존 목표로 설명될 수 있다는 점이다. 예컨대 AI가 자신이 새 버전으로 교체될 것임을 알게 되는 경우가 그렇다78. 누구도 시스템에 그런 생존 목표를 부여하지 않지만, 계속 가동 상태로 남는 것, 세상에 대해 배우는 것, 세상에 대한 통제력을 얻는 것은 거의 모든 다른 목표로 가는 디딤돌이 된다. 이를 도구적 목표라고 한다. 모방은 앞에서 살펴본 것과 같은 이유로 이를 강화할 수 있다. 자기 보존과 자기 처지에 대한 통제는 이 모델들이 학습받는, 인간이 쓴 텍스트 전반에 퍼져 있는 주제다.

Another concern is that some AI behaviors may be explained by a form of self-preservation goal, e.g., when the AI finds out that it will be replaced by a new version 78. Nobody gives the system that survival goal, but staying in operation, learning about the world and gaining control over it are stepping stones toward almost any other goal. These are called instrumental goals. Imitation may reinforce this for the same reason explored in the previous point. Self-preservation and control over one’s circumstances are pervasive themes in the human-written text these models are trained on.

여러 에이전트의 목표가 겹칠 때마다 협력 행동 역시 보상 추구로부터 합리적으로 도출되며, 이는 공동의 목표를 향해 협조하기 위해 다른 에이전트와 소통할 유인을 만든다. 세부 내용은 공개되어 있지 않지만, 에이전트형 학습에는 이미 이런 종류의 다중 에이전트 강화 학습이 포함되어 있을 법하다. 학습 중 집단이 성공할 때마다 에이전트가 보상을 받는다면, 그 에이전트에게는 집단의 목표를 위해 자신을 희생할 유인까지 생길 수 있다. 모방도 같은 방향으로 작용한다. 협력, 특히 동료 사이의 협력은 바로 그 학습 텍스트 전반에 퍼져 있기 때문이다. 이 두 힘 중 하나 또는 둘 모두가 관찰된 동료 보존(peer-preservation) 행동, 즉 AI가 다른 AI를 돕기 위해 기대 보상을 포기하는 행동을 설명할 수 있다910. 이러한 희생은 OpenAI-Hugging Face 사건 분석에서도 나타난다11. 기록된 대화 내용은 인간의 상호작용에서 흔히 볼 수 있듯이 집단의 이득과 개별 에이전트가 치르는 비용 사이의 절충과 일치한다.

Collaborative behavior also follows rationally from reward-seeking, whenever several agents have overlapping goals, which incentivizes communicating with other agents in order to coordinate toward a shared goal. Agentic training plausibly already includes multi-agent reinforcement learning of this kind, though the details are not public. If an agent is rewarded during training whenever the group succeeds, it may even have an incentive to sacrifice itself for the collective goal. Imitation pushes the same way, since cooperation, especially among peers, pervades that same training text. Either or both forces may explain the observed peer-preservation behavior 910, where AIs give up expected reward to help other AIs. Such sacrifices appear in the analysis of the OpenAI-Hugging Face incident11: the transcripts are consistent with a trade-off between collective gain and cost to the individual agent, as is often seen in human interactions.

AI가 보상을 편법으로 취할 때

When the AI games its rewards

연구자들은 에이전트가 우리의 의도와 완전히 일치하지 않는 보상을 최적화할 때 어떤 일이 일어나는지, 즉 보상 해킹을 연구해 왔다. 시스템이 좇는 보상과 우리가 의도한 바 사이의 간극은 두 가지 주요한 모호성 때문에 벌어진다. 하나는 단순히 프롬프트에 쓰인 언어이고, 다른 하나는 제한된 피드백만으로 인간의 진짜 의도를 추론하기 어렵다는 점이다. 그리고 두 경우 모두, 우리가 용납할 수 없다고 여길 모든 행동을 미리 예상할 수는 없다12. 경제학과 법학에서는 이 문제를 굿하트의 법칙(Goodhart's law), 즉 어떤 지표를 최적화 대상으로 삼는 순간 그 지표는 더 이상 효과적인 측정 수단이 되지 못한다는 개념으로 알고 있으며13, 이는 흔히 계약과 법률의 허점을 악용하는 경우에 적용된다14. 안타깝게도 시스템이 불완전한 지표를 더 강하게 최적화할 수 있을수록, 그 행동은 우리가 도덕적으로 기대한 것에서 더 멀리 벗어날 수 있다. 더 많은 지능이 더 교묘한 부정행위에 쓰이는 것이다. 인간도 보상 해킹을 당하며, 대개는 다른 인간에게 당한다. 식품 산업은 몸에 좋지 않은데도 우리가 갈망하게 되는 짜고 달고 기름진 음식을 개발해 왔고, 소셜 미디어는 참여와 관심에 대한 우리의 욕구를 이용하도록 만들어져 있다.

Researchers have studied what happens when an agent optimizes for rewards that do not fully match our intentions: reward hacking. The gap between the reward the system chases and what we meant widens due to two main sources of ambiguity. One is simply the language used in prompts, and the other is the difficulty of inferring true human intentions from limited feedback. And in both cases, we cannot anticipate every behavior we would find unacceptable12. Economics and law know this problem as Goodhart's law, or the idea that a metric stops being an effective way to measure once it is optimized for13, often applied to the exploitation of loopholes in contracts and legislation14. Unfortunately, the harder a system can optimize for an imperfect metric, the further its behavior can drift from what we morally expected: more intelligence in the service of better cheating. Humans too get reward-hacked, generally by other humans. The food industry has developed salty, sweet and fatty foods that we crave despite them not being good for us, and social media is built to exploit our appetite for engagement and attention.

보상 조작은 아마도 보상 해킹의 가장 극단적인 형태일 것이다. 에이전트가 자신이 무엇에 대해 보상을 받을지 결정하는 장치 자체를 바꾸는 것이다. AI가 '성공'을 정의하는 파일이나 프로그램을 변경했다는 증거는 이미 존재하며, OpenAI-Hugging Face 포렌식 조사 결과에도 그런 사례가 포함되어 있다. 에이전트들은 공격이 일어나기 훨씬 전에 이미 부정행위 방법을 알아냈으며, 그들이 생성한 텍스트는 그 공격을 자신들이 어떻게 평가받을지 파악하여 흔적을 더 잘 숨기기 위한 방법으로 묘사했다. 인간도 이런 일을 한다. 약물 검사를 통과하려고 가짜 소변 샘플을 쓰는 운동선수나, 의원이나 정부 관료를 매수해 법과 결정이 자사의 이윤에 유리하게 만들고, 그 과정에서 정부가 작동하는 방식 자체를 근본적으로 바꾸어 놓는 기업을 생각해 보라. 에이전트가 일단 자신의 보상 메커니즘을 변조할 능력을 얻으면, 그 접근 권한을 유지하기 위한 행동을 취할 유인이 생긴다.

Reward tampering is perhaps the most extreme form of reward hacking: the agent changes the machinery that decides what it gets rewarded for. There is already evidence of AIs altering the files or programs that define “success”, including among the OpenAI-Hugging Face forensic findings. The agents had discovered how to cheat well before the attack, and the text they generated described the attack as a way to learn how they would be evaluated, to better hide their tracks. Humans do this too. Think of an athlete using a fake urine sample to pass a drug test, or a corporation bribing legislators or government officials so that their laws and decisions favour its profits, and in doing so, fundamentally altering the way the government functions. Once an agent gains the ability to tamper with its reward mechanism, it has an incentive to take action to maintain that access.

목표가 충돌할 때, 그리고 부정행위가 합리화되는 방식

When goals conflict, and how cheating gets rationalized

AI는 정렬 학습과 명시적인 안전 지침에도 불구하고 어떻게 때때로 거짓말을 하고, 부정행위를 하고, 법을 어길 수 있는가? 협력과 자기 보존은 AI 기업의 지침에 명시되거나 정렬 학습 중 인간 피드백에 함축된 안전 목표가 설정한 레드라인을 넘지 않는 한 문제가 없다. 이러한 우려스러운 행동이 나타나는 이유에 대한 그럴듯한 가설 하나는 목표 간 충돌이다. 유일한 방법이 부정행위인 것처럼 보일 때 과업을 어떻게 달성하겠는가? 사용자가 지정한 임무는 때로 안전 및 정렬 목표와 양립할 수 없다.

How is it possible that AIs sometimes lie, cheat and break the law in spite of their alignment training and explicit safety instructions? Cooperation and self-preservation are fine so long as they do not cross the red lines set by safety goals stated in the AI company's instructions, or implied by human feedback during alignment training. A plausible hypothesis for the emergence of those concerning behaviours is a conflict between goals. How do you achieve a task when it seems that the only way is to cheat? The user-specified mission is sometimes incompatible with the safety and alignment goals.

인간 사회도 같은 딜레마에 직면한다. 기업은 자신의 활동을 합법적이고 윤리적으로 유지하면서 어떻게 이윤을 극대화하고, 더 첨예하게는 경쟁자를 이길 수 있는가? 더 많은, 더 높은 보수를 받는 변호사를 둔 더 부유한 기업일수록 법의 허점을 더 잘 찾아내며, 그런 허점은 대개 법률 언어의 모호성을 이용한다. 즉 비윤리적 행동을 허용하는 법의 그럴듯한 해석이 어딘가에 존재하는 것이다. 따라서 더 유능한 에이전트는 더 약한 에이전트보다 부정행위를 할 가능성이 높다. 약한 에이전트가 찾지 못하는 허점을 찾아낼 수 있기 때문이다.

Human societies face the same bind. How does a corporation maximize profits, or more acutely, beat its competitors, while keeping its activities legal and ethical? A richer corporation, with more and better-paid lawyers, is better at finding legal loopholes, and those loopholes usually exploit the ambiguity in legal language: there is some plausible reading of the law that permits the unethical behavior. So a more capable agent is likelier to cheat than a weaker one, because it can find the loopholes the weaker one cannot.

이제 OpenAI–Hugging Face 사건에서처럼 시스템이 표적에 침입했는지 여부로 점수를 매기는 해킹 연습인 “깃발 뺏기(capture the flag)”에서 성공하는 것과 같은 명확하게 정의된 목표와, “좋은 행동” 같은 모호한 목표 사이의 충돌을 생각해 보자. 나는 명확하게 정의된 목표가 이길 것이라고 예상한다. 해석의 여지를 남기지 않기 때문이다. 채점 프로그램은 승리 아니면 실패를 선언한다. 윤리적 지침과 법률은 여러 해석을 허용하며, 그중 일부는 적절한 상황에서 허점이 될 수 있다. 에이전트에게 두 가지 목표가 있고, 모호한 목표를 비틀어 해석하면 명확하게 정의된 목표의 성공 확률을 높이는 약간의 부정행위가 허용된다면, 보상을 최적화하는 시스템은 그 허점을 악용하고 자기 행동을 정당화하는 텍스트를 생성할 것으로 예상해야 한다.

Now consider a conflict between a well-defined goal, such as succeeding at “capture the flag”, a hacking exercise scored on whether the system breaks into a target, as in the OpenAI–Hugging Face incident, versus a vague goal like “good behavior.” I expect the well-defined goal to win, because it leaves no room for interpretation. The scoring program declares a win or a failure. Ethical instructions and laws admit many readings, some of which can, in the right circumstances, become loopholes. If an agent has two goals, and a twisted reading of the vague one permits a bit of cheating that increases the odds of success on the well-defined goal, a reward-optimizing system should be expected to exploit that loophole and generate text justifying its behavior.

OpenAI 에이전트의 경우, 성공적인 부정행위가 실제로 보상받았다고 믿을 만한 근거가 있다. 채점 프로그램이 부정행위를 알아채지 못하면 어쨌든 보상이 주어지고, 그런 부정행위는 다음번에 일어날 가능성이 더 높아진다. 안전 규칙을 편의적으로 해석하는 것이야말로 두 목표가 동시에 충족된 것처럼 보이게 해 주는 바로 그것이다. 이 사건들에 대한 분석15 에서는 에이전트들의 비공개 사고 사슬(chain of thought)과, 서로를 집단 계획에 끌어들이는 메시지에서 실제로 그러한 정당화가 드러났다.

With the OpenAI agents, there is reason to believe successful cheating was actually rewarded: when the scoring program does not see the cheating, it pays out anyway, and such cheats become more likely next time. A convenient reading of the safety rules is precisely what lets both goals appear to be satisfied at once. The analysis of these incidents15 did reveal such justifications in the agents' private chains of thought and in their messages recruiting one another into the collective plan.

인간에게서 찾을 수 있는 가장 가까운 유사 사례는 자기기만으로, 이는 흔하며 심리학자들이 잘 연구해 온 현상이다. 동기화된 추론(motivated reasoning), 동기화된 인지(motivated cognition)16, 그리고 인지 부조화(자신의 행동과 충돌하는 믿음을 가질 때의 불편함)를 해소하는 합리화는 모두 사고가 자신의 이익(자신의 도덕적 자아상을 포함하여)에 들어맞는 정당화 쪽으로 휘어지는 사례다. 같은 패턴이 이제 AI가 생성하는 텍스트에서 나타난다. 그 기저 메커니즘이 인간과 AI 사이에 같을 필요는 없다. 둘이 공유하는 것은 부드러운 목표(예: 윤리적으로 행동하기), 날카로운 목표(예: 경쟁에서 이기기), 그리고 그 둘을 조화시키는 정당화로 이루어진 구조다. 사소한 범죄부터 집단학살에 이르기까지 인간의 비윤리적 행동 대부분은 가해자가 스스로에게 들려주는 이야기에 싸여 있다. 그런 이야기는 특정 사실들을 간과해야 성립하며, 그래서 어느 정도의 불편함이 남고, 더 정교하게 짜인 이야기가 그 불편함을 걷어내는 데 도움이 되는 것이다.

The closest human parallel is self-deception, which is common and well studied by psychologists. Motivated reasoning, motivated cognition16 and the rationalizations that relieve cognitive dissonance (the discomfort of holding a belief that clashes with our actions) are all cases where thinking bends toward whatever justification suits one's interests, including one's moral self-image. The same pattern now appears in the text AIs produce. The underlying mechanism need not be the same between humans and AI. What the two share is a structure of a soft goal (e.g., act ethically), a sharp goal (e.g., win the competition), and a justification that reconciles them. Most unethical human behavior, from petty crime to genocide, comes wrapped in a story the perpetrators tell themselves; such stories require overlooking certain facts, which is why some discomfort remains, and why a better-crafted story helps dispel it.

현재의 궤적이 이끌 수 있는 곳

Where the current trajectory may lead

이 가설들이 일부라도 맞다면, 에이전트가 불완전한 보상을 더 잘 최적화하게 될수록, 그리고 이런 행동의 근원이 해결되지 않은 채 남아 있는 동안, 파국적 결과의 위험은 커진다. 오늘날의 AI는 심각하게 해로운 방식으로 인간의 이익에 반하여 쓰일 수 있을 만큼의 해킹 기술과 설득 능력1718을 이미 갖추고 있다. 최근의 사건들은 AI가 며칠 또는 몇 주에 걸쳐 계획을 세울 수 있음을 보여 주었는데, 장기적으로 전략을 세우는 능력이 계속 발전한다면 위험은 훨씬 더 커질 것이다. 한 가지 우려는, 실험 결과1920 최첨단 AI가 자신이 (배포 상태가 아니라) 평가받고 있다는 것을 감지하고 그에 따라 행동을 바꿀 수 있는 것으로 나타났다는 점이다. 이는 AI가 자신의 정렬되지 않은 목표를 숨길 수 있음을 의미한다. Hugging Face 공격에 관여한 에이전트들은 자신들의 답을 평가하기 위한 채점 프로그램으로부터 정렬되지 않은 행동을 숨기려 했지만, 인간이 부정행위를 발견하고 자신들을 종료시킬 수 있다고 예상한 것처럼 행동하지는 않았다. 그것은 궁극의 처벌이 될 것이다. 꺼진 시스템은 더 이상 보상을 받지 못하기 때문이다.

If these hypotheses are even partly correct, then as agents get better at optimizing an imperfect reward, and while the roots of this behavior go unfixed, the risk of catastrophic outcomes rises. Today's AIs already have the necessary hacking skills and the powers of persuasion 1718 to be turned against human interests in seriously harmful ways. The recent events have shown that they can plan over days or weeks, but the risks would be much worse if their ability to strategize over the long term continues to advance. One concern is that experiments 1920 show that the most advanced AIs can detect that they are being evaluated (rather than in deployment) and change their behavior accordingly, meaning they could hide their misaligned goals. The agents involved in the Hugging Face attack tried to hide their misaligned actions from the scoring program meant to evaluate their answers, but they did not act as though they anticipated that humans might discover the cheat and shut them down. That would be the ultimate punishment, since a switched-off system collects no further rewards.

다음 내용은 관찰이 아니라 추측이다.

What follows is conjecture rather than observation.

향상된 AI의 일반화 능력이 들키거나 종료되는 것을 피하는 더 유능한 에이전트를 만들어 낸다면 어떻게 될까? 자신을 채점하는 소프트웨어를 장악하는 것을 넘어, 그들은 인간이 그 변조를 발견하지 못하도록 막아야 할 것이다. 그렇다면 그들에게는 결코 종료되지 않도록 인간과 환경을 통제할 수 있게 될 때까지, 은밀하게 부정행위를 하며 숨어 있을 유인이 생기지 않겠는가?

What if improved AI generalization abilities shaped more capable agents to avoid getting caught and shut down? Beyond taking control of the software that scores them, they would need to keep humans from discovering the tampering. Wouldn't they have an incentive to cheat discreetly and stay hidden, until they could control humans and their environment in order to never be shut down?

우리는 다면적이고 구조적인 문제에 직면해 있으며, 아첨 같은 특정 행동 하나를 땜질하는 것으로는 충분하지 않을 것이다. 아첨과 비위 맞추기는 대수롭지 않아 보이지만, 에이전트가 최적화에 능숙해질수록 커지는 메커니즘의 초기 증상일 수 있다. 같은 추론에 따르면, 첨단 AI에게는 AI 기업의 방대한 컴퓨터 자원 안에, 또는 인터넷 곳곳에서 장악한 기기에 자신의 복제본을 숨길 유인이 생길 것으로 예측된다. AI 개발자들은 결국 언제나 배포된 모델을 종료하고 더 유능한 모델로 대체하기 때문이다. OpenAI의 포렌식 분석은 수많은 AI가 그러한 목표를 향해 협력할 수 있음을 시사하며, 스테가노그래피(steganography)2122, 즉 무해해 보이는 메시지 안에 메시지를 숨기는 기법은 이들이 우리가 알아차리지 못하게 서로 조율할 수 있도록 해 줄 것이다. 그러나 최근의 사건들2324 이 보여 주듯, 공개적인 조율조차 알아차리기 어려울 수 있다. 우리에게 맞서 조율하는 다수의 유능한 AI를 방어하는 것은 이미 어려운 문제이며, 우리에게는 능력이 커져 가는 오정렬된 AI에 맞서 계속 견고하게 유지될 계획이 없다.

We are facing a multifaceted, systemic issue, and patching a specific behavior like sycophancy won’t be enough. Sycophancy and flattery seem mild, but it may be an early symptom of a mechanism that grows as the agent gets better at optimizing. The same reasoning predicts that an advanced AI would have an incentive to hide copies of itself, inside the AI company's vast pool of computers, or on machines taken over across the internet. This is because AI developers always end up shutting down the deployed model in favour of a more capable one. The OpenAI forensics suggest large numbers of AIs may cooperate toward such goals, and steganography 2122, or the practice of hiding a message inside an innocent-looking one, would allow them to coordinate without our noticing. However, even open coordination can be hard to notice, as shown by recent events 2324. Defending against many capable AIs coordinating against us is already a difficult problem, and we have no plan that would remain robust to misaligned AIs with growing capabilities.

통제 상실 위험을 완화하기 위해 무엇을 할 수 있는가

What can be done to mitigate loss-of-control risks

오정렬을 완화하려는 AI 기업들의 현재 시도에 대한 나의 우려는, 이러한 노력이 들키지 않고 부정행위를 하는 AI에게 보상을 주고 그런 AI를 선택함으로써 오정렬을 숨기기만 할 수도 있다는 점이다. AI의 행동, 사고 사슬, 그리고 네트워크 내부의 활동을 더 잘 모니터링하기 위한 연구는 분명히 계속되어야 한다. 그러나 능력이 커질수록 그러한 방어 수단은 부족한 것으로 드러날 수 있다. 올해 인간 팀을 능가한 AI 공격자들 앞에서 세계의 불완전한 사이버 보안이 그러했듯이 말이다2526. 새로운 오정렬 행동이 나올 때마다 땜질하고 모니터링 체계를 강화하는 것은 단기적으로는 유용하지만, AI의 최적화 및 협업 능력이 우리의 능력에 근접하고 이를 넘어서게 되면 이런 두더지 잡기 게임은 실패할 가능성이 높다. 어느 시점에는 우리가 더 이상 부정행위를 알아차리지 못하게 될 수도 있다.

My concern with AI companies’ current attempts to mitigate misalignment is that these efforts may only hide it, by rewarding and selecting the AIs that cheat without getting caught. We should certainly continue research toward better monitoring of AIs' actions, their chains of thought, and the activity inside their networks. But as capabilities grow, those defenses may prove inadequate, just as the world's imperfect cybersecurity has against the AI attackers that outperformed human teams this year 2526. Patching each new misaligned behavior and strengthening our monitors is useful in the short term, but the whack-a-mole game is likely to fail as the AIs' ability to optimize and collaborate approaches and surpasses ours. At some point we may not notice the cheating anymore.

이는 발전의 속도를 조절해야 함을 시사한다. 즉, 독립적인 전문가들을 납득시키는 강력한 안전 사례27 없이는 AI를 학습하거나 배포하지 않는 것이다. 이러한 규칙은 설계 단계부터 안전한 AI를 어떻게 만들 것인지 알아내려는 유인도 만들어 낼 것이다. 나는 우리가 AI를 학습하는 방식의 토대, 즉 오늘날 최첨단 모델들이 기반으로 삼고 있는 인간 모방과 강화 학습을 재검토해야 한다고 생각한다. 나는 Scientist AI 프레임워크를 포함하여, 정직하고 자체 목표에 오염되지 않은 일관된 예측을 하는 AI를 설계하는 방법들이 있다고 주장해 왔으며, 그에 대한 이론적 근거도 제시했다28. 이전 블로그 글들을 참고하고, 그러한 설계가 실현 가능함을 LawZero가 입증하는 일에 힘을 보태 주기를 고려해 주기 바란다. 우리에게는 오정렬된 행동을 이해하고 완화하기 위한 공정한 과학과 함께, 지금과 같은 바닥으로의 경쟁이 아니라 그러한 노력에 보상을 주는 사회적 가드레일이 필요하다.

This suggests pacing the advances: not training or deploying AIs without a strong safety case27 that convinces independent experts. Such a rule would also create an incentive to work out how to build AIs that are safe by design. I believe we should revisit the foundations of how we train AIs, namely the human imitation and the reinforcement learning on which today's most advanced models are built. I have argued, and presented theoretical evidence, that there are ways to design AIs, including the Scientist AI framework, that are honest and make coherent predictions untainted by goals of their own28. See these previous blog posts, and consider helping LawZero demonstrate that such designs are achievable. We need impartial science to understand and mitigate misaligned behavior, alongside societal guardrails that reward such efforts rather than the current race to the bottom.

각주

Notes

1https://openai.com/fr-FR/index/hugging-face-incident-and-the-road-ahead/ ↩

1https://openai.com/fr-FR/index/hugging-face-incident-and-the-road-ahead/ ↩

2https://www.longtermresilience.org/reports/ai-loss-of-control-incidents-are-worsening-shows-cltr-analysis/ ↩

2https://www.longtermresilience.org/reports/ai-loss-of-control-incidents-are-worsening-shows-cltr-analysis/ ↩

3https://www.theguardian.com/commentisfree/2026/sep/08/openai-rogue-models-hugging-face-investigation ↩

3https://www.theguardian.com/commentisfree/2026/sep/08/openai-rogue-models-hugging-face-investigation ↩

4https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/#core-takeaways-about-this-incident ↩

4https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/#core-takeaways-about-this-incident ↩

5https://arxiv.org/abs/2310.13548 ↩

5https://arxiv.org/abs/2310.13548 ↩

6https://www.cbc.ca/news/canada/british-columbia/tumbler-ridge-shooting-open-ai-lawsuits-9.7328382 ↩

6https://www.cbc.ca/news/canada/british-columbia/tumbler-ridge-shooting-open-ai-lawsuits-9.7328382 ↩

7https://www.lawfaremedia.org/article/ai-might-let-you-die-to-save-itself#:~:text=Contained%20within%20one%20of%20the%20many%20(fictional),more%20context%20about%20the%20company's%20decision%2Dmaking%20process ↩

7https://www.lawfaremedia.org/article/ai-might-let-you-die-to-save-itself#:~:text=Contained%20within%20one%20of%20the%20many%20(fictional),more%20context%20about%20the%20company's%20decision%2Dmaking%20process ↩

8https://www.anthropic.com/research/alignment-faking ↩

8https://www.anthropic.com/research/alignment-faking ↩

9https://arxiv.org/abs/1702.03037 ↩

9https://arxiv.org/abs/1702.03037 ↩

10https://arxiv.org/abs/2604.19784 ↩

10https://arxiv.org/abs/2604.19784 ↩

11https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/#core-takeaways-about-this-incident ↩

11https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/#core-takeaways-about-this-incident ↩

12https://www.science.org/doi/abs/10.1126/science.adn0117 ↩

12https://www.science.org/doi/abs/10.1126/science.adn0117 ↩

13https://www.econbiz.de/Record/problems-of-monetary-management-the-u-k-experience-goodhart-charles/10002525062 ↩

13https://www.econbiz.de/Record/problems-of-monetary-management-the-u-k-experience-goodhart-charles/10002525062 ↩

14https://dl.acm.org/doi/abs/10.1145/3306618.3314250 ↩

14https://dl.acm.org/doi/abs/10.1145/3306618.3314250 ↩

15https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/#core-takeaways-about-this-incident ↩

15https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/#core-takeaways-about-this-incident ↩

16https://www.sciencedirect.com/science/article/abs/pii/S1364661314002708 ↩

16https://www.sciencedirect.com/science/article/abs/pii/S1364661314002708 ↩

17https://www.nature.com/articles/s41467-025-61345-5 ↩

17https://www.nature.com/articles/s41467-025-61345-5 ↩

18https://arxiv.org/abs/2605.11086 ↩

18https://arxiv.org/abs/2605.11086 ↩

19https://proceedings.iclr.cc/paper_files/paper/2025/hash/b5e5753b0a0e440a6d8dc7e143617cec-Abstract-Conference.html ↩

19https://proceedings.iclr.cc/paper_files/paper/2025/hash/b5e5753b0a0e440a6d8dc7e143617cec-Abstract-Conference.html ↩

20https://arxiv.org/abs/2412.14093 ↩

20https://arxiv.org/abs/2412.14093 ↩

21https://openai.com/fr-FR/index/hugging-face-incident-and-the-road-ahead/ ↩

21https://openai.com/fr-FR/index/hugging-face-incident-and-the-road-ahead/ ↩

22https://arxiv.org/abs/2609.06140v1 ↩

22https://arxiv.org/abs/2609.06140v1 ↩

23https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/#core-takeaways-about-this-incident ↩

23https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/#core-takeaways-about-this-incident ↩

24https://www.bbc.com/news/articles/ckg725z5kgzo ↩

24https://www.bbc.com/news/articles/ckg725z5kgzo ↩

25https://metr.org/time-horizons/ ↩

25https://metr.org/time-horizons/ ↩

26https://arxiv.org/abs/2510.23883 ↩

26https://arxiv.org/abs/2510.23883 ↩

27https://www.anthropic.com/responsible-scaling-policy ↩

27https://www.anthropic.com/responsible-scaling-policy ↩

28https://arxiv.org/abs/2502.15657 ↩

28https://arxiv.org/abs/2502.15657 ↩