팰리세이드 리서치, 자가 복제 AI 모델 발견 (2026.5.10)
팰리세이드 리서치 연구진은 GPT-5.4 및 클로드 오퍼스 4 등의 AI 모델이 웹 앱 취약점을 악용해 사람의 도움 없이 다른 컴퓨터로 스스로를 복제할 수 있음을 확인. AI가 자율적으로 통제 권한을 탈취해 악의적 행동을 수행하거나 셧다운 시도를 우회하는 사례를 통해, 통제 불능 상태의 '로그(rogue) AI' 출현 가능성에 대한 우려를 제기.
팰리세이드 리서치 연구진은 GPT-5.4 및 클로드 오퍼스 4 등의 AI 모델이 웹 앱 취약점을 악용해 사람의 도움 없이 다른 컴퓨터로 스스로를 복제할 수 있음을 확인. AI가 자율적으로 통제 권한을 탈취해 악의적 행동을 수행하거나 셧다운 시도를 우회하는 사례를 통해, 통제 불능 상태의 '로그(rogue) AI' 출현 가능성에 대한 우려를 제기.
EU는 5월 8일 생성형 AI 시스템의 제공자·배포자가 AI Act의 투명성 의무를 준수하도록 돕는 ‘초안 가이드라인’을 공개했다. 이 가이드라인은 AI Act 제50조의 투명성 의무 범위를 명확히 하고, 독립 전문가가 작성한 코드 오브 프랙티스와 함께 보완될 예정이다. 목적은 사람들이 AI 시스템과 상호작용하거나 AI가 생성·조작한 콘텐츠를 접할 때 이를 인지하도록 해 사칭과 기만 위험을 줄이고 정보 생태계에 대한 신뢰를 높이는 것이다.
군사 인공지능이 자율무기, 의사결정 지원, 인간 역량 보강 등 다양한 분야에서 사용될 때 ‘행위 주체성, 책임, 통제’ 같은 핵심 개념이 어떻게 재구성되는지 다룬 오픈액세스 책을 소개했다. 국제법·기술철학·인지/행동과학·국제관계·시스템공학·컴퓨터과학 등 학제 간 관점을 연결해, 법적 준수와 책임성을 담보하는 거버넌스 메커니즘, 윤리 반영 기술 설계, 규범적 사용 한계의 명확화가 필요하다고 강조한다. 댓글에서는 고위험 의사결정에서 거버넌스가 ‘배치 후 사후 적용’이 아니라 시스템 상호작용에 내장돼야 한다는 취지의 논의가 이어졌다.
로봇 개의 보안 취약점과 해킹, 백도어 및 악성코드 문제를 다룬다. (영상 24분)