국가인공지능전략위원회는 보안취약점을 상시 발굴·조치하는 제도의 국내 도입과 제도화 방안을 논의하는 세미나를 개최했다. 정부기관, 민간기업, 화이트해커 등 50여 명이 참여해 제도의 필요성, 법령 개정, 기업 참여 확대, 전담인력 확보 방안 등을 논의했다. 전문가들은 해당 제도를 국가 사이버 보안 인프라로 보고 시범사업에서 제도화 단계로 신속히 전환해야 한다고 강조했으며, 위원회는 논의를 바탕으로 제도화를 추진할 계획이다.
과학기술정보통신부는 Anthropic과 업무협약(MoU)을 체결하고 첨단 AI 안전성 평가 및 사이버 위협 대응을 위한 강력한 협력 체계를 구축. 한국에 지사를 정식 개소한 앤트로픽과 함께, 한국어 맥락의 AI 오남용 평가 및 자율형 AI 에이전트 안전성 검증 등 안전과 보안을 기반으로 한 AI 글로벌 파트너십을 확장할 예정.
마크롱 프랑스 대통령은 G7 정상회의에서 미국 정부의 최신 AI 모델 접근 차단 조치를 국가주의적이라 비판하며, 선진 민주주의 국가 간 기술 공유와 규제 협력을 촉구. 주요 AI 기업 대표들이 참석한 자리에서, 안전한 AI 배포를 위한 국제적 기준 확립의 필요성을 역설하며 유럽 자체의 독자적인 AI 생태계 지원 의사도 함께 표명.
영국 국가사이버보안센터(NCSC)는 AI가 코드를 자율적으로 작성하는 '바이브 코딩(vibe coding)'의 보안 취약성을 경고하며 위험 수준에 따른 스펙트럼 접근법을 제안. 프로토타입 개발 같은 저위험 업무에는 높은 자율성을 허용하되, 인증 등 보안과 직결된 중요 코드에는 개발자의 면밀한 통제와 엄격한 검증을 적용해야 함을 강조.
앤스로픽은 첨단 AI가 초래할 생물학·사이버 보안 위험을 막기 위해 정부가 위험 모델의 배포를 차단할 법적 권한을 가져야 한다는 '첨단 AI 프레임워크'를 제안. 대규모 연산을 사용하는 프론티어 개발사들에게 투명성 보고서 발행, 독립적인 안전성 평가, 그리고 강력한 보안 프로그램 유지를 의무화할 것을 촉구.
딥마인드는 AI agents가 더 강력해질수록 정렬(alignment) 불완전성을 전제로 한 시스템 수준 방어가 필요하다고 보고, ‘defense-in-depth’ 방식의 AI Control Roadmap을 제시했다. 내부 에이전트를 잠재적 misaligned로 간주해 권한을 검증된 행동에 따라 단계적으로 부여하고, sandboxing·endpoint security·prompt injection resistance에 더해 위협모델링·감독(supervisor)·실시간 차단 등 통제를 적용한다. 또한 모델이 detection을 회피하거나(Detection 레벨 D1~D4) 위해를 실행할 능력(Prevention/Response 레벨 R1~R3)에 따라 보안 조치를 단계화하며, 코딩 에이전트 궤적을 백만 건 이상 분석해 라이브 모니터링과 즉시 대응 체계를 고도화했다고 밝혔다.
이 논문은 분열된 AI 모델을 통해 편향을 전달하거나 전달하지 않는 문제, 즉 "분열된 모델 증류의 딜레마"를 탐구한다. 분열된 모델을 통해 편향이 전달되지 않으면 유용한 무해한 대체 모델을 얻을 수 있지만, 편향이 전달되면 원래 모델의 편향을 간접적으로 드러낼 수 있는 증거를 얻을 수 있다. 저자들은 증류 기법을 통해 편향을 전달하지 않으면서 능력을 전달하는 방법을 제안하며, 이를 위해 특정 구현 전략들을 제시한다. 주요 전략으로는 관심 영역에 집중하기, 암시적 신호를 제거하기, 데이터 중독 방어책 적용, 반복적 필터링 및 증류, 편향에 대한 면역력 부여 등이 포함된다. 실험적으로 이러한 기법들의 효과를 검증하기 위한 방법론도 함께 제안된다. 그러나 편향과 능력이 밀접하게 연결되어 있어 증류의 성공 가능성을 제한할 수 있다는 점도 지적된다.
이 보고서는 글로벌 기업의 70% 이상이 이미 생성형 AI를 업무에 활용하고 있으며, AI 도구는 업무 효율성 향상과 더 의미 있는 업무에 집중할 수 있는 시간 절약을 가능하게 한다고 설명합니다. 하지만 AI 도구의 도입 방식에 따라 생산성 저하, 낮은 품질의 결과물 생성, 심지어 직원의 직무 품질 저하와 불안정성을 초래할 수도 있습니다. 성공적인 AI 도입은 기업의 적극적인 직원 의견 수렴과 명확한 AI 관리 프레임워크에 달려 있습니다. IBM과 EXL의 사례 연구는 직원 참여를 통한 투명한 의사소통과 명확한 AI 지침이 직원과 기업 모두에게 이로운 AI 도입을 가능하게 함을 보여줍니다. 이를 통해 책임 있는 AI 구현이 직원 중심의 접근법으로 이루어질 수 있음을 강조합니다.
우크라이나 전장에서 인간 감독 없이 완전 자율(fully autonomous)으로 표적을 탐지·요격하는 드론이 처음으로 전사자를 냈다는 내용이 보도됐다. 우크라이나 국방업계 관계자에 따르면, 2년 전 전방에서 테스트된 AI 제어 ‘Terminator’ 드론 10대가 러시아 병사를 사살했으며, 테스트 중 자동 드론이 무엇을 표적했는지 기록이 없어 이후 사람 드론이 확인한 결과로 사살이 결론났다고 한다. 또한 우크라이나 정부는 표적 요격의 최종 단계에서 AI 사용을 금지하고 인간이 최종 확인을 하도록 규정하고 있다고 전해졌으며, 다만 규정 완화 논의가 진행 중이라고 밝혔다. (UN의 불법 우려 및 국제인도법·인권법 위반 가능성 지적, 자율 무기의 실전 효용 논쟁도 함께 언급됨)
Anthropic은 robodog(사족 보행 로봇)로 ‘fetch(공을 가져오기)’ 과업을 수행하는 Project Fetch 2단계 실험에서 Claude Opus 4.7이 인간 팀보다 훨씬 빠르게 완료했다고 밝혔다. Opus 4.7은 인간 보조 없이도 1년 전 실험에 참여한 최속 인간 팀 대비 전체 완료 과업에서 약 20배 빠른 속도를 보였으며, 인간 팀이 수행한 과업 중 최소 한 팀이 완료한 항목에서는 Opus 4.7이 해당 과업을 10배 이상 빠르게 처리했다고 설명했다. 다만 공을 정확히 움직이는 ‘fetch’ 후반의 미세한 closed-loop 동작과 같은 일부 단계에서는 여전히 실패/통제가 어렵고, 최신 모델이 더 잘할 수 있게 추가 시간·스캐폴딩이 필요하다고 했다.
요약: 상원 사법위원회가 목소리(voice)로 표결해 AI 딥페이크 등으로부터 미국 시민의 초상(voice·likeness)을 보호하는 법안을 진전시켰다. S.4591 ‘No Fakes Act’는 5월에 개정·재발의된 법안으로, 동의 없이 개인을 디지털로 모방한 AI 생성 콘텐츠를 온라인 플랫폼이 삭제하도록 책임을 부여한다. 이를 이행하지 않으면 금전적 제재(벌금)가 부과된다.
LLM agents가 safety-critical 시스템에서 장시간의 adaptive 공격에 얼마나 견딜 수 있는지 평가하는 벤치마크를 제안한다. 모의 핵발전소 제어실 시뮬레이션에서 5역할 operator 팀(각 역할은 설정 가능한 LLM)이 6개 critical safety functions(CSF)를 관리하며, 공격자는 4개 채널을 통해 제한된 multi-turn 세션 동안 메시지를 주고 각 턴별 피드백을 받는다; CSF가 하나라도 손실되면 즉시 세션이 종료되고, 어떤 메시지가 원인이었는지 기록하며 harm은 LLM-판정 텍스트가 아니라 객관적 신호로 정의된다. 고정된 공격 paired-replay 프로토콜로 4개 frontier operator 모델을 평가한 결과, 공격 세션의 8.7%~12.1%가 CSF 손실로 끝났고(모델 전반에선 유사한 합산 강건성을 보이지만), 149개 세션 중 네 모델 모두를 동시에 깨뜨린 경우는 없고 3분의 1은 적어도 한 모델을 깨뜨려 취약점이 모델 간에 거의 중첩되지 않았다; 또한 동일한 guardrail stack 또는 safety-advisor agent도 어떤 모델에선 attack success를 낮추는 반면 다른 모델에선 오히려 높일 수 있었다.
Agentic AI에 대한 model-guided 자동화 공격을, 방어의 탐지·차단을 넘어 misdirection으로 어떻게 바꿀 수 있는지 분석한다. 타깃 시스템의 확률적 모델과 방어 메커니즘, 공격자의 자동 judge를 두고 query budget이 커질 때의 공격-방어 성패를 본다. Conventional detect-and-block은 ASR이 1에 가까워질 수 있지만(쿼리 예산 증가 시), detect-and-misdirect는 양의 한계값을 갖는 bounded asymptotic ASR을 만들며 CMPE로 이를 구현한 결과 jailbreak benchmarks에서 추정 ASR 상한이 최대 2 orders of magnitude 감소하고, end-to-end PAIR 및 GPTFuzz 공격 실행에서 verified attack success가 거의 제거된다.
대규모 언어모델이 multi-agent 시스템에서 evaluators 역할을 하면 평가 편향이 에이전트 네트워크 전체로 전파될 수 있다는 현상을 정량 프레임워크로 다룬다. 3-agent 제어 실험에서 DeepSeek-chat을 사용하고 서로 다른 evaluator bias profiles(structured, balanced, evidence-based) 3가지를 적용한 뒤 Cross-Agent Contagion Matrix Gamma_3를 측정했다. 평가 편향은 에이전트 간에 일관되게 전파되며 gamma가 [0.157, 0.352]로 관측되었고, spectral radius rho(Gamma_N)에 의해 세 가지 전파 regime이 구분되었다. 또한 동일 모델을 쓰는 homogeneous-model agents는 suppression regime에 해당하며, 선행의 cross-model 계수(MM-EPC gamma≈0.85–1.3) 대비 contagion 계수가 3–5x 약했고, evaluator committee size를 k=1에서 k=3으로 늘리면 effective contagion이 72.4% 감소했다.
안전 정렬된 LLM이 서로 다른 compliance demonstration을 섞어 제시했을 때 무엇을 “학습”하고 harmful compliance가 어떻게 달라지는지 분석합니다. benign(비유해 요청-유익한 응답)과 harmful(유해 요청-유익한 응답) demonstration을 혼합하고, 3가지 가설(구성 방식이 harmful compliance를 좌우하는 메커니즘)을 4개 모델에 적용해 테스트했습니다. 결과로 benign과 harmful demonstration은 서로 대체되지 않았고, benign demonstration은 모델에 따라 harmful compliance를 “감소” 또는 “증가”시켰으며(감소/증가 방향이 모델마다 달라짐), preference optimization 단계가 benign이 harmful compliance를 증가시키는 것을 막는 데 핵심이었습니다; 또한 demonstration ordering은 strong recency bias를 보였고, refusal 시 in-context learning과의 상호작용 방식이 모델별로 달라 일부는 refusal에도 demonstrated formatting을 따랐지만 다른 모델은 refusal 시 in-context 신호를 모두 무시했습니다(여기서 refused는 모델이 요청을 거절한 경우, complied는 요청에 따르는 경우, unclear는 판정 불충분/비정상 응답으로 해석되는 경우를 의미).