AI 안전 다이제스트

2026-07-12 · 7건

🇰🇷 지구 최강 ‘인간 화이트 해커’와 ‘AI 해커’가 격돌 (기사·공고 게재일: 2026.07.12)

언론 · 매일경제 · 🔒

인공지능이 코드를 분석하는 단계를 넘어 취약점을 직접 찾는 흐름에 맞춰, 국제 해킹방어대회 ‘코드게이트 2026’이 서울 코엑스에서 열린다. 88개국 3333명이 참가한 예선을 통과한 팀들이 본선에서 하드웨어 칩 분석, 클라우드 가상화 환경, 웹·상용 소프트웨어 공격, 운영체제 커널 영역 공격 등 문제를 제퍼디 방식으로 풀며 경쟁한다. 올해는 KAIST가 개발한 AI 해커를 실제 선수로 본선에 투입해 인간 해커와 같은 문제에서 취약점 탐지 능력을 겨루는 국내 첫 대결을 진행하며, 보안 석학 강연과 AI 관련 오픈토크, 실습형 교육·해커톤 등도 마련된다.

Trustworthy AI Cards™ 50장 덱 출시 안내 및 사용 용도(2026.7.12)

기타 · AIethicist.org · ⚖️

Trustworthy AI Cards™는 Data, AI, Generative AI, Governance, Society 5개 범주에 해당하는 50개 개념을 카드 형태로 정리한 덱이다. 각 카드는 개념 정의, 토론을 시작하는 Q&A, 예시 사용 사례, 추가 질문 3개, 그리고 보호된 웹페이지의 Further Resources에 연결되는 QR 코드로 구성되며 웹페이지는 동적으로 업데이트된다고 설명한다. 개인 학습부터 임원/직원 AI 거버넌스 워크숍, 교육기관 수업·도서관 활용, 컨설팅 및 옹호 활동 등 다양한 대상과 목적에 쓸 수 있다고 소개한다.

Divide and Conquer: Policy-Aware Jailbreak Defense for Large Language Models (2026.7.12)

연구 · 🧪

대규모 언어모델의 jailbreak 공격이 유발하는 정책 위반을 막기 위해, 프롬프트가 어떤 정책을 위반하는지 먼저 분류하고 그에 맞춰 대응하는 방어 프레임워크를 제안한다. PolicyGuard는 (1) concept analysis로 유해 여부와 위반 정책(예: privacy invasion)을 식별하는 정책 분류 구성요소와, (2) prompt tuning으로 입력 프롬프트를 수정해 비유해 출력을 생성하도록 하는 jailbreak mitigation 구성요소로 이뤄진다. 실험에서 정책 분류 정확도는 85%로 기존 72% 대비 크게 높았고, 이를 바탕으로 다양한 jailbreak 공격에 대한 평균 defense success rate가 97%로 이전 접근 대비 10% 이상 향상되었다.