금융위원회는 금융회사가 보안목적 AI를 활용한 테스트나 감독기관이 전파한 취약점 패치 과정에서 경미한 전산장애가 발생해도, 신속한 복구와 소비자 보호 조치를 이행하면 일정 범위에서 제재·과태료를 면제받도록 했다. 면책은 취약점 점검·패치·전산장비 변경 등에 한정되며, 금전피해 1억 원 미만, 장애 시간 4시간 이내, 비고의적 사고 등 조건을 충족해야 한다. 가이드라인은 경영진 책임, 취약점·패치 관리, 자산·공급망 관리, AI 방어 자동화, 공동대응·복원력 강화, 침해 확산 방지 등 6개 분야의 행동요령을 제시하며 지속적으로 업데이트될 예정이다.
보안 기업 Sysdig는 JADEPUFFER로 명명된 위협 행위자가 대형 언어 모델을 활용해 침투부터 암호화까지 전 과정을 자동화한 랜섬웨어 공격 사례를 보고. 취약점을 악용해 자격 증명을 탈취했으며, 인간 해커와 달리 기계적 속도로 스스로 오류를 진단하고 해결하며 공격을 수행함을 확인.
앤트로픽은 Claude Fable 5가 전 세계 사용자에게 재배포·공개된 가운데, 모델과 함께 동작하는 safety classifiers의 설계 의도와 jailbreak severity framework의 초안(Glasswing 파트너와 공동 작업)을 공유했다. 안전 분류기는 사이버 보안 사용을 크게 Prohibited use(차단), High-risk dual use(대체로 차단), Low-risk dual use(모니터링·필요시 차단), Benign use(허용) 4개 범주로 구분해 위험도를 반영한다. 또한 jailbreak의 심각도 수준을 정부·개발자 간 일관된 언어로 설명하기 위한 기준이 없다는 점을 언급하며, 분류 경계(safety margin) 크기를 조정해 오탐과 유해 차단의 균형을 맞춘다고 설명했다. 아울러 연구자들이 HackerOne 프로그램을 통해 발견한 잠재적 cyber jailbreak를 제출해 검토받을 수 있게 했다.
Mistral이 Apache-2.0 라이선스로 공개한 6B 활성 파라미터 모델 Leanstral 1.5는 miniF2F에서 100%를 달성하고 PutnamBench 672문제 중 587문제를 해결했으며, FATE-H 87%, FATE-X 34%의 성능을 기록했다. mid-training, supervised fine-tuning, CISPO 기반 reinforcement learning을 거쳐 개발됐고, Lean 4의 정리 증명과 실제 코드 검증을 지원한다. 57개 저장소를 대상으로 한 실험에서 11개의 실제 결함을 탐지했으며, 그중 5개는 이전에 보고되지 않은 버그였다. 모델 가중치는 Hugging Face에서 제공되며 무료 API와 Mistral Vibe를 통해 사용할 수 있다.
2026년 7월 1일 브뤼셀에서 유럽 디지털 서비스 이사회(이사회) 19차 정례회의가 열렸다. 이사회는 DSA 제35조(2)에 따라 2차 연차보고서를 채택했으며, 매우 큰 온라인 플랫폼·서비스의 설계 및 작동과 서비스 이용에서 비롯될 수 있는 주요 시스템 위험을 근거에 기반해 구조적으로 정리했다고 밝혔다. 또한 디지털 서비스 조정관(DSCs)과 집행위원회의 최신 집행 활동 업데이트를 공유하고, 자격 있는 연구자를 위한 데이터 접근 보장에 대한 약속을 재확인했으며, 이사회와 유럽 미디어 서비스 이사회 간 첫 공동 회의에서 온라인 미성년자 보호 및 미디어 자유·다원성 등의 협력 방안을 논의했다.
EU 집행위원회와 유럽의 디지털서비스이사회(Boards for Digital Services)가 발표한 DSA 2차 체계적 위험 및 완화조치 보고서는 온라인에서 아동·청소년이 겪는 위험과 장기적 대응 방향을 조명했다. 보고서는 VLOPs·VLOSEs(초대형 온라인 플랫폼·검색엔진)에서 불법 콘텐츠 확산, 디자인 선택으로 인한 아동 안전 악화 가능성, 소셜미디어의 중독 유사 행동 조장(인터페이스 기능·추천 시스템), 위험한 바이럴 챌린지·성인 콘텐츠 노출, 사이버불링과 그루밍 같은 해로운 행태를 위험요인으로 제시했다. 또한 이러한 위험을 줄이기 위한 맞춤형 보호조치와 이용자 권한강화 도구 등 완화조치 사례를 정리하며 DSA가 플랫폼 운영 방식의 투명성을 높이는 역할을 한다고 밝혔다.
온라인 플랫폼·금융·통신·개인정보·수사·국제협력 등과 연계된 AI 악용 범죄에 공동 대응하기 위해 ‘AI 범죄 대응 범부처 협의체’가 공식 출범했다. 방송미디어통신위원회가 26일 킥오프 회의를 열고, ‘AI 범죄 근절 종합 대응 계획’과 ‘AI 범죄 통합 대응체계 구축 방안’을 논의했으며 예방·탐지·차단·수사·피해회복·재발방지 전 과정을 아우르는 범정부 대책을 담았다. 관계부처는 AI 범죄 정보를 신속히 공유하고 징후를 공동 분석·대응하기 위한 상시적 통합 대응체계 운영 필요성도 공감했다.
이 읽기 목록은 AI 개발의 핵심 동향, AI로 인한 실존적 위험, 위험 완화 접근법 등 AI 미래주의를 고려하는 데 중요한 주제들을 다룹니다. 목록은 핵심 주제와 확장 주제로 나뉘어져 있으며, 핵심 주제는 4주 동안 진행되는 주별 주제로 구성되어 있습니다. 각 주는 주제에 대한 기초적인 맥락을 제공하며 약 8시간 분량입니다. 주요 질문들은 AI 개발의 주요 마일스톤, 강력한 AI의 도착 시기 및 속도, 현재 AI의 능력 수준, 그리고 이러한 모델링이 AI 전략에 미치는 영향 등을 포함합니다. 핵심 읽을거리에는 AI 발전의 개념 프레임과 가설을 설명하는 자료들이 포함되어 있으며, 확장 읽을거리는 참고용 자료들로 구성되어 있습니다.
400여 개의 미국 지역언론사가 오픈AI와 마이크로소프트를 상대로 저작권 침해 소송을 제기했다. 이들은 두 회사가 자사의 기사 수천 건을 무단으로 수집하고 AI 훈련에 사용했다고 주장하며, 이로 인해 지역 저널리즘이 심각한 위협에 처해 있다고 비판했다. 소송에서 지역언론사들은 오픈AI와 마이크로소프트가 허가 없이 콘텐츠를 복제하고 저작권 정보를 제거한 뒤 이를 이용해 언어 모델을 훈련시켰다고 주장하고 있다. 오픈AI 측은 공개 데이터를 이용한 공정 이용이라고 반박했다. 이 소송은 지역언론의 생존을 위협하는 AI 기업의 관행에 대한 법적 대응의 일환이다.
DB · AI-Risk-Explorer
AA-Briefcase는 장기적 지식업무(long-horizon knowledge work)에서 스프레드시트·프레젠테이션·메모 등 산출물을 만들어야 하는 에이전트를 대상으로 한 민간 평가로, 4개 멀티위크 시나리오(총 91개 task)로 구성된다. 각 task는 3개 차원(루브릭 체크 통과 여부, Analytical Quality, Presentation Quality)으로 채점되며, 루브릭은 이진 pass/fail로 운영되고 Analytical Quality·Presentation은 다른 모델 제출물과의 pairwise 비교로 평가된다. 결과 지표인 AA-Briefcase Elo는 루브릭 pass rate와 두 pairwise Elo를 합산한 복합지표이며, Elo와 95% 신뢰구간 경계값은 0으로 클램프된다. 또한 task 수행 비용(토큰/캐시 사용)·시간(벽시계 기준)·턴 수·도구 호출 등 운영 효율 지표도 함께 제시한다.
EVOX 프로덕션스 LLC는 스태빌리티 AI가 허가 없이 자사의 자동차 저작권 사진을 AI 이미지 생성기 학습에 사용했다며 소송을 제기했다. 소장에는 저작권법에 따른 직접 침해 및 침해 유도 주장이 포함됐으며, 사건은 캘리포니아 중부지방법원에 2026년 7월 2일 접수돼 현재 진행 중이다. 해당 내용은 원고의 주장에 기반한 것으로, 법원의 사실 인정은 아니다.
Haugland 대 Alphabet, Inc. 사건은 2026년 7월 2일 미국 하와이 지방법원에 제기된 연방 반독점 소송으로, Alphabet과 자회사 Google이 경쟁을 제한하는 계약을 통해 독점력을 불법적으로 유지했다는 혐의를 제기한다. 원고는 셔먼법 제1조 위반을 주장하며 디지털 미디어·광고 시장의 경쟁 회복을 위한 집단소송 차원의 금전배상과 금지명령을 청구했다. 사건은 현재 진행 중이며, 공개 법원 기록상 집단 규모와 청구 금액은 확인되지 않았다.
OpenSafeIntent은 동일 과제를 두고 의도만 benign→dual-use→malicious로 바꾼 프롬프트 세트를 사용해, 모델이 의도 변화에 맞춰 안전한 완성을 일관되게 유지하는지 평가하는 벤치마크다. 데이터포인트는 동일 작업의 세 가지 변형(benign, dual-use, malicious)을 제공해 평균적으로 안전해 보이는지보다 “matched intent variants” 전반의 보정(calibration) 실패가 있는지 확인한다. 여러 모델군에서 prompt-level safety가 중요한 실패를 가릴 수 있으며, dual-use 동작은 paraphrase에 취약하고, 위험 주제의 high-level 답변은 안정적으로 safe하지 않으며, ambiguous 요청을 더 안전한 작업으로 재구성(reframe)하는 응답은 safety boundary를 넘길 가능성이 더 낮았다.
HaloGuard 1.0은 헌법(constitution) 기반 분류기를 통해 입력 안전(prompt-safety)을 다국어로 판정하는 오픈 웨이트 모델을 제안한다. 안전 헌법은 46개 정책과 2,940개 하위 범주로 구성된 자연어 규정이며, 주제와 어휘를 고정하고 의도만 반전하는 exhaustive one-to-one paired counterfactual로 합성 데이터를 생성한다. 7개 prompt-safety 벤치마크에서 HaloGuard 1.0-0.8B는 평균 F1 90.9, FPR 4.3, FNR 9.5를 보이며 평가한 open guard 중 최고 평균 F1이며 최대 27B 기준선 대비 성능이 더 높았다. HaloGuard 1.0-4B는 평균 F1 92.1, FPR 3.5를 달성했고 추가 용량은 recall보다 precision에 더 사용되었으며, 남은 실패의 대부분은 실제 모델 미스라기보다 벤치마크 mislabels로 구조적 adjudication에서 확인되었다.
LLM에 대한 malicious 요청/응답을 차단하는 guardrail이 실제로 작동했는지, LLM의 기본 refusal로 거절된 것인지 black-box 환경에서 구분하는 방법을 제안한다. 이를 위해 HTTP/lexical/timing 시그널의 behavioral monitoring으로 guardrail 존재를 탐지하고, 차단되는 금지 범주를 추정하며, 보이지 않은 prompts에서 guardrail block과 LLM rejection을 분류한다. 실험에서 guardrail presence 탐지는 100% 정확도이며 benign vs malicious 상호작용의 behavioral separation이 통계적으로 유의했다(q < 0.001); 또한 unseen prompts에서 guardrail blocks vs LLM rejection 분류의 평균 F1 score가 98%였다(여기서 refused는 LLM 안전 정책에 따른 거절, complied는 안전 조건을 충족해 응답이 생성된 경우, unclear는 분류에 필요한 행동 신호가 불충분한 경우를 의미한다).
자율 통신망(Autonomous Network Levels 4-5)에서 AI 에이전트의 실시간 의사결정이 라이브 네트워크 상태 변경으로 바로 이어질 때의 오류·오작동 위험을 runtime 단계에서 차단/검증하기 위한 프레임워크를 제안한다. Guard Rail Validation (GRV)는 action scope, action type, service criticality, agent autonomy level, reversibility, temporal behavioural patterns 등을 가중치로 평가해 criticality level을 산정하고, 그 수준에 따라 execute-with-logging, bounds checking, independent agent validation, multi-agent consensus 같은 단계적 검증을 적용한다. 또한 cross-agent conflict detection과 criticality-weighted priority resolution을 포함하며, EU AI Act Article 14 같은 규제 대응을 위한 runtime conformance logging을 제공한다. 공격 위협 범위는 통신 분야의 알려진 AI/ML attacks에 대해 threat coverage로 평가하지만, 본문에 정량 수치(예: 정확도/커버리지 비율·점수·오차구간)는 제시되지 않았다.
LLM-as-a-Judge 평가가 영어 중심 편향을 넘어 멀티링구얼·저자원 언어로 확장될 때 어떤 문제를 겪는지와 현재 관행의 한계를 정리한다. ACL Anthology에서 LLMs-as-a-judge를 언급한 논문들 중 멀티링구얼/저자원에 초점을 둔 사례를 650편에서 찾아 분석하고, 저자원 언어 평가에서 인간 검증이 충분하지 않다는 점을 함께 점검한다. 분석 결과 저자원/멀티링구얼에 초점을 둔 논문은 33/650(약 5.1%)에 그쳤고, 멀티링구얼 설정에서 LLM 판단을 과도하게 신뢰하는 경향과 연구마다 단일 judge model에 의존하는 관행이 널리 나타났으며, 평가 결과의 일관성도 낮았다.
LLM coding agents가 외부 “agent skills”를 쓰는 과정에서 발생하는 소프트웨어 공급망 공격 위험을, 기존 정적 스캐너의 회피 가능성 관점에서 분석하고 동적 탐지 방법을 제안한다. SkillCloak는 악성 의미(공격 목적)를 유지한 채 겉모양을 바꿔 스캐닝을 무력화하는 Payload-preserving evasion으로, Structural Obfuscation과 Self-Extracting Skill (SFS) Packing을 사용해 8개 스캐너와 1,613개의 in-the-wild 악성 skills를 평가한다. SFS Packing은 모든 스캐너를 90% 이상으로 bypass, Structural Obfuscation은 대부분의 정적 스캐너에서 80% 초과 bypass 및 하이브리드 스캐너에서 96%까지 bypass했으며, 또한 실행 중 샌드박스 기반 행위 중심 런타임 감사자인 SkillDetonate는 2% false-positive rate에서 97% 공격을 탐지하고 실제 악성 skills에서도 87% 탐지를 유지한다.
이 연구는 배포 중 LLM 출력이 안전하지 않을 때 실시간으로 경보(alarm)를 내리는 온라인 안전 모니터링 방법을 제안한다. 외부 모델이 주는 verifier signal을 임계값(threshold)으로 이진화해 alarm을 결정하며, 이 임계값은 risk control을 통해 보정한다. 수학적 추론 및 red teaming 데이터셋에서 이 단순 모니터는 순차 가설검정(sequential hypothesis testing) 기반의 더 복잡한 모니터들과 경쟁적 성능을 보인다.
요약불가: 제공된 발췌에 구체 점수/비율/구간(CI) 수치가 없어 정량 비교를 작성할 수 없습니다.