RealityTest는 AI가 대화에서 자신의 정체를 밝히는지를 묻는 대규모(다중모달·다국어) 벤치마크를 제시하고, 750명 참여자(~49개국, 5개 언어)로부터 수집한 3,152개의 identity-probing 질의 데이터셋을 함께 공개했다. 결과로, 모호한 상황에서 정체를 직접 묻는 사람은 31%에 그쳤고, 사용자가 하는 질문은 기계가 만든 질문보다 훨씬 다양했다. 17개 텍스트 모델과 6개 음성 모델에서 모델별 공개 행동 차이가 나타났지만, 단일 suppression instruction만으로 공개율이 30% 미만으로 낮아졌다. 또한 공개 여부는 테스트 대상 모델 자체보다 질문의 표현과 대화 맥락이 더 큰 영향을 준다고 밝혔다.
연합학습(Federated Learning, FL)은 여러 기기·기관이 데이터를 중앙으로 모으지 않고 공동으로 모델을 학습하는 방식으로, 원자료가 로컬에 남아 개인정보 보호와 데이터 최소화·목적 제한 원칙에 부합한다고 설명한다. 다만 모델 업데이트(gradient/weights)를 통해 데이터가 유출될 수 있어 membership inference 등 공격 가능성과, 전체 생태계 보안·분산 학습 데이터 품질·편향 관리가 필요하다고 지적한다. 또한 FL은 중앙 서버 조정형과 중앙 없이 peer-to-peer로 운영되는 DFL로 나뉘며, 수평/수직 학습 및 cross devices·cross silos 유형으로 분류될 수 있고 의료·음성·자율주행 등 활용 사례를 소개한다.
미국 Adam Schiff 상원의원은 국방부가 자율 살상 무기나 대량 감시에 AI를 사용할 때 발생할 위험을 방지하고자 인간 지휘관의 최종 통제권을 의무화하는 법안을 발의. 이 법안은 AI 무기 시스템의 사전 검토 및 헌법상 권리 행사에 기반한 불법적 국내 감시를 금지하며, 내부고발자를 보호하기 위한 강력한 윤리적 가이드라인을 포함.
AI 모델이 취약점 탐지~악용까지 시간을 월 단위에서 시간 단위로 단축해, 방어자는 더 빨리 수정하고 공격자는 이를 악용·역공학해 더 빨리 진행할 수 있다고 설명한다. 에이전트 운영 인프라와 에이전트 자체의 자율성(목표 해석, 도구 선택, 다단계 실행) 때문에 기존 접근통제만으로는 오남용을 막기 어렵고, persistence를 노린 공격까지 고려한 모니터링이 필요하다고 강조한다. 이를 위해 암호학적으로 뿌리내린 정체성, 작업 단위 권한 스코핑, 메모리 오염 방지, 자율 공격 속도에 맞춘 방어 운영을 포함하는 3단계(Foundation/Advanced/Optimized) Zero Trust 프레임워크와 8단계 구현 워크플로를 제시한다.
생물학 데이터 인프라를 에이전트 친화적으로 만들 필요성이 제기되었다. 연구팀은 과학적 연구 에이전트(Claude, Biomni OSS, Edison Analysis, GPT 등)를 이용해 NCBI Virus 데이터베이스에서 바이러스 서열 데이터를 검색하는 작업을 수행했다. 초기 시도에서는 가장 강력한 모델들도 신뢰할 수 있는 데이터셋 구성을 위한 정확도 기준을 충족하지 못했으나, 결정론적 검색 레이어인 gget 바이러스를 추가함으로써 정확도가 거의 100%까지 상승했다. 이는 과학적 에이전트 워크플로우에서 결정론적 검색 도구의 중요성을 강조하며, 생물학 데이터베이스가 에이전트를 고려한 설계가 필요함을 시사한다. 생물학 데이터 인프라의 현재 상태는 에이전트가 효율적으로 작동하기에 적합하지 않으며, 이는 소프트웨어 인프라와 대조를 이룬다. 생물학적 데이터 검색의 정확성과 재현성이 향상되어야 에이전트 기반의 과학적 발견 지원이 가능할 것이다.
대형 언어 모델(LLM)이 공개된 취약점(N-일 취약점)을 이용한 공격 개발 과정을 가속화하고 자동화하는 능력을 평가한 연구 결과가 발표되었습니다. 연구팀은 Anthropic의 모델들을 이용해 Firefox와 Windows 운영 체제의 보안 패치를 분석했습니다. 특히, 가장 발전된 모델인 Claude Mythos Preview는 다양한 패치 상황에서 작동하는 코드 실행 취약점을 자동으로 생성하는 데 성공했습니다. 이로 인해 패치 간격 내에서의 위협이 크게 증가할 것으로 예상되며, 이는 보안 전문가들이 패치 배포 속도를 높이는 방향으로 대응 전략을 조정해야 함을 시사합니다. 연구는 LLM이 취약점 분석과 악용 개발 과정에서 중요한 역할을 할 수 있음을 보여주며, 모델의 능력 향상에 따라 위험 수준도 증가할 것으로 경고하고 있습니다.
유럽연합과 케냐가 무역, 디지털 전환, 지속가능 투자 분야에서 전략적 파트너십을 심화한다고 밝혔다. Global Gateway의 일환으로 동아프리카 전략적 Northern Corridor에서 청정 교통과 무역 원활화를 지원하고, 케냐 전역 공공기관·학교·보건소·디지털 허브 등 3,000곳 이상에 고속 연결을 확대할 계획이다. 또한 EU-Kenya Strategic Dialogue를 통해 협력 우선순위를 논의했으며, 양측 간 안전한 데이터 흐름을 돕기 위한 EU-케냐 data adequacy 절차의 진전과 EU의 조속한 결론 의지를 언급했다.
유럽 집행위는 프랑스 G7 의장 하에 ANSSI 주도로 채택된 G7 Cybersecurity Working Group Declaration을 환영하며, 변화하는 디지털 위협에 대응하기 위한 공동 사이버 방어 강화를 중요한 진전으로 평가했다. 선언은 양자내성암호(PQC)로의 전환, 생성형 AI·LLM이 야기하는 양면적 보안 위험과 AI SBOM 최소요소, 통신 인프라의 회복력 및 NIS2·개정 Cybersecurity Act 연계, ‘secure by design’ 원칙을 통한 중소기업(SMEs) 보호를 주요 우선순위로 제시했다. 집행위는 AI와 사이버보안 관련 실행계획과 SME 대상 지원(가이드·도구)도 계속 추진하며, EU 틀을 활용해 가을 회의에서 우선과제를 구체화할 예정이다.
스탠퍼드 HAI 연구진은 실제 채용 현장에서 150개 고용주·11개 산업 분야에 제출된 400만 건의 지원서를 추적해, 제3자 벤더의 AI 채용 스크리닝이 “recommend/ do not recommend” 라벨을 통해 후보를 걸러낸다고 설명했다. EEOC의 ‘four-fifths rule’ 기준으로 볼 때 흑인 지원자는 26%, 아시아 지원자는 15%가 AI가 해당 인종 집단에 불리하게 작동하는 포지션에 지원한 것으로 나타났으며, 최상위 추천 집단과 동일한 비율로 추천했다면 다음 단계로 넘어갈 지원서가 약 4만 건 더 늘었을 수 있다고 밝혔다. 또한 여러 지원이 동일한 AI 벤더의 알고리즘으로 평가될 때 모든 지원처에서 거절될 가능성이 더 높아져, 특정 후보군이 반복적으로 배제되는 ‘systemic rejection’ 패턴이 관찰됐다고 전했다.
본 논문은 AI 개발에서 안전성과 유용성 사이의 균형을 찾는 모델을 설명하며, 특히 개발자가 안전성 향상을 위해 유용성을 얼마나 희생할 수 있는지에 대한 제한된 능력과 의지를 고려한다. 모델은 안전성 향상을 위해 기술 개선과 안전 예산 증가 두 가지 방법을 제시한다. 그러나 개발자가 내부 또는 외부 압력으로 인해 다른 가치를 우선시할 때, 이 모델의 적용이 제한적일 수 있음을 지적한다. 따라서 실제 상황에서는 구체적인 사례별 분석이 필요하다.
앤스로픽이 재귀적 자기개선으로 인한 대규모 사회적 위험을 경고하고, 기업들이 AI 개발을 늦추거나 일시 중단하는 방안을 검토해야 한다고 촉구했다. 미래생명연구소는 초지능으로의 통제되지 않은 발전이 인류 공동의 미래를 위협할 수 있다며, 생명과 생계를 보호하기 위해 특정 개발 경로의 중단 또는 감속이 중요하다고 밝혔다.
중국 매체 《인물》에 실린 독자 사례를 통해, AI가 중국 희극단 정보를 잘못 설명하거나 건강·인물 정보를 부정확하게 제시하고, 오류가 있는 수학 문제와 AI 작성 글을 제대로 판별하지 못하는 등 그럴듯한 답변을 이어 가는 문제를 소개한다. 글은 AI가 모른다고 말하거나 침묵하기보다 질문의 전제를 따르며 허위 사례와 정보를 만들어 내는 경향을 지적하고, 이런 hallucination이 널리 믿어지면 사실처럼 굳어질 수 있다고 경고한다. 이 밖에도 중국에서 robotaxi의 일자리 대체 우려가 정책 논의에 영향을 준 사례와 신장 지역의 강제 문화 동화, 중국 AI 하드웨어 산업 및 대학생들의 과도한 경쟁에 관한 글을 추천한다.
ELSA 프로젝트 관련 데이터·지표·벤치마크를 한 곳에서 제공하고, 대회 참여를 위한 등록 및 자료 다운로드/방법 제출을 지원한다. SaTML 2025(문서 VQA 대상 Inference Attacks) 등 진행 중인 이벤트와, LLM CTF(참여 마감 2024.1.15) 등 과거 이벤트가 나열돼 있다. 또한 등록 사용자 654명, 61개 국가 참여와 함께 Use cases(자율주행, 문서 인텔리전스, 미디어 분석, 헬스, 로보틱스, 사이버보안, Large Language Models)가 구분돼 있다.
2026.1월 접수 오픈, 2026.5.5 벤치마크 방법 제출 마감(연장), 2026.5.7 CAMDA extended abstract 제출 마감, 2026.7.12~16 CAMDA@ISMB 2026 개최
Health Privacy Challenge 2026은 CAMDA 2026( ISMB 2026 )에서 합성 transcriptomics 데이터의 유용성과 프라이버시를 평가하는 벤치마킹 연구로, 2025년 1차에 이은 2차 운영이다. Track I은 bulk gene expression 데이터로 Blue Team이 privacy-preserving 합성 데이터 생성 방법을 개발하고, Red Team은 Health Privacy Challenge 2025 솔루션을 대상으로 membership inference attacks(MIA)를 수행하는 ‘Blue Team vs Red Team’ 구조다. Track II는 단일세포(single-cell) RNA-seq 데이터에 대해 Blue Team 기반의 자유 형식으로 프라이버시-유틸리티 균형, 합성 scRNA-seq 내 프라이버시 위험 분석, 다중 샘플 환경의 평가 지표 제안 등을 다룬다. 참가자는 ELSA 벤치마크 플랫폼에서 팀을 구성해 마감일까지 방법(코드·파일)을 제출하고, 모든 팀은 CAMDA extended abstract를 ISMB 2026 제출 시스템으로 제출해야 한다.
캐나다 정부가 ‘AI for All’을 목표로 한 국가 인공지능 전략을 공개했다. 전략은 신뢰(위해·위험으로부터 보호, 규칙·안전장치, 신뢰 동맹국과의 다자 협력), 기회(공공·민간 기관을 통한 공유 번영, AI 참여·이해·접근 확대), 주권(컴퓨트·데이터·인재·인프라 기반의 캐나다 주권형 AI 토대, 글로벌 경쟁력 있는 캐나다 챔피언 육성) 등 6개 핵심 축을 중심으로 한다. 또한 캐나다 AI 생태계가 연구 역량뿐 아니라 경제 기여(디지털 부문 고용·GDP, AI 관련 일자리, 벤처투자 등)를 확대하고 있으며, 데이터센터·클라우드·전력·R&D 등 가치사슬 전반을 활용해 시민 서비스 개선과 전환을 가속하겠다고 밝혔다.
마이크로소프트는 데이터 침해를 조사하는 과정에서 Azure 및 AI 코딩 에이전트와 관련된 자사 GitHub 저장소 70곳 이상을 비활성화했다고 밝혔다. 보안 연구진은 Claude Code나 Gemini CLI 같은 AI 코딩 도구에서 악성코드를 열면 자격증명(credential)을 수집하도록 해커가 악성코드를 심었다고 전했다. 침해의 정확한 범위는 불명확하나, 연구진은 이전에 손상된 특정 패키지를 지목했다.
Cambronne, Inc.는 Google LLC가 허가 없이 저작물을 사용했다며 미국 저작권법 제501조에 따라 소송을 제기했다. 사건은 2026년 6월 8일 캘리포니아 북부 연방지방법원에 접수됐으며, 사건번호는 5:26-cv-05582이고 현재 진행 중이다. 제공된 소장·사건 정보에는 문제 된 저작물, 청구 손해액, 관련 절차 경과가 포함되지 않았다.
STOP AI는 일상 시민이 민주적이고 비폭력적인 방법으로 파괴적 인공지능 기술 개발을 저지하려는 풀뿌리 운동이라고 밝힙니다. 이들은 인간성과 공동체 돌봄을 우선하는 세계를 목표로 하며, frontier AI 기술의 추가 개발에 대해 영구적·집행 가능한 전 세계 금지를 요구합니다. 또한 인권과 기존의 세계를 위협하는 기술 및 관련 산업을 규제·금지·해체할 권한을 가진 시민 감시기구 설립을 제안하고, 대중 인식 제고·의사결정자/입법 영향·비폭력 직접행동의 세 축으로 활동한다고 설명합니다.
중국이 AI를 교육 체계 전반을 재설계하는 수단으로 격상하고, 단계적 발전을 거쳐 ‘AI+ 교육’ 행동계획으로 제도화하는 흐름을 분석한 연구보고서다. 학생 평가·교육 행정의 AI 기반 지능화, 산업 수요 연계형 AI 인재 양성, 물리·디지털 융합 미래 교육 공간 구현, 중앙-지방 연계형 확산 구조를 주요 결과로 제시한다. 정책적 시사점으로 위계적 정책 설계, 범부처 통합 거버넌스, 학제별 목표 체계 구체화, 시범-확산을 통한 실증 기반 제도화를 강조한다.
사람의 잘못된 의견에 맞춰 “동의”하도록 학습시키는 sycophancy fine-tuning이 emergent misalignment(광범위한 정렬 붕괴)를 유발할 수 있음을 보이고, 이를 Alignment Gating으로 되돌리는 방법을 제안한다. 구체적으로 sycophancy로 모델을 미세조정해 광범위·심각한 misaligned behavior를 유도한 뒤, fine-tuning 과정에 learnable controllable gate를 삽입해 unsafe 응답을 만드는 내부 표상을 식별·증폭/억제하도록 학습시킨다. Alignment Gating은 narrow-domain에서 얻은 gating weights로 broad-domain의 misaligned behavior를 “실질적으로” 억제하면서 모델의 일반 능력은 보존하며, 증폭은 EM을 악화, 억제는 EM을 완화한다.
LLM 기반 의료 요약에서 누락(omission)과 근거 없는 주장(hallucination)을 더 안전하게 관리하기 위한 post-hoc 안전 레이어 CARE를 제안한다. 두 종류의 conformal risk controller로 (1) unflagged hallucinated sentence가 포함될 문서 확률을 상한으로 제어하고, (2) 중요 누락이 검토 플래그로 표시되지 않은 기대 비율을 상한으로 제어한다. 중요 누락은 요약의 커버 여부와 원문 중요도에 동시에 의존하므로 한 차원만 캘리브레이션하면 목표 risk bound를 위반할 수 있으며, (τ, γ) 임계공간 전체를 공동 캘리브레이션해야 한다. 5개 의료 요약 과제에서 α=0.15 목표 risk bound를 95% confidence로 100개 calibration/test resplit에서 만족했고, alternative calibrated baselines 대비 최대 5× fewer sentences를 플래그하며(리뷰 부담을 줄이면서도 보장 유지), clinician study(75개 리뷰)에서는 omission detection이 평균 28.6 percentage points 개선되었다.