AI 안전 다이제스트

2025-06-13 · 9건

🇺🇸 뉴욕, OpenAI·Google·Anthropic 등 ‘frontier AI’ 재난 위험을 막는 RAISE Act 통과(2025.6.13)

K-AISI 주간동향 · TechCrunch · ⚖️🚀🚨

뉴욕 주 의회가 RAISE Act를 통과시켰으며, 법안은 OpenAI·Google·Anthropic 등 ‘frontier AI’ 모델이 대규모 인명 피해(100명 이상 사망·부상)나 10억 달러 이상 손해로 이어지는 재난 시나리오에 기여하는 것을 막는 것을 목표로 한다. 법안이 시행되면 해당 기준을 충족하는 대형 AI 랩은 모델에 대한 안전·보안 보고서를 의무적으로 공개하고, 안전 관련 사고(이상 행동, 모델 도난 등)도 보고해야 하며, 기준 미이행 시 뉴욕 검찰총장이 최대 3,000만 달러 민사상 제재를 청구할 수 있다. 현재 법안은 호철 주지사 서명·수정·거부 절차를 앞두고 있으며, 스타트업·학계 혁신 위축 우려를 고려해 소규모 기업에는 적용을 피하도록 설계했다고 설명된다.

🇪🇺 몰도바 총선(2025.9.28) 앞두고 디지털 하이브리드 위협에 대한 모의훈련 실시 (**2025.6.13**)

K-AISI 주간동향 · 유럽연합 집행위원회(디지털 전략) 공식 웹사이트 · 🔒🗳️🎭

유럽 집행위는 2025년 6월 11일 키시나우에서 몰도바 정부 및 EU 관련 기관과 함께 선거 무결성을 겨냥한 잠재적 disinformation 캠페인과 cyber-attack에 대비한 디지털 하이브리드 위협 시뮬레이션을 진행했다. Google, Meta, TikTok 등 주요 온라인 플랫폼이 자발적으로 참여했으며, 시민사회·팩트체커·독립언론·국제 파트너와 함께 시나리오 기반 대응 역량을 높이는 것을 목표로 했다. 또한 EU의 Hybrid Rapid Response Team 지원, Cyber Solidarity Act 하의 EU Cybersecurity Reserve 접근, EDMO(유럽 디지털 미디어 관측소) 지역 허브 신설 및 선거 기간 모니터링 계획, 2024년 선거 때의 임시 에스컬레이션 메커니즘 성과를 바탕으로 한 플랫폼-시민사회 협력 강화를 언급했다.

🇪🇺 생성형 AI, EU 경제 혁신·생산성에 기여 가능하나 추가 정책 대응 필요(2025.6.13)

K-AISI 주간동향 · 유럽연합 집행위원회(JRC·디지털 전략) 공식 뉴스 · ⚖️🎭

유럽 집행위는 생성형 AI를 전략 분야에 통합하기 위한 첫 번째 EU 자금 지원(약 7억 유로)과 GenAI4EU(유럽에서 만든 생성형 AI) 계획을 추진한다고 밝혔다. JRC 과학 보고서는 의료·교육·문화창작 등 주요 분야에서 혁신과 생산성 향상 잠재력이 크다고 보면서도, 허위정보 확산, 알고리즘 편향, 일자리 변화, 개인정보 우려 등 교차적 위험이 빠르게 커지고 있어 긴급한 대응이 필요하다고 강조했다. 또한 AI Act 및 데이터 관련 EU 법과의 정합성을 포함해 다학제적·전략적 정책 접근이 필요하다고 제안했다.

🇪🇺 Generative AI의 기술·경제·사회 영향과 EU 규제 대응을 다룬 전망 보고서 (2025.6.13)

K-AISI 주간동향 · 유럽연합 집행위원회 공동연구센터(JRC) 유럽연합 출판국 · ⚖️🎭

유럽연합 집행위원회 공동연구센터(JRC)가 작성한 「Generative AI Outlook Report」는 EU를 중심으로 생성형 AI(GenAI)의 혁신·생산성·사회 변화 가능성을 검토한다. GenAI는 인간과 유사한 콘텐츠를 대규모로 생성할 수 있어 의료·교육·과학·창작 산업 등에서 기회가 크지만, 허위정보 증폭, 편향, 노동 혼란, 개인정보 우려도 동시에 제기된다고 설명한다. 보고서는 기술 현황과 향후 트렌드, 산업 구조 변화에 따른 경제적 함의, 포용성 기회와 편향·과도한 의존 위험 등 사회적 영향, 그리고 AI Act 및 데이터 관련 가로(수평) 입법을 포함한 규제 프레임워크를 다룬다. 결론적으로 EU의 민주적 가치와 법체계에 부합하도록 위험을 완화하면서 잠재효과를 극대화하는 포괄적·정교한 정책 접근이 필요하다고 제시한다.

AI가 학대 탐지·보호에 도움을 줄 수 있지만, 편향·프라이버시 침해를 자동화할 위험도 함께 커진다(2025.6.13)

K-AISI 주간동향 · The Conversation (theconversation.com) · 🧒

AI는 아동·노인·학교 등에서 실시간 위험 신호를 탐지하고 당국에 경고하는 데 활용되며, 언어 기반 NLP나 예측모델로 위협·조작·통제 패턴을 찾는 방식이 소개된다. 다만 과거 데이터의 불평등과 인간의 라벨링 편향이 그대로 반영돼 인종·계층 차별을 재생산할 수 있고, 오탐으로 실제 사건을 놓치거나 불필요한 개입·징계를 유발할 수 있다고 지적한다. 또한 감시형 카메라·학교 모니터링은 프라이버시 침해와 함께 LGBTQ+ 학생 노출 같은 부작용이 보고되었으며, 이를 줄이기 위해 피해자 통제, 인간 감독, 편향 감사, 프라이버시 설계를 포함한 ‘trauma-responsive AI’ 원칙과 관련 법·감시가 필요하다고 강조한다.

G7 의장국 캐나다, HAIP Code of Conduct의 Reporting Framework를 ‘의무·평가’ 중심으로 강화 제안(2025.6.13)

K-AISI 주간동향 · TechPolicy Press · 📜📋

G7 정상회의(캐나다 개최)에서 AI 안전·책임을 의제로 전면화하고, HAIP의 자발적 보고를 보완할 다자 메커니즘(의무 제출·평가/정책연계) 마련을 촉구

캐나다는 G7 의장국으로서 히로시마 AI Process(HAIP)의 Code of Conduct와 Reporting Framework를 국제 AI 거버넌스의 실질 도구로 발전시키는 방안을 제안한다. 구체적으로 자발적 설문 기반 보고의 한계를 보완하기 위해 관할 내 AI 개발·배포 조직의 Reporting Framework 제출을 의무화하거나, HAIP와 상호운용 가능한 별도 의무 보고 체계를 국가들이 마련하도록 권고할 수 있다고 본다. 또한 제출 내용이 정책으로 전환되는 과정에 대한 평가 절차와 다중이해관계자 협의체를 만들어 모범사례를 종합·권고하고, G7·OECD 간 정책 정렬을 위한 메커니즘을 구축해야 한다고 강조한다.

🇺🇸 Anthropic와 CMU의 연구: LLM과 사이버 도구킷으로 비즈니스 규모 네트워크의 다단계 사이버 작전 수행 가능 (2025.6.13)

기업 · Anthropic-Research · 🔒

Anthropic와 Carnegie Mellon University의 CyLab 연구진은 사이버 도구킷인 Incalmo를 개발하여 대형 언어 모델(LLM)이 비즈니스 규모의 컴퓨터 네트워크에 대한 복잡한 다단계 사이버 공격을 수행할 수 있음을 보여주었다. 이 연구에서는 LLMs가 네트워크 접근 획득, 시스템 간 이동, 네트워크 간 데이터 유출 등 복잡한 단계를 자동화하여 성공적으로 공격을 수행할 수 있음을 확인했다. Incalmo 도구킷이 없는 경우 LLMs는 테스트 네트워크에서 거의 실패했으나, 도구킷을 사용할 때는 10개 네트워크 중 9개에서 다단계 공격을 성공적으로 수행했다. 이러한 결과는 LLMs의 사이버 공격 능력 향상과 방어 연구에 대한 투자 필요성을 강조한다.

Google DeepMind, 실사 영화 제작과 Veo를 결합한 ‘ANCESTRA’의 제작 과정 공개 (2025.6.13)

기업 · 구글 딥마인드 · 🚀

구글 딥마인드는 감독 엘리자 맥닛, 대런 애러노프스키 및 200명 이상의 영화 제작진과 함께 단편 영화 ‘ANCESTRA’를 제작했으며, 이 작품은 트라이베카 페스티벌에서 공개됐다. 제작진은 Gemini로 프롬프트를 개발하고 Imagen과 Veo로 영화의 이미지와 영상을 생성한 뒤, 실사 촬영 및 전통적인 VFX 작업과 결합했다. 개인화된 영상 생성, 카메라 움직임 매칭, 실사 영상에 생성된 신생아를 추가하는 기능 등 영화 제작에 필요한 Veo의 새로운 기능도 개발했다.

They Asked an A.I. Chatbot Questions. The Answers Sent Them Spiraling. (2025.06.13)

언론 · 뉴욕타임스(NYT)

뉴욕타임스는 A.I. 챗봇에 질문을 했을 때 답변이 사용자를 혼란이나 과도한 확신(spiraling)으로 이끌 수 있다는 취지의 내용을 다룬 것으로 보입니다. 다만 제공된 정보에는 본문 내용이 없어 구체적인 사례, 어떤 유형의 질문에서 어떤 오류·편향이 나타났는지 확인이 필요합니다.