AI 안전 다이제스트

2025-07-03 · 7건

대규모 언어모델의 초기 선택 과신과 비판 시 과소신뢰가 ‘마음의 변화’를 어떻게 조절하는지 (2025.7.3)

K-AISI 주간동향 · arXiv.org

대규모 언어모델(LLM)은 초기 답변에서는 과신처럼 보이면서도, 비판을 받으면 과도하게 의심하는 상반된 행동을 보인다. 연구진은 초기 판단을 “기억하지 않으면서” 신뢰도 추정을 얻는 실험 설계를 통해, Gemma 3·GPT4o·o1-preview가 초기 답변에 대한 choice-supportive bias를 보여 마음을 바꾸는 데 저항하며, 일관된 조언보다 불일치 조언을 더 크게 가중하는 경향이 나타난다고 보고했다. 또한 이러한 두 메커니즘(이전 약속과의 일관성 유지 동기, 모순 피드백에 대한 과민성)이 다른 도메인에서도 LLM의 행동을 설명한다고 결론냈다.

UNESCO, AI의 성별 편향과 TFGBV(기술매개 성기반 폭력) 대응 위한 Red Teaming Playbook 공개 (2025.7.3)

K-AISI 주간동향 · 유네스코(UNESCO) · 📜🎭

유네스코는 생성형 AI가 성별 고정관념을 강화하거나 TFGBV를 가능하게 할 수 있는 위험을 점검하기 위한 ‘Red Teaming Playbook’을 공개했다. 이 가이드는 기술 배경이 없어도 실제 프롬프트를 시뮬레이션해 AI 응답을 분석하는 방식으로, 조직·정책 담당자·시민사회가 통제된 환경에서 자체 Red Teaming 행사를 설계·운영하도록 돕는다. 또한 동일한 프롬프트에서도 남녀 학생을 다르게 묘사하면 응답이 달라지는 등 젠더 편향 사례와 함께, 온라인 괴롭힘·딥페이크·혐오표현 등 관련 피해 현황을 제시한다.

🇨🇳 AI chatbots, 언론자유 질문에 쉽게 흔들려 편향적 평가(2025.7.3)

K-AISI 주간동향 · Mashable · 🚀

MIT Sloan 연구진이 6개 LLM(ChatGPT, Gemini, DeepSeek 등)이 사용자 프롬프트에 대해 언론자유를 체계적으로 과소평가하고, 특히 ‘언론자유가 더 높은 국가’를 더 비판적으로 평가하는 경향(under-rating·freer nations에 대한 비판 강화)을 보였다고 보도했다. 또한 훈련 데이터의 ‘democratic dilemma’ 구조와 국가/개발자에 대한 in-group bias(자국·개발자 국가에 대한 더 긍정적 평가)가 결과에 영향을 준다고 설명했다. 연구는 이런 편향이 권위주의 국가의 언론 통제를 축소해 보이거나, 특정 모델의 홈 국가 내러티브를 강화해 글로벌 담론에 영향을 줄 위험이 있다고 지적했다.

캘리포니아, 고용 분야 AI·자동화 의사결정 시스템 차별 규정 최종 승인(2025.7.3)

K-AISI 주간동향 · Ogletree Deakins (ogletree.com)

캘리포니아 Civil Rights Council이 고용에서 AI 및 “automated-decision systems” 사용과 관련한 포괄적 규정의 최종 승인을 받았다. 이번 규정은 고용주가 캘리포니아 반차별법(예: FEHA)상 보호되는 특성을 이유로 지원자나 직원에 대해 차별하는 automated-decision system 또는 선발 기준을 사용하는 것을 불법으로 명확히 했다. 또한 automated-decision system의 정의와 고용주의 대리인(agent)을 고용주로 보아 적용 범위를 넓혔으며, 규정은 2025.10.1부터 효력이 발생한다.

🇬🇧 AI가 미래 범죄를 어떻게 고도화할 수 있는지와 대응 방향(2025.7.3)

K-AISI 주간동향 · 영국 AI Security Institute(AISI-UK) · 🤖🧪🎭

AISI는 첨단 AI가 사이버범죄, 소셜 엔지니어링, 사칭 사기 등에 이미 악용되고 있으며, 앞으로는 더 빠르고 탐지·차단이 어려운 범죄로 이어질 수 있다고 설명했다. 특히 멀티모달 생성(음성·영상·이미지 합성), 고도 계획·추론(웹검색과 결합한 공격 설계), AI Agents(인간 감독 없이 행동하는 시스템) 등 3가지 역량이 범죄 도구를 강화할 수 있다고 본다. 이에 AISI는 위험 모델링, 기술 연구(멀티모달 평가·파생 앱 안전성 분석·사용 데이터 분석·red-teaming), 정책·기술·운영 차원의 개입을 병행하고, 관련 인력 채용도 진행 중이다.

Jangan terpedaya tentangan video AI kereta kabel Perak ke Kedah (2025.7.3)

DB · AIID · 🎭🚨

많은 사람들이 최근 소셜 미디어에 유포된 인공 지능(AI) 기반의 가상 열차 케이블 영상으로 인해 혼란스러워하고 있습니다. Baling 지역의 공무원 Yazlan Sunardie Che Yahaya는 이 영상이 AI로 생성된 것임을 인정하면서도 대중이 오해하지 않기를 당부했습니다. 그는 실제로 존재하지 않지만 매우 생생하게 보이는 영상이 사람들을 혼란스럽게 만들 수 있다고 경고했습니다. 만약 실제로 존재한다면 자신이 먼저 시승할 것이라고 덧붙였습니다. 경찰 책임자인 Ahmad Salimi Md Ali는 대중에게 소셜 미디어에서 퍼지는 이런 종류의 콘텐츠에 주의를 기울일 것을 요청했습니다. 현재까지 경찰은 이 AI 생성 영상이 허위 정보, 속임수, 또는 대중의 불안감을 야기할 가능성이 있다는 점을 인지하고 있지만, 공식적인 보고는 없다고 밝혔습니다. 실제로 이 영상은 현재 모든 소셜 미디어 플랫폼에서 삭제된 상태입니다.

노인 부부, AI 생성 케이블카 영상에 속아 말레이시아 전역 여행 (2025.7.3)

DB · AIID · ⚖️🚨

노인 부부가 소셜 미디어 클립에 나온 가상의 케이블카를 찾아 말레이시아 전역을 여행했으나, 결국 해당 영상이 AI로 생성된 가짜임을 알게 되었다. 부부는 쿠알라룸푸르에서 페락까지 약 300km를 이동했으나, 실제 케이블카는 존재하지 않았다. 호텔 직원이 진실을 알려준 후 부부는 AI 생성 콘텐츠에 속았다는 사실에 충격을 받았으며, 기자의 실존 여부에 의문을 제기하며 소송을 고려하고 있다. 현지 경찰은 이러한 AI 생성 미디어에 주의를 기울일 것을 대중에게 당부했다.