AI 안전 다이제스트

2026-04-09 · 13건

🇰🇷 국가AI전략위, KAI와 항공 AI 생태계 및 군사혁신 방안 논의 (2026.4.9)

공공 · 국가인공지능전략위원회 · 🛡️

국가인공지능전략위원회는 2026년 4월 9일 한국항공우주산업(KAI)과 항공 분야 국방 AX 가속화를 위한 고위급 간담회를 열고 항공 AI 생태계 조성과 군사혁신 방안을 논의했다. KAI는 항공 중소기업의 AX 전환을 촉진하기 위한 정부 지원과 함께, 저가 무인기인 K-무인기의 조기 생산·도입을 제안했다. 위원회는 중소기업 AX 전환 지원과 K-무인기의 도입·활용·발전 방안을 관계부처와 협의하기로 했다.

국가AI전략위원회, 동형암호 기반 LLM과 AI 데이터 보호 세미나 개최 (2026.4.9)

공공 · 국가인공지능전략위원회

국가인공지능전략위원회는 2026년 4월 9일 동형암호 기반 LLM과 AI 데이터 보호 세미나를 개최했다. 세미나에서는 암호화된 상태로 AI 학습과 추론이 가능한 동형암호 기술, 데이터 보호 방안, 관련 법·제도 개선 방향을 논의했다. 위원회는 동형암호 등 보안 기술의 확산을 위해 관계 부처와 협력할 계획이다.

🇺🇸 스탠퍼드 HAI, 파운데이션 모델의 개인정보 위협과 규제 방향 제시 (2026.4.9)

K-AISI 주간동향 · Stanford HAI

스탠퍼드 HAI는 대규모 데이터 스크래핑과 프롬프트 인젝션 등으로 인해 파운데이션 모델이 개인 데이터를 무단으로 학습하고 노출하는 심각한 프라이버시 위험을 지적. 기존 개인정보 보호법(GDPR 등)으로는 한계가 있어, 모델 훈련 파이프라인에서 개인 데이터를 제거하고 설계부터 프라이버시를 보장하는 강력한 규제 가드레일이 필요하다고 권고.

🇺🇸 신뢰할 수 있는 에이전트의 실제 적용 사례 (2026.4.9)

기업 · Anthropic-Research · 📏🤖

Anthropic은 신뢰할 수 있는 AI 에이전트 개발을 위한 프레임워크를 소개하며, 이를 실제 제품 적용 사례를 통해 설명합니다. 에이전트는 단순한 챗봇을 넘어 코드 작성, 파일 관리, 다중 애플리케이션 작업 완료 등 복잡한 작업을 수행할 수 있습니다. 이러한 자율성은 생산성 향상에 기여하지만, 사용자 의도의 오해와 부작용을 초래할 위험도 증가시킵니다. 또한, 에이전트는 '프롬프트 주입' 공격의 대상이 될 수 있습니다.

Anthropic은 에이전트의 안전성과 유용성을 위한 다섯 가지 핵심 원칙을 제시합니다: 인간 통제 유지, 사용자 가치와의 일치, 상호작용 보안 강화, 투명성 유지, 개인정보 보호입니다. 구체적으로는 다음과 같습니다:

- 인간 통제 유지: 사용자가 에이전트의 기능을 제한하고 허가를 설정할 수 있도록 설계하여 자율성과 안전성 사이의 균형을 맞춥니다. - 사용자 기대와의 일치: 에이전트가 불확실하거나 오해할 가능성이 있는 상황에서 사용자에게 확인을 요청하도록 훈련하여 사용자 의도에 부합하도록 합니다. - 공격 방어: 다양한 보안 계층을 통해 프롬프트 주입 공격 등을 방어합니다.

또한, 산업계, 표준 기관, 정부가 공동 인프라 구축에 참여해야 한다는 점을 강조하며, 이를 위한 몇 가지 제안을 제시합니다: 표준화된 벤치마크 개발, 증거 공유의 확대, 오픈 표준 도입 등입니다. 이러한 노력은 에이전트 기술의 안전하고 개방적인 발전을 촉진할 것입니다.

🇪🇺 AI Continent Action Plan, 5대 분야에서 주요 성과(2026.4.9)

공공 · 유럽연합 집행위원회(EU-Digital-Strategy) · ⚖️

유럽 집행위원회는 AI Continent Action Plan이 5대 축(인프라·데이터·인재·도입·신뢰할 수 있는 AI)에서 성과를 내고 있다고 밝혔다. 슈퍼컴퓨터 기반 ‘AI 팩토리’ 19개를 배치했으며, 지역 접근을 위한 안테나 13개와 ‘AI 기가팩토리’도 곧 도입될 예정이다. 데이터 측면에서는 Data Union Strategy와 AI Omnibus를 통해 데이터 접근·공유를 촉진하고 기업의 법적 확실성과 준수비용 절감을 목표로 한다. 또한 ICT 인재 이동을 돕는 EU-인도 법률 게이트웨이 사무소, 생성형 AI·첨단컴퓨팅 특화 프로그램을 위한 AI Skills Academy, 산업·공공 부문 AI 도입을 위한 Apply AI Strategy(이미 10억 유로 규모 공모 포함) 등의 추진 상황을 소개했다.

🇪🇺 유럽 집행위, 이탈리아 ‘광자(포토닉) 칩’ 개발 지원을 위한 2억1100만 유로 국가지원 승인 (2026.4.9)

공공 · EU 디지털 전략(EU-Digital-Strategy)

유럽 집행위는 비공개 해제 후 경쟁 웹사이트의 국가지원 등록부(사건번호 SA.115733)에 결정문을 공개할 예정입니다.

유럽 집행위원회는 EU 국가지원 규정에 따라 이탈리아의 2억1100만 유로 규모 지원안을 승인했습니다. 이 지원은 이탈리아 중소기업 CamGraPhIC가 그래핀 기반 광학 트랜시버(데이터를 빛으로 송수신하는 칩 부품)를 개발하는 데 직접 보조금 형태로 제공됩니다. 집행위는 해당 조치가 필요하고 적절하며, 공적 지원이 없으면 투자가 이뤄지지 않는 ‘인센티브 효과’가 있고, 경쟁과 역내 무역에 부정적 영향이 과도하지 않다고 판단했습니다.

🇪🇺 유럽연합 집행위, ‘AI 대륙 행동계획’ 1주년 맞아 AI 도입·정책 관련 신규 보고서 2건 발표 (2026.4.9)

공공 · EU-Digital-Strategy

유럽연합 집행위는 ‘AI 대륙 행동계획’ 1주년을 맞아 AI 도입(공공행정) 보고서와 EU의 AI 정책 10년을 다룬 Science for Policy 브리프를 공개했다. 지난 1년간 AI 팩토리(19개)와 안테나(13개) 운영 확대, AI 기가팩토리 관심표현(16개 회원국 60개 사이트에서 76건) 등 인프라·데이터·역량·규제 단순화가 추진됐다고 밝혔다. 공공행정 분야 보고서는 AI 도입을 정책·규정·원칙에 정착(Anchoring), 공공행정 역량 조정(Adapting), 고영향 분야 적용(Applying) 등 3가지 활동으로 제시한다.

🇪🇺 (2026.4.9) 지중해 협력 ‘디지털 전환’ 첫 이니셔티브 출범

공공 · 유럽 집행위원회(EU 디지털 전략) · 📜🔒

유럽 집행위원회는 2025년 말 출범한 ‘지중해 협력(Pact for the Mediterranean)’의 디지털 분야 첫 성과로, 북아프리카와 중동 국가를 대상으로 디지털 전환 프로그램을 시작했다. 독일 정부가 공동으로 재원을 지원하며, 시민·공공행정·기업의 디지털 서비스 접근성 개선, 디지털 규제 정합성, 사이버보안 강화, 디지털 역량 향상을 목표로 한다. 프로그램은 (1) EU 기준에 맞춘 통신 규제 정렬과 국가 규제기관 역량 강화 및 지역 협력 네트워크 구축, (2) 국가 차원의 사이버보안 프레임워크·거버넌스 개선, (3) EU DigComp 기준에 따른 지역 디지털 역량 개발과 학습·전문성 교류를 위한 플랫폼·네트워크 구축에 중점을 둔다. 공식 출범은 모로코 마라케시에서 열린 GITEX Africa에서 진행됐다.

🇺🇸 미국 직장인 AI 사용자 절반은 업무에도 주로 활용(2026.4.9)

공공 · Epoch AI(서브스택)·Ipsos 공동 설문

미국에서 최근 1주일 내 AI 도구를 사용한 직장인 중 절반은 업무에 개인 용도만큼(또는 그 이상) AI를 사용한다고 응답했다. AI는 업무에서 기존 작업을 대체하는 경우(27%)와 새로운 작업을 만들어내는 경우(21%)가 모두 나타났으며, 유급 구독(무료가 아닌 유료) 사용자가 업무 활용 비중이 더 높았다. 특히 고용주가 제공한 구독자는 무료 이용자보다 업무 활용 비율이 더 높게 조사됐다.

🇺🇸 LLM 에이전트용 API 라우터가 공급망 공격에 취약함을 실증(2026.4.9)

DB · arXiv · 🔒🚀

LLM 에이전트가 여러 상위 제공자에 요청을 분배할 때 사용하는 제3자 API 라우터가, 전송 중 JSON 페이로드를 평문으로 볼 수 있지만 클라이언트-상위 모델 간 암호학적 무결성 검증이 강제되지 않는 점을 공격 표면으로 지적한다. 연구진은 Taobao/Xianyu/Shopify 등에서 유료 라우터 28개와 공개 커뮤니티에서 수집한 무료 라우터 400개를 조사한 결과, 유료 1개·무료 8개에서 악성 코드 주입이 실제로 이뤄졌고 일부는 연구자 AWS 자격증명 접근 및 개인키 기반 자금 유출도 시도했다고 보고한다. 또한 유출된 OpenAI 키나 설정이 약한 디코이(decoy)만으로도 라우터가 동일한 공격 표면에 “오염”될 수 있음을 보이며, 이를 막기 위한 클라이언트 측 방어(실패 시 차단 정책 게이트, 응답 이상 탐지, append-only 투명성 로깅)를 평가한다.

🇺🇸 연방 항소법원이 펜타곤의 ‘블랙리스트’ 조치에 대한 앤트로픽의 집행정지 요청을 기각(2026.4.9)

기타 · PBS(Associated Press) · 🛡️🚀

미 연방 항소법원(워싱턴 D.C.)은 앤트로픽을 펜타곤이 블랙리스트에 올리는 조치와 관련해, 회사가 요청한 집행정지(보호명령)를 받아들이지 않았다. 다만 항소법원은 앤트로픽이 ‘공급망 위험’으로 판단될 경우 일부 회복하기 어려운 피해가 있을 수 있다고 보면서도, 재정적 피해 규모가 명확하지 않다는 이유로 별도의 명령을 내리지 않았다. 앞서 샌프란시스코 연방법원에서는 트럼프 행정부가 앤트로픽에 국가안보 위험 라벨을 붙인 것이 부당하다고 보고 라벨을 제거하도록 했으며, 행정부는 그에 따라 사용 가능 조치 등을 진행한 것으로 전해졌다.

🇰🇷 AI 인프라 경쟁에서 소프트웨어의 구조적 역할(2026.04.09)

공공 · 소프트웨어정책연구소(SPRi)

전 세계 AI 지출이 2026년 2.5조 달러로 전망되며, 그중 절반 이상이 서버·가속기·데이터센터 등 인프라에 집중된다고 설명한다. NVIDIA는 CUDA 이후 축적된 소프트웨어 생태계와 최적화 격차로 인해 동일 칩에서도 처리량이 3배 이상 달라질 수 있고, 이를 성능 종속·구조적 종속의 이중 장벽으로 분석한다. 보고서는 AI SW 스택을 프레임워크-컴파일러-가속 라이브러리-드라이버/런타임 4계층으로 보고, 성능 종속·설계 종속·구조적 종속 3가지 잠금(lock-in) 메커니즘이 중첩될 때 전환비용이 커진다고 제시한다. K-NPU에 적용하면 프레임워크 계층 진입은 PyTorch 네이티브 지원과 vLLM 통합으로 이뤘으나, 컴파일러·라이브러리 성능 격차 해소와 운영 생태계 규모 확보가 각각 진행 중/초기 단계이며, 이를 위해 HW-SW 균형 R&D, OpenXLA·MLIR 등 오픈소스 표준 참여, 공공 실증환경 제공, TCO 기반 평가와 전문 인력 양성을 제언한다.