AI 안전 다이제스트

2024-04-26 · 6건

국가과학기술자문회의 전원회의, 「AI-반도체 이니셔티브」 의결 (2024.4.26)

공공 · 과학기술정보통신부 · 📜

과학기술정보통신부와 산업통상자원부 등 관계부처는 국가과학기술자문회의 전원회의에서 「AI-반도체 이니셔티브」를 심의·의결했다고 밝혔다. 이번 안건은 4월 9일 반도체 현안점검회의에서 발표한 추진 방향을 구체화한 것으로, 정부는 민간과 협력해 ‘AI G3 도약’과 ‘K-반도체 새로운 신화 창조’를 추진할 계획이다. 주요 내용은 AI 원천기술 확보, AI 반도체 초격차·신격차 확보, AI-반도체 하드웨어·소프트웨어 기술생태계 조성이다.

인공지능(AI)-반도체·첨단바이오·퀀텀, 글로벌 3대 국가 도약 추진 (2024.4.26)

공공 · 국가과학기술자문회의 · 📜

국가과학기술자문회의는 2024년 4월 25일 전원회의에서 AI-반도체, 첨단바이오, 퀀텀 등 3대 게임체인저 기술 이니셔티브를 심의·의결했다. 정부는 기술주권 확보와 미래 시장 선도를 위해 2030년까지 해당 분야에서 글로벌 3대 국가로 도약한다는 목표를 세웠다. 이를 위해 집중 투자, 기술별 가치사슬 고도화, 동맹국과의 전략적 협력을 추진할 계획이다.

일반 인공지능 윤리교육 교재 개발 및 확산 (2024.4.26)

공공 · 정보통신정책연구원 · 🎭

정보통신정책연구원은 일반 시민의 인공지능 윤리의식과 인공지능 리터러시 향상을 위해 2020년 국가 인공지능 윤리기준을 바탕으로 성인 대상 교육 교재를 개발했다. 교재는 인공지능 관련 문제를 찾는 ‘탐색하기’, 서비스를 직접 사용해보는 ‘경험하기’, 판단 기준을 익히는 ‘개념화하기’, 학습 내용을 점검하는 ‘되돌아보기’의 4단계로 구성됐다. 생성형 인공지능의 확산에 따른 가짜뉴스, 인권침해, 저작권 등 주요 이슈를 다루며, 교육 플랫폼을 통한 교재 확산과 초·중·고 대상 인공지능 윤리교육 확대 방안을 제시한다.

🇰🇷 2023 인공지능 윤리정책 포럼 운영 결과 (2024.4.26)

공공 · 정보통신정책연구원 · 🎭

정보통신정책연구원은 초거대·생성형 인공지능 확산에 따른 허위정보, 지식재산권 침해, 편향, 프라이버시 등 윤리 이슈를 논의하기 위해 2023년 제2기 인공지능 윤리정책 포럼을 운영했다. 포럼에는 학계·교육계·법조계·산업계·시민사회·공공부문 전문가 30인이 참여했으며, 전체 포럼과 윤리·기술·교육 분과위원회에서 인공지능 안전성, 윤리영향평가, 교육적 활용, 기업의 자율적 윤리 확보 방안 등을 논의했다. 연구는 다양한 이해관계자가 참여하는 거버넌스를 통해 사회적 합의를 형성하고, 이를 바탕으로 국내 인공지능 윤리정책을 발전시켜 국제 논의에도 적극 참여할 필요가 있다고 제언했다.

🇺🇸 Anthropic 해석 가능성 연구 업데이트 (2024.4.26)

기업 · Anthropic Research · 🤖🧪🚀

Anthropic의 해석 가능성 연구팀에서 개발 중인 몇 가지 아이디어를 보고합니다. 이 아이디어들은 현재 연구 분야에서 활동 중인 연구자들에게 흥미로울 수 있습니다. 일부는 앞으로 몇 달 동안 더 자세히 다룰 예정인 초기 연구 분야이며, 다른 일부는 논문으로 발표하기엔 사소한 내용들입니다. 이러한 결과는 동료와의 짧은 회의에서 공유되는 초기 아이디어와 실험으로 생각해 주시기 바랍니다.

주요 내용: - 해석 가능성 연구 업데이트: 해석 가능성 팀의 초기 연구 아이디어 공유 - 다중 에이전트 시스템의 패턴 및 문제점 검토: 현재 선두 모델의 행동 경향 분석 및 시스템적 위험 완화 논의 - 근로자 재교육 프로그램 검토: 독립 연구자 David Roodman와 함께 작성한 근로자 재교육 프로그램 증거 검토 - Claude의 수학적 능력 탐구: 비공개 Claude 버전이 리만 가설 관련 문제에서 진전을 이루며, 리만 제타 함수의 제로들에 대한 리만 가설 만족 비율의 하한을 향상시킴 (41.6%에서 67.2%로 증가)

🇺🇸 METR, 새로운 임원진 구성: Emma Abele 신임 집행 디렉터 (2024.4.26)

공공 · METR

METR은 조직의 성장에 맞춰 리더십 구조를 업데이트하고 있으며, Emma Abele가 신임 집행 디렉터로 임명되었다. Abele는 2023년 3월에 수석 비서로 합류하여 팀 관리와 전략적 방향 설정에 참여해 왔다. 최근 몇 달 동안 임시 집행 디렉터 역할을 수행한 결과 긍정적이었으며, 이제 이 새로운 구조가 공식화된다. 이 변화는 METR의 강점을 더욱 효과적으로 활용하기 위한 것이다. METR은 경계 AI 시스템을 연구하고 개발하여 복잡한 자율 작업 수행 능력을 측정한다.