General · Closed · 1000K ctx · $3/M · $15/M
GPQA 87.4% · SWE 79.6% · MMLU 83% · HE 94.5% · MATH 89% · AIME 83%
Current production Sonnet. Frontier coding and agent performance. Top Arena-Code Elo for everyday use.
NIST의 CAISI는 의료, 금융 서비스, 교육 분야에서 AI 및 AI agent 시스템 도입을 가로막는 요인과 촉진 요인을 파악하기 위한 가상 워크숍(청취 세션)을 개최한다. 성공·실패 사례와 그 차이를 만든 맥락적 요인을 수집하며, 특히 조달·평가·통합 관련 분야 전문가 참여를 권장한다. 참가 의사는 2026년 3월 31일까지 이메일로 제출해야 하며, 워크숍은 2026년 5월 중 단계적으로 진행될 예정이다.
BPJ는 ‘jailbreak’로 불리는 위해 정보 추출 시도를 방어하는 Constitutional Classifiers 등 강한 분류 기반 방어를, 완전한 black-box 조건에서 단일 비트(해당 상호작용이 플래그되는지 여부)만 활용해 우회하는 자동 공격 방식이다. 공격 문자열을 직접 타깃으로 최적화하지 않고 중간 단계 타깃(curriculum)으로 바꾼 뒤, 공격 강도의 미세한 변화(“boundary points”)를 가장 잘 드러내는 평가 지점을 선택해 개선 여부를 판단한다. 본문은 BPJ가 Constitutional Classifiers에 대한 universal jailbreak를 자동으로 개발하고, 인간이 제공한 attack seed 없이 GPT-5의 input classifier에서도 성공했다고 주장하며, 개별 상호작용에서는 방어가 어려워도 최적화 과정에서 플래그가 많이 발생하므로 배치 수준 모니터링이 필요하다고 제시한다.
NIST의 CAISI는 자율적으로 행동하는 차세대 AI 에이전트의 신뢰성·보안·상호운용성을 높이기 위한 ‘AI Agent Standards Initiative’를 출범한다고 밝혔다. NIST는 ITL 및 타 연방 파트너와 함께 산업 주도의 표준 개발, 오픈소스 프로토콜의 커뮤니티 기반 유지보수, AI agent 보안 및 identity 연구를 3대 추진축으로 진행할 계획이다. 또한 공개 의견 수렴을 위해 CAISI의 AI Agent Security RFI(마감 3월 9일)와 ITL의 AI Agent Identity and Authorization Concept Paper(마감 4월 2일)를 받으며, 4월부터는 분야별 도입 장벽을 주제로 청취 세션을 개최할 예정이다.
NIST는 자율적으로 행동하는 AI 에이전트의 안전한 채택과 디지털 환경 전반에서의 상호운용을 목표로 AI Agent Standards Initiative를 추진한다고 밝혔다. 업계 주도 표준을 위한 기술 컨벤빙·갭 분석, 상호운용 가능한 에이전트 프로토콜의 장벽을 줄이기 위한 커뮤니티 참여, 에이전트 인증·신원 인프라 및 보안 평가 연구를 핵심 축으로 제시했다. 또한 AI agent security 관련 RFI와 소프트웨어·AI agent identity 및 authorization 개념 논문, 분야별 리스닝 세션 등 이해관계자 의견 수렴 활동을 진행한다.
METR는 AI 개발자, 정부 기관, 연구 단체들과 협력하며, 때때로 비공개 모델 접근과 기밀 정보를 제공받습니다. 이 글에서는 이러한 정보와 접근을 보호하기 위한 METR의 접근 방식을 설명합니다. 주요 내용은 다음과 같습니다:
- 정책: 정보를 민감도에 따라 6단계의 기밀 수준으로 분류하여 관리합니다. 비공개 모델 정보는 직접 관련 연구자들만 접근 가능하며, 코드명으로만 언급됩니다. - 설정: 기밀 수준을 플랫폼 전반에 걸쳐 사용하여 기대치를 명확히 합니다. 기술적 제어를 통해 우발적인 공유를 방지하고, 프로젝트별로 민감한 정보를 분리합니다. - 규범: 코드명 사용, 민감한 정보에 대한 신중한 대화, 그리고 잠재적 실수를 감지하고 보고하는 문화를 유지합니다. - 보안 조치: 중앙 인증 제공자, 다중 계층 접근 제어, 모바일 기기 관리, 모니터링 및 응답 시스템 등을 통해 보안을 강화합니다.
METR는 이러한 조치들로 인해 SOC 2 Type I 인증을 획득하였습니다. 자세한 내용은 보안 담당자에게 문의하실 수 있습니다. (security@metr.org)
메타(METR)의 연구 노트에 따르면, 코딩 에이전트의 대화록을 분석하여 AI 에이전트의 생산성 향상을 추정하는 방법을 탐구했다. 7명의 METR 기술 직원의 5305개 클로디어 코드 대화록을 기반으로 분석한 결과, 코딩 에이전트 지원 작업의 시간 절약 요인이 약 1.5배에서 13배 사이로 나타났다. 그러나 이 결과는 여러 제약 조건으로 인해 실제 생산성 향상의 하한값으로 해석되어야 한다. 주요 제약 조건으로는:
1. 작업 대체 효과: AI 지원으로 인해 수행되는 일부 작업이 원래 수행되지 않았을 수 있어 실제 가치가 낮을 수 있다. 2. 작업 선택 효과: 직원들이 AI를 사용하지 않는 작업은 수행하지 않으므로 전체적인 생산성 향상을 과대평가할 수 있다. 3. 사전 작업자 전문성: 개별 직원들이 특화된 작업을 수행하여 경험 있는 소프트웨어 엔지니어보다 빠르게 작업을 완료할 수 있다. 4. LLM 판단의 제한성: 판단 모델이 제한된 데이터로 검증되었으며, 일반화 능력이 불확실하다. 5. 데이터 범위 제한: 클로디어 코드 대화록만 분석하여 다른 코딩 에이전트나 채팅 인터페이스를 통한 작업은 제외되었다.
결론적으로, 코딩 에이전트 지원 작업의 시간 절약 요인은 실제 생산성 향상의 상한값으로 보아야 하며, 전체 작업 범위에서의 실제 효과는 더 낮을 가능성이 크다.
앨런 튜링 연구소, 유니버시티 칼리지 런던, 킹스 칼리지 런던 연구진은 악성코드 탐지를 고정된 분류 문제가 아닌 의사결정 문제로 재구성한 DRMD(Deep Reinforcement Learning for Malware Detection)를 개발했다. DRMD는 앱을 악성코드로 분류하거나 정상 앱으로 통과시키거나 추가 분석을 위해 거부하는 선택을 데이터의 최신성, 오분류 비용, 불확실성에 따라 학습한다. 두 개의 실제 Android 데이터셋과 172개 설정에서 기존 지도학습 방식보다 86%의 설정에서 성능이 향상됐고, 기존 다단계 방식과 비교해서는 97%의 설정에서 개선됐다. 연구는 영국 국가 핵심 기반시설 보호를 위한 적응형 악성코드 탐지의 기반을 제시했으며, 관련 코드는 GitHub에 공개됐다.
EU AI법 간소화 패키지와 관련해 EU AI Office의 조사·집행 권한을 확대하는 방안과 범용 AI 코드 준수 지원을 위한 서명기관 태스크포스 출범 소식이 전해졌다. 산업계는 규제 부담 완화와 고위험 AI 규정 적용 연기를 환영하면서도 추가적인 구조 개혁을 요구했으며, 시민사회는 기본권 보호와 투명성 안전장치의 후퇴를 경고했다. 특히 고위험 AI 규정은 2026년 8월 2일부터 적용될 예정인 가운데, Article 49(2) 투명성 보호조항 삭제와 중소기업형 특례 확대 등이 집행력과 감독을 약화할 수 있다는 우려가 제기됐다.
Every Eval Ever는 서로 다른 평가 프레임워크가 제각각 결과를 내는 문제를 해결하기 위해, 평가 결과를 기술하는 공통 스키마와 크라우드소싱 eval 데이터베이스를 제공하는 프로젝트다. 벤치마크·모델·평가 실행(run) 단위로 메타데이터(누가/어떤 설정으로/어떤 모델을/점수 의미)를 함께 저장하고, schema 검증 및 Inspect AI·HELM·lm-eval-harness 등 기존 도구 로그를 표준 형식으로 변환하는 컨버터도 제공한다. 또한 평가 설정 차이로 점수가 달라질 수 있어(예: MMLU에서 프롬프트·추출 방식 차이) 실행별 UUID로 개별 run을 보존하되 중복 제거·그룹핑은 분석 단계에서 하도록 설계했다.
오픈 웨이트 LLM이 tampering 공격에 취약하다는 문제의식에서, 사전학습 데이터에서 dual-use 주제 관련 텍스트를 필터링하면 위험 역량을 줄이면서도 모델을 더 tamper-resistant하게 만들 수 있는지 연구했다. 6.9B 파라미터 모델을 처음부터 여러 개 사전학습해, biothreat 관련 텍스트에 대해 최대 10,000 스텝의 adversarial fine-tuning과 300M 토큰 규모에서도 기존 post-training 기반 대비 1자릿수 이상 더 잘 버틴다고 보고했다. 다만 필터링된 모델은 내부에 위험 지식을 “내재화”하지는 못하지만, 검색 도구 등으로 컨텍스트에 제공되면 해당 정보를 활용할 수 있어 defense-in-depth가 필요하다고 결론냈다.