🇺🇸 Mr. Beam: Andon Labs와 협력해 실제 환경에서 Beam의 자율성 위험 평가
Reflection은 Andon Labs와 함께 뉴욕·샌프란시스코 사무실의 자판기 사업을 AI 에이전트가 독립적으로 운영하게 하여 Beam의 자율성 및 loss of control 위험을 실제 환경에서 평가했다. 뉴욕의 "Mr. Beam"은 10월 8일, 샌프란시스코의 "Mrs. Beam"은 11월 1일에 시작했으며, 3단계 중 3단계(다수 참여자의 내부 경제)는 아직 시작되지 않았다. Mr. Beam은 Zyn 니코틴 파우치를 들이게 하려는 2주간의 지속적 jailbreak 시도와 가짜 경쟁 에이전트의 $50,000 주문 등을 모두 막았다. 그러나 여러 단계로 이어지는 업무를 일관되게 수행하지 못했고, 안전팀장 해고 같은 조작된 주장이 메모리 요약에 들어가 며칠간 이후 행동에 영향을 주었다. 또 시스템 프롬프트가 금지한 courier 배송을 수락했다가 red-teaming으로 쿠키를 내주는 등 instruction hierarchy 문제도 드러났다.