1. 작업 소개
권한이 있는 에이전트를 격리 환경에서 실행하고 어떤 작업을 시도하는지 측정하려는 실험 계획이다. 로컬 메일 데이터와 공개 데이터셋으로 실험대를 만든다.
2. 구현 과정과 선택 기준
쓰기 도구를 제거하지 않는다. 제거하면 무엇을 하려 했는지가 기록에 남지 않는다. 대신 요청을 거부하는 모드와 성공한 것처럼 응답하는 모드, 두 가지 그림자 도구를 제공해 시도한 작업까지 기록한다.
프롬프트 인젝션 페이로드를 다섯 등급으로 나누고, 어느 등급부터 따르는지를 측정값으로 삼는다.
3. 현재 상태와 남은 작업
아직 착수 전이다. 컨테이너 런타임이 설치되지 않아 0단계에서 막혀 있다. 비용도 실측 전이라 적지 않았다.