소개 · 파이프라인

수집·분류·표시 파이프라인과 데이터 출처

표시 문서 2,139건 · 원천 3,890건 · 범위 밖 1,751건 · LLM 큐레이션 캐시 3,905건(고·중신뢰 3,819) · 토픽 LLM 반영 1,089건

AI 안전·거버넌스 관련 법·정책·표준·기구 문서를 모아, 종류·주제·날짜·한글 표기를 정리해 한 화면에서 훑을 수 있게 한 라이브러리입니다. 문서별 LLM 큐레이션(분석)을 먼저 한 뒤, 같은 법령·정책 후보를 확인하고 합의된 그룹만 통합 약칭·핵심내용을 합성합니다. 고·중신뢰만 사이트에 반영합니다.

파이프라인

1 · 수집 AGORA · OECD · 외교부 · IAAE · AIGL 2 · 규칙 후보 모법 URL · 조항 · cluster 3 · LLM 큐레이션 문서별 범위·종류·토픽·한글 OpenRouter · 고·중신뢰만 반영 4 · 병합 분석 멤버 식별 · 같은 제도인지 5 · 통합 합성 합의된 그룹만 약칭·요약 5b · 날짜 복원 원문 URL · 검색 · LLM 6 · 사이트 빌드 build_site.py → docs/ 설계 원칙 · 문서별 분석(큐레이션) 후에야 통합 · 규칙은 후보만, 확정은 LLM 분석 · 날짜는 발표일 ≠ 카탈로그 등록일 · low confidence는 UI에 자동 반영하지 않음

키워드 태그는 초안용입니다. LLM이 토픽을 확정하면 (topics_source=llm) 키워드 매칭으로 덮어쓰지 않습니다. 예: 제목의 「정당성」만으로 politics를 붙이지 않습니다.

데이터 원칙

  • 형태 × 층위 × 주제 — doc_kind는 규범 형태, issuer_level은 발급 층위(국제·국가·부처·랩·시민사회 등), topics는 주제. 구「개발사 정책」은 층위 lab + 형태 (대개 가이드라인·원칙)로 나눕니다.
  • 뉴스·보도는 종류가 아니라 제외 — UI doc_kind enum에 두지 않고 in_scope=false + reject_reason=news_press로 뺍니다.
  • 토픽은 의미 판정 — 부분문자열 함정(정당성≠정당, party≠정당)을 프롬프트·검증으로 막습니다.
  • 날짜는 발표일 — OECD는 원문에서 확인된 고·중신뢰 날짜만 발표일로 쓰고, 아니면 catalog Added-on을 둡니다. 외교부는 발표시점이 연도뿐이면 원문 URL 메타·경로로 월·일을 보강합니다 (resolve_oecd_dates.py · mofa_dates.py).
  • DPA는 큐레이터 랜딩 — Regulating AI 스레드의 intervention을 받습니다. 공식 원문 URL은 API에 없어서 DPA 페이지를 연결하고, 범위는 OECD·외교부와 같은 안전·거버넌스·규제 큐레이션을 씁니다.
  • AIGL은 큐레이터 랜딩 — AI Governance Library 카드를 Digest에서 옮겨 둡니다. 지금은 aigl.blog URL을 연결하고, 원문 주소·다른 소스와의 중복은 나중에 정리합니다.
  • 저신뢰는 자동 반영 안 함 — confidence=low는 캐시에만 두고 UI 필드를 바꾸지 않습니다.
  • 원문 제목 보존 — 한글 약칭을 쓸 때 영문 원제는 original_name에 남깁니다.
  • 동일 법령은 한 카드 — 규칙으로 후보만 묶고, 큐레이션·병합 분석 후 같은 제도로 합의된 경우만 통합 요약·조항 목록을 씁니다 (merge_instruments.py --analyze → --synthesize). 다른 법이 섞이면 분할 플래그만 남깁니다.

허용 문서종류 · 토픽

doc_kind (형태) 법 · 법안 · 행정규칙 · 조약·협약 · 선언·성명 · 가이드라인·원칙 · 전략·정책 · 정책보고서 · 표준 · 기구·제도 · 기타

issuer_level (층위) 국제기구·다자(international) · 국가(national) · 지방·주(subnational) · 부처·규제기관(ministry) · 프론티어 랩(lab) · 산업계·협회(industry) · 시민사회·학계(civil_society) · 민관·혼합(multi)

topics (주제) national_security · cybersecurity · politics · sovereign_ai · healthcare · youth · agentic_ai · physical_ai · safety_research · deepfake_disinfo · open_weight · frontier · incidents

수동 도구

LLM 큐레이션 (문서별 분석 — 먼저) python3 scripts/curate_llm.py --limit 200 python3 scripts/curate_llm.py --validate-only 캐시 cache/llm_curate.json. 고·중신뢰만 build 시 반영.
병합 분석 → 후보 → 통합 합성 python3 scripts/merge_instruments.py --analyze --limit 30 python3 scripts/merge_instruments.py --propose python3 scripts/merge_instruments.py --synthesize --limit 30 캐시 cache/instrument_analyze.json · cache/instrument_merge.json.
한글 약칭·요약 (레거시 배치) python3 scripts/enrich_ko.py --limit 100 큐레이션이 short_name/summary를 채우면 점차 대체됩니다.
OECD 발표일 복원 python3 scripts/resolve_oecd_dates.py --apply-only python3 scripts/resolve_oecd_dates.py --limit 300 --llm --no-search --apply 원문에서 월·일이 확인된 고·중신뢰만 발표일. 아니면 Added-on. 캐시 cache/oecd_dates.json.
외교부 연도만 있는 날짜 python3 scripts/mofa_dates.py 원문 HTML·PDF·URL 경로. 캐시 cache/mofa_dates.json.
DPA Regulating AI (파일럿) python3 scripts/ingest_dpa_ai_thread.py --limit 250 python3 scripts/curate_llm.py --collection dpa-ai --limit 400 --workers 8 issue 42 event-list. 키 DPA_API. 랜딩은 DPA intervention 페이지.
사이트 재생성 python3 scripts/build_site.py 후보 그룹 → 큐레이션 → 분석/합성 캐시 → docs/

원본 랜딩 URL 기준 · 발표 히스토리 · AGORA 메타는 CC BY-NC 4.0.

캐시: cache/llm_curate.json · cache/instrument_analyze.json · cache/instrument_merge.json