AI 안전·거버넌스 관련 법·정책·표준·기구 문서를 모아, 종류·주제·날짜·한글 표기를 정리해 한 화면에서 훑을 수 있게 한 라이브러리입니다. 문서별 LLM 큐레이션(분석)을 먼저 한 뒤, 같은 법령·정책 후보를 확인하고 합의된 그룹만 통합 약칭·핵심내용을 합성합니다. 고·중신뢰만 사이트에 반영합니다.
파이프라인
키워드 태그는 초안용입니다. LLM이 토픽을 확정하면
(topics_source=llm) 키워드 매칭으로 덮어쓰지 않습니다.
예: 제목의 「정당성」만으로 politics를 붙이지 않습니다.
데이터 원칙
- 형태 × 층위 × 주제 —
doc_kind는 규범 형태,issuer_level은 발급 층위(국제·국가·부처·랩·시민사회 등),topics는 주제. 구「개발사 정책」은 층위lab+ 형태 (대개 가이드라인·원칙)로 나눕니다. - 뉴스·보도는 종류가 아니라 제외 — UI
doc_kindenum에 두지 않고in_scope=false+reject_reason=news_press로 뺍니다. - 토픽은 의미 판정 — 부분문자열 함정(정당성≠정당, party≠정당)을 프롬프트·검증으로 막습니다.
- 날짜는 발표일 — OECD는 원문에서 확인된 고·중신뢰 날짜만 발표일로 쓰고,
아니면 catalog Added-on을 둡니다. 외교부는 발표시점이 연도뿐이면 원문 URL 메타·경로로
월·일을 보강합니다
(
resolve_oecd_dates.py·mofa_dates.py). - DPA는 큐레이터 랜딩 — Regulating AI 스레드의 intervention을 받습니다. 공식 원문 URL은 API에 없어서 DPA 페이지를 연결하고, 범위는 OECD·외교부와 같은 안전·거버넌스·규제 큐레이션을 씁니다.
- AIGL은 큐레이터 랜딩 — AI Governance Library 카드를 Digest에서 옮겨 둡니다. 게시일은 업로드일이라 약하게 두고, 영문 원제가 다른 소스와 완전히 같으면 그 카드에 합칩니다.
- 국가전략포털은 발행처 원문으로 — 국회도서관 국가전략포털의 국가전략보고서 중 제목·해시태그에 AI가 나오는 것을 받습니다. 국내외 싱크탱크·국제기구·의회 조사기관 보고서이고, 대표 링크는 발행처 원문입니다. 포털에 요약이 없어 원문 페이지의 소개문을 본문으로 쓰고, 범위는 LLM 큐레이션이 정합니다.
- 규제 트래커는 원문만 — Global AI Regulation Tracker 항목을 Digest가 내보낸 코퍼스에서 받습니다. LLM이 제도 원문 링크인지 판정해 원문이면 새 카드로, 이미 있는 제도면 그 카드의 이력(발의·통과·시행 등)으로 붙입니다. 공식 보도자료 링크는 이력에만 쓰고, 언론 보도는 받지 않습니다(그 소식은 Digest에 남습니다).
- 저신뢰는 자동 반영 안 함 —
confidence=low는 캐시에만 두고 UI 필드를 바꾸지 않습니다. - 원문 제목 보존 — 한글 약칭을 쓸 때 영문 원제는
original_name에 남깁니다. - 동일 법령은 한 카드 — 규칙으로 후보만 묶고, 큐레이션·병합 분석 후
같은 제도로 합의된 경우만 통합 요약·조항 목록을 씁니다
(
merge_instruments.py --analyze→--synthesize). 다른 법이 섞이면 분할 플래그만 남깁니다.
허용 문서종류 · 토픽
doc_kind (형태) 법 · 법안 · 행정규칙 · 조약·협약 · 선언·성명 · 가이드라인·원칙 · 전략·정책 · 정책보고서 · 표준 · 기구·제도 · 기타
issuer_level (층위) 국제기구·다자(international) · 국가(national) · 지방·주(subnational) · 부처·규제기관(ministry) · 프론티어 랩(lab) · 산업계·협회(industry) · 시민사회·학계(civil_society) · 민관·혼합(multi)
topics (주제) national_security · cybersecurity · politics · sovereign_ai · healthcare · youth · agentic_ai · physical_ai · safety_research · deepfake_disinfo · open_weight · frontier · incidents
수동 도구
python3 scripts/curate_llm.py --limit 200
python3 scripts/curate_llm.py --validate-only
캐시 cache/llm_curate.json. 고·중신뢰만 build 시 반영.
python3 scripts/merge_instruments.py --analyze --limit 30
python3 scripts/merge_instruments.py --propose
python3 scripts/merge_instruments.py --synthesize --limit 30
캐시 cache/instrument_analyze.json · cache/instrument_merge.json.
python3 scripts/enrich_ko.py --limit 100
큐레이션이 short_name/summary를 채우면 점차 대체됩니다.
python3 scripts/resolve_oecd_dates.py --apply-only
python3 scripts/resolve_oecd_dates.py --limit 300 --llm --no-search --apply
원문에서 월·일이 확인된 고·중신뢰만 발표일. 아니면 Added-on. 캐시 cache/oecd_dates.json.
python3 scripts/mofa_dates.py
원문 HTML·PDF·URL 경로. 캐시 cache/mofa_dates.json.
python3 scripts/ingest_dpa_ai_thread.py --limit 250
python3 scripts/curate_llm.py --collection dpa-ai --limit 400 --workers 8
issue 42 event-list. 키 DPA_API. 랜딩은 DPA intervention 페이지.
python3 scripts/build_site.py
후보 그룹 → 큐레이션 → 분석/합성 캐시 → docs/