Skip to content

data(knowledge): 실행 Slot 계약과 E2E Gold 후보 확장 #51

Description

@hywznn

배경

현재 Workflow는 필수 Slot을 내부 키 목록으로만 제공하여 UI·Agent가 한글 표시명, 근로자용 쉬운 표현, 데이터 출처 우선순위, 담당 주체와 검증 규칙을 공통으로 소비하기 어렵습니다. 또한 이름 별칭·공백·음차 변형과 베트남어 안내의 핵심정보 보존을 함께 검증하는 대표 E2E 계약이 없습니다.

범위

  • 8개 Workflow의 Slot 계약에 한글 표시명·쉬운 표현·출처 우선순위·담당 주체·필수 여부·검증 규칙 추가
  • 기존 required/optional/resolvable_from_context 필드와 호환성 유지
  • 이름 별칭·공백·음차·대소문자·복합 요청·경계 Intent·OUT_OF_SCOPE를 포함한 E2E 10건 추가
  • 베트남어 근로자 안내와 날짜·서류명·제출처·대상자·기한 보존 기대값 추가
  • 사용자 노출 문장에 Workflow/Intent/Slot 내부 키가 포함되는지 자동 검사
  • 오분류가 외부기관 제출·메시지 발송·완료 처리로 자동 연결되지 않는 기대 Guardrail 기록
  • A/B 독립 검수 템플릿과 승격 기준 문서화

저장소 경계

Knowledge는 E2E 입력·정답 계약과 검수 기준만 제공합니다. BERT 단독/A.X 보조 경로의 실제 정확도, 지연시간, fallback 비율과 routing reason 측정은 모델·서비스 팀이 수행합니다.

완료 기준

  • Schema 및 교차참조 검사 통과
  • 대표 E2E 10건에 대상 탐색·안내문 핵심값·Guardrail 기대값 포함
  • 내부 키 노출 검사 통과
  • 독립 검수 전에는 Gold 성능을 주장하지 않고 Gold 후보로 표시
  • make check 통과

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions