vpd-permission-poc/docs/design/749-hmm-select-ai-no-annotation-profile/cookbook.md

생성·측정·롤백 절차

개요 · 비교 설계 · 측정 결과 · 문제 해결

1. 준비

• ADMIN으로 HMM ADB에 연결한다.
• HMM_HR_DATA_GPT54_PROFILE이 ENABLED이고 annotations=true인지 확인한다.
• 운영 BACKOFFICE_SELECT_AI_PROFILE 값을 기록하되 credential과 비밀번호는 출력하지 않는다.

성공 판정: 원본 프로파일과 전체 속성 목록을 읽을 수 있다.

실패 시: 원본 프로파일이 없거나 소유자가 다름

2. 비교 프로파일 생성

database/adb/85_hmm_hr_select_ai_no_annotation_profile.sql

스크립트는 비교 프로파일이 없을 때만 생성한다. 생성 후 원본과 비교 프로파일의 속성을 조회해 annotations 외의 차이가 없는지 확인한다.

성공 판정: HMM_HR_DATA_GPT54_NOANN_PROFILE이 ENABLED, annotations=false다.

실패 시: 비교 프로파일이 이미 있지만 속성이 다름

3. A/B 측정

database/adb/86_hmm_select_ai_annotation_benchmark.sql

동일 질문을 UTF-8 Base64에서 복원하고, 두 프로파일의 showprompt와 showsql을 번갈아 3회씩 호출한다. BENCHMARK|... 행을 결과 파일에 저장하고 평균·중앙값을 계산한다.

성공 판정:

• 두 프로파일 모두 3회 결과가 있다.
• showsql이 읽기 전용 SQL을 반환한다.
• 시간과 prompt/SQL 길이를 비교할 수 있다.

실패 시: 호출이 간헐적으로 실패하거나 시간이 크게 흔들림

4. 운영 전환 판단

이번 실험에서는 운영 값을 바꾸지 않는다. 속도 개선이 반복 확인되고 SQL 품질이 유지될 때만 별도 변경으로 BACKOFFICE_SELECT_AI_PROFILE 전환과 MCP VPD 회귀 검증을 수행한다.

2026-08-11 측정에서는 의미 있는 속도 개선이 확인되지 않았으므로 전환하지 않았다. 자세한 수치는 측정 결과를 본다.

5. 롤백

비교 프로파일이 문제를 일으키면 먼저 disable한다.

BEGIN
  DBMS_CLOUD_AI.DISABLE_PROFILE('HMM_HR_DATA_GPT54_NOANN_PROFILE');
END;
/

운영 프로파일은 실험 중 변경하지 않으므로 서비스 롤백은 필요 없다. 프로파일 삭제는 측정 이력과 의존성을 확인한 뒤 별도 승인하에 수행한다.