refs #749: compare HMM Select AI annotation profiles
This commit is contained in:
@@ -0,0 +1,65 @@
|
||||
# 생성·측정·롤백 절차
|
||||
|
||||
[개요](README.md) · [비교 설계](architecture.md) · [측정 결과](results.md) · [문제 해결](troubleshooting.md)
|
||||
|
||||
## 1. 준비
|
||||
|
||||
- ADMIN으로 HMM ADB에 연결한다.
|
||||
- `HMM_HR_DATA_GPT54_PROFILE`이 `ENABLED`이고 `annotations=true`인지 확인한다.
|
||||
- 운영 `BACKOFFICE_SELECT_AI_PROFILE` 값을 기록하되 credential과 비밀번호는 출력하지 않는다.
|
||||
|
||||
성공 판정: 원본 프로파일과 전체 속성 목록을 읽을 수 있다.
|
||||
|
||||
실패 시: [원본 프로파일이 없거나 소유자가 다름](troubleshooting.md#원본-프로파일이-없거나-소유자가-다름)
|
||||
|
||||
## 2. 비교 프로파일 생성
|
||||
|
||||
```text
|
||||
database/adb/85_hmm_hr_select_ai_no_annotation_profile.sql
|
||||
```
|
||||
|
||||
스크립트는 비교 프로파일이 없을 때만 생성한다. 생성 후 원본과 비교 프로파일의 속성을 조회해
|
||||
`annotations` 외의 차이가 없는지 확인한다.
|
||||
|
||||
성공 판정: `HMM_HR_DATA_GPT54_NOANN_PROFILE`이 `ENABLED`, `annotations=false`다.
|
||||
|
||||
실패 시: [비교 프로파일이 이미 있지만 속성이 다름](troubleshooting.md#비교-프로파일이-이미-있지만-속성이-다름)
|
||||
|
||||
## 3. A/B 측정
|
||||
|
||||
```text
|
||||
database/adb/86_hmm_select_ai_annotation_benchmark.sql
|
||||
```
|
||||
|
||||
동일 질문을 UTF-8 Base64에서 복원하고, 두 프로파일의 `showprompt`와 `showsql`을 번갈아 3회씩
|
||||
호출한다. `BENCHMARK|...` 행을 결과 파일에 저장하고 평균·중앙값을 계산한다.
|
||||
|
||||
성공 판정:
|
||||
|
||||
- 두 프로파일 모두 3회 결과가 있다.
|
||||
- `showsql`이 읽기 전용 SQL을 반환한다.
|
||||
- 시간과 prompt/SQL 길이를 비교할 수 있다.
|
||||
|
||||
실패 시: [호출이 간헐적으로 실패하거나 시간이 크게 흔들림](troubleshooting.md#호출이-간헐적으로-실패하거나-시간이-크게-흔들림)
|
||||
|
||||
## 4. 운영 전환 판단
|
||||
|
||||
이번 실험에서는 운영 값을 바꾸지 않는다. 속도 개선이 반복 확인되고 SQL 품질이 유지될 때만
|
||||
별도 변경으로 `BACKOFFICE_SELECT_AI_PROFILE` 전환과 MCP VPD 회귀 검증을 수행한다.
|
||||
|
||||
2026-08-11 측정에서는 의미 있는 속도 개선이 확인되지 않았으므로 전환하지 않았다. 자세한 수치는
|
||||
[측정 결과](results.md)를 본다.
|
||||
|
||||
## 5. 롤백
|
||||
|
||||
비교 프로파일이 문제를 일으키면 먼저 disable한다.
|
||||
|
||||
```sql
|
||||
BEGIN
|
||||
DBMS_CLOUD_AI.DISABLE_PROFILE('HMM_HR_DATA_GPT54_NOANN_PROFILE');
|
||||
END;
|
||||
/
|
||||
```
|
||||
|
||||
운영 프로파일은 실험 중 변경하지 않으므로 서비스 롤백은 필요 없다. 프로파일 삭제는 측정 이력과
|
||||
의존성을 확인한 뒤 별도 승인하에 수행한다.
|
||||
Reference in New Issue
Block a user