# 생성·측정·롤백 절차

[개요](README.md) · [비교 설계](architecture.md) · [측정 결과](results.md) · [문제 해결](troubleshooting.md)

## 1. 준비

- ADMIN으로 HMM ADB에 연결한다.
- `HMM_HR_DATA_GPT54_PROFILE`이 `ENABLED`이고 `annotations=true`인지 확인한다.
- 운영 `BACKOFFICE_SELECT_AI_PROFILE` 값을 기록하되 credential과 비밀번호는 출력하지 않는다.

성공 판정: 원본 프로파일과 전체 속성 목록을 읽을 수 있다.

실패 시: [원본 프로파일이 없거나 소유자가 다름](troubleshooting.md#원본-프로파일이-없거나-소유자가-다름)

## 2. 비교 프로파일 생성

```text
database/adb/85_hmm_hr_select_ai_no_annotation_profile.sql
```

스크립트는 비교 프로파일이 없을 때만 생성한다. 생성 후 원본과 비교 프로파일의 속성을 조회해
`annotations` 외의 차이가 없는지 확인한다.

성공 판정: `HMM_HR_DATA_GPT54_NOANN_PROFILE`이 `ENABLED`, `annotations=false`다.

실패 시: [비교 프로파일이 이미 있지만 속성이 다름](troubleshooting.md#비교-프로파일이-이미-있지만-속성이-다름)

## 3. A/B 측정

```text
database/adb/86_hmm_select_ai_annotation_benchmark.sql
```

동일 질문을 UTF-8 Base64에서 복원하고, 두 프로파일의 `showprompt`와 `showsql`을 번갈아 3회씩
호출한다. `BENCHMARK|...` 행을 결과 파일에 저장하고 평균·중앙값을 계산한다.

성공 판정:

- 두 프로파일 모두 3회 결과가 있다.
- `showsql`이 읽기 전용 SQL을 반환한다.
- 시간과 prompt/SQL 길이를 비교할 수 있다.

실패 시: [호출이 간헐적으로 실패하거나 시간이 크게 흔들림](troubleshooting.md#호출이-간헐적으로-실패하거나-시간이-크게-흔들림)

## 4. 운영 전환 판단

이번 실험에서는 운영 값을 바꾸지 않는다. 속도 개선이 반복 확인되고 SQL 품질이 유지될 때만
별도 변경으로 `BACKOFFICE_SELECT_AI_PROFILE` 전환과 MCP VPD 회귀 검증을 수행한다.

2026-08-11 측정에서는 의미 있는 속도 개선이 확인되지 않았으므로 전환하지 않았다. 자세한 수치는
[측정 결과](results.md)를 본다.

## 5. 롤백

비교 프로파일이 문제를 일으키면 먼저 disable한다.

```sql
BEGIN
  DBMS_CLOUD_AI.DISABLE_PROFILE('HMM_HR_DATA_GPT54_NOANN_PROFILE');
END;
/
```

운영 프로파일은 실험 중 변경하지 않으므로 서비스 롤백은 필요 없다. 프로파일 삭제는 측정 이력과
의존성을 확인한 뒤 별도 승인하에 수행한다.