refs #749: compare HMM Select AI annotation profiles

docs/design/749-hmm-select-ai-no-annotation-profile/results.md

@@ -0,0 +1,49 @@
+# 측정 결과
+
+[개요](README.md) · [비교 설계](architecture.md) · [실행 절차](cookbook.md) · [문제 해결](troubleshooting.md)
+
+## 결론
+
+현재 HMM HR 데이터에서는 annotation 제외에 따른 일관된 속도 개선이 확인되지 않았다.
+annotation 사용 프로파일의 object list에 실제 table/column annotation이 0건이기 때문이다.
+운영 프로파일은 기존 값을 유지한다.
+
+## 측정 조건
+
+| 항목 | 값 |
+|---|---|
+| 측정일 | 2026-08-11 |
+| DB 연결 | ADMIN / `hmmaipoc_low` |
+| 모델 | `openai.gpt-5.4-mini` |
+| 질문 | 이번 달 팀원별 휴가 사용 현황 조회 |
+| 반복 | action별·profile별 3회, 호출 순서 교차 |
+| annotation 사용 | `HMM_HR_DATA_GPT54_PROFILE` |
+| annotation 제외 | `HMM_HR_DATA_GPT54_NOANN_PROFILE` |
+
+한국어 질문은 UTF-8 Base64로 전달해 Oracle에서 복원했다. `showsql` 결과는 실행하지 않았다.
+
+## 결과 요약
+
+| action | 프로파일 | 평균 | 중앙값 | 최소 | 최대 | 결과 크기 |
+|---|---|---:|---:|---:|---:|---:|
+| `showprompt` | annotation 사용 | 693.3ms | 130ms | 120ms | 1,830ms | 3,188자 |
+| `showprompt` | annotation 제외 | 196.7ms | 130ms | 120ms | 340ms | 3,154자 |
+| `showsql` | annotation 사용 | 2,453.3ms | 2,430ms | 2,410ms | 2,520ms | 522~547자 |
+| `showsql` | annotation 제외 | 2,483.3ms | 2,370ms | 2,350ms | 2,730ms | 522~533자 |
+
+`showprompt` 첫 회차의 1,830ms는 이후 120~130ms로 줄어 초기 metadata cache 영향으로 판단한다.
+중앙값은 두 프로파일 모두 130ms다. `showsql`은 annotation 제외 프로파일이 평균 기준 30ms 느리고,
+중앙값 기준 60ms 빠르므로 측정 편차 범위다.
+
+## 품질 확인
+
+- `showsql` 6회 모두 `SELECT` 또는 `WITH`로 시작하는 유효한 읽기 전용 SQL을 반환했다.
+- 회차별 SQL hash가 달라 생성 SQL은 완전히 결정적이지 않았다.
+- 두 프로파일의 prompt 크기 차이는 34자, 약 1.1%다.
+- HR object list 5개 테이블의 `ALL_ANNOTATIONS_USAGE` 집계는 0건, 0자다.
+
+## 판단
+
+현재 조건에서는 `annotations=false` 프로파일로 운영 전환할 근거가 없다. annotation metadata가 실제로
+많은 다른 object list에서는 결과가 달라질 수 있으므로, 그 경우 같은 스크립트로 다시 측정해야 한다.
+비교 프로파일은 후속 시험용으로 유지하되 MCP 운영 설정에는 연결하지 않는다.