vpd-permission-poc/docs/design/749-hmm-select-ai-no-annotation-profile/results.md

측정 결과

개요 · 비교 설계 · 실행 절차 · 문제 해결

결론

현재 HMM HR 데이터에서는 annotation 제외에 따른 일관된 속도 개선이 확인되지 않았다. annotation 사용 프로파일의 object list에 실제 table/column annotation이 0건이기 때문이다. 운영 프로파일은 기존 값을 유지한다.

측정 조건

항목	값
측정일	2026-08-11
DB 연결	ADMIN / hmmaipoc_low
모델	openai.gpt-5.4-mini
질문	이번 달 팀원별 휴가 사용 현황 조회
반복	action별·profile별 3회, 호출 순서 교차
annotation 사용	HMM_HR_DATA_GPT54_PROFILE
annotation 제외	HMM_HR_DATA_GPT54_NOANN_PROFILE

한국어 질문은 UTF-8 Base64로 전달해 Oracle에서 복원했다. showsql 결과는 실행하지 않았다.

결과 요약

action	프로파일	평균	중앙값	최소	최대	결과 크기
showprompt	annotation 사용	693.3ms	130ms	120ms	1,830ms	3,188자
showprompt	annotation 제외	196.7ms	130ms	120ms	340ms	3,154자
showsql	annotation 사용	2,453.3ms	2,430ms	2,410ms	2,520ms	522~547자
showsql	annotation 제외	2,483.3ms	2,370ms	2,350ms	2,730ms	522~533자

showprompt 첫 회차의 1,830ms는 이후 120~130ms로 줄어 초기 metadata cache 영향으로 판단한다. 중앙값은 두 프로파일 모두 130ms다. showsql은 annotation 제외 프로파일이 평균 기준 30ms 느리고, 중앙값 기준 60ms 빠르므로 측정 편차 범위다.

품질 확인

• showsql 6회 모두 SELECT 또는 WITH로 시작하는 유효한 읽기 전용 SQL을 반환했다.
• 회차별 SQL hash가 달라 생성 SQL은 완전히 결정적이지 않았다.
• 두 프로파일의 prompt 크기 차이는 34자, 약 1.1%다.
• HR object list 5개 테이블의 ALL_ANNOTATIONS_USAGE 집계는 0건, 0자다.

판단

현재 조건에서는 annotations=false 프로파일로 운영 전환할 근거가 없다. annotation metadata가 실제로 많은 다른 object list에서는 결과가 달라질 수 있으므로, 그 경우 같은 스크립트로 다시 측정해야 한다. 비교 프로파일은 후속 시험용으로 유지하되 MCP 운영 설정에는 연결하지 않는다.