refs #708: benchmark Llama game scope profile
This commit is contained in:
@@ -46,3 +46,24 @@ Smilegate DATA & AI PoC는 Autonomous Database의 게임 데이터에서 Select
|
||||
- `DBMS_CLOUD_AI.GENERATE(..., 'showsql')`이 읽기 전용 `SELECT` 또는 `WITH` SQL을 생성한다.
|
||||
- 해당 SQL을 읽기 전용 트랜잭션에서 실행해 결과를 반환한다.
|
||||
- 운영 MCP 응답의 `profile`이 `SGMP_POC_OCI_GPT54MINI`이다.
|
||||
|
||||
## Llama 4 Scout 범위 판정 성능 비교
|
||||
|
||||
게임 범위 판정은 Text2SQL 실행 전 OCI Chat을 사용한다. 이 단계의 응답시간을
|
||||
비교하기 위해 운영 프로파일을 교체하지 않고 별도 테스트 프로파일
|
||||
`SGMP_POC_OCI_LLAMA4SCOUT`을 만든다.
|
||||
|
||||
| 구분 | 운영 | 비교 대상 |
|
||||
| --- | --- | --- |
|
||||
| 프로파일 | `SGMP_POC_OCI_GPT54MINI` | `SGMP_POC_OCI_LLAMA4SCOUT` |
|
||||
| 모델 | `openai.gpt-5.4-mini` | `meta.llama-4-scout-17b-16e-instruct` |
|
||||
| 인증·리전 | 기존 OCI credential·inference region 유지 | 동일 |
|
||||
| object list·metadata | 운영 값 | 운영 값 복제 |
|
||||
| 운영 트래픽 | 사용 | 사용하지 않음 |
|
||||
|
||||
`sql/adb/112_sgmp_select_ai_oci_llama4scout_profile.sql`은 기존 OCI 프로파일의
|
||||
credential, region, compartment, object list와 metadata instructions를 복제하고
|
||||
모델만 교체한다. 같은 질문을 두 프로파일에 각각 Chat 호출해 경과시간과 반환 JSON
|
||||
형식을 기록한다. 품질·지연시간 결과를 검토하기 전에는
|
||||
`sg_game_extract_mentions`와 `sg_game_match_candidate`의 운영 프로파일을 바꾸지
|
||||
않는다.
|
||||
|
||||
Reference in New Issue
Block a user