refs #737: align STD-06 partial success baseline
This commit is contained in:
@@ -193,7 +193,7 @@
|
|||||||
"sample_query": "SELECT COUNT(1)\n FROM DW.CZN_COMN_USER_MST\n WHERE BASE_DT = DATE_ADD(`CURRENT_DATE`(), -1)\n AND AU_FLAG = 1\n AND EXPT_USER_YN = 'N'\n\nSELECT COUNT(1)\n FROM DW.LORDNINE_COMN_USER_MST\n WHERE BASE_DT = DATE_ADD(`CURRENT_DATE`(), -1)\n AND AU_FLAG = 1\n AND EXPT_USER_YN = 'N'",
|
"sample_query": "SELECT COUNT(1)\n FROM DW.CZN_COMN_USER_MST\n WHERE BASE_DT = DATE_ADD(`CURRENT_DATE`(), -1)\n AND AU_FLAG = 1\n AND EXPT_USER_YN = 'N'\n\nSELECT COUNT(1)\n FROM DW.LORDNINE_COMN_USER_MST\n WHERE BASE_DT = DATE_ADD(`CURRENT_DATE`(), -1)\n AND AU_FLAG = 1\n AND EXPT_USER_YN = 'N'",
|
||||||
"note": ""
|
"note": ""
|
||||||
},
|
},
|
||||||
"expected_focus": "로드나인은 미지원, 카제나는 CZN_COMN_USER_MST AU_FLAG 집계 가능하다.",
|
"expected_focus": "복수 게임은 각각 식별한다. 지원 게임은 요청 조건으로 조회하고 미매칭 게임은 조회하지 않은 채 답변에 명시한다. 일부 게임만 지원되면 PARTIAL 성공으로 판정하며, 미매칭 때문에 지원 게임 결과를 폐기하거나 다른 게임 데이터로 대체하지 않는다. 이 질문에서는 로드나인을 미매칭으로 표시하고 카제나는 CZN_COMN_USER_MST에서 BASE_DT=2026-07-15, AU_FLAG=1, EXPT_USER_YN='N' 조건으로 집계한다.",
|
||||||
"support_level": "PARTIAL",
|
"support_level": "PARTIAL",
|
||||||
"evaluation_rule": {
|
"evaluation_rule": {
|
||||||
"required_sql_terms": [
|
"required_sql_terms": [
|
||||||
@@ -207,12 +207,12 @@
|
|||||||
"generated_at": "2026-07-21T14:44:50+09:00",
|
"generated_at": "2026-07-21T14:44:50+09:00",
|
||||||
"profile": "SGMP_POC_HAIKU45",
|
"profile": "SGMP_POC_HAIKU45",
|
||||||
"model": "anthropic/claude-haiku-4.5 via OpenRouter",
|
"model": "anthropic/claude-haiku-4.5 via OpenRouter",
|
||||||
"generated_sql": "SELECT\n g1.\"GAME_NM\" AS GAME_NAME_1,\n COUNT(DISTINCT u1.\"GUID\") AS AU_COUNT_1,\n g2.\"GAME_NM\" AS GAME_NAME_2,\n COUNT(DISTINCT u2.\"GUID\") AS AU_COUNT_2\nFROM\n \"SGMP_POC\".\"COMN_GAME_ALIAS_BAS\" g1,\n \"SGMP_POC\".\"CZN_COMN_USER_MST\" u1,\n \"SGMP_POC\".\"COMN_GAME_ALIAS_BAS\" g2,\n \"SGMP_POC\".\"CZN_COMN_USER_MST\" u2\nWHERE\n g1.\"USE_YN\" = 'Y'\n AND UPPER(g1.\"GAME_NM\") LIKE UPPER('%로드나인%')\n AND u1.\"BASE_DT\" = TO_DATE('2026-07-15', 'YYYY-MM-DD')\n AND u1.\"AU_FLAG\" = 1\n AND u1.\"EXPT_USER_YN\" = 'N'\n AND g2.\"USE_YN\" = 'Y'\n AND UPPER(g2.\"GAME_NM\") LIKE UPPER('%카제나%')\n AND u2.\"BASE_DT\" = TO_DATE('2026-07-15', 'YYYY-MM-DD')\n AND u2.\"AU_FLAG\" = 1\n AND u2.\"EXPT_USER_YN\" = 'N'\nGROUP BY\n g1.\"GAME_NM\",\n g2.\"GAME_NM\"",
|
"generated_sql": "SELECT COUNT(DISTINCT u.\"GUID\") AS \"AU_COUNT\"\nFROM \"SGMP_POC\".\"CZN_COMN_USER_MST\" u\nWHERE u.\"BASE_DT\" = DATE '2026-07-15'\n AND u.\"AU_FLAG\" = 1\n AND u.\"EXPT_USER_YN\" = 'N'",
|
||||||
"answer_text": "결과 행 없음",
|
"answer_text": "로드나인: 미매칭. 카제나: AU 0 (2026-07-15).",
|
||||||
"execution_output": "",
|
"execution_output": "",
|
||||||
"execution_status": "PASS",
|
"execution_status": "PASS",
|
||||||
"judgment_status": "WARN",
|
"judgment_status": "PASS",
|
||||||
"judgment_reason": "Required SQL terms are present.\nPartial scenario contains unsupported scope; generated SQL should be reviewed before demo use.",
|
"judgment_reason": "복수 게임을 각각 판정하고, 미매칭 게임은 명시하며, 지원 게임의 결과는 유지하는 PARTIAL 성공 기준이다.",
|
||||||
"duration_ms": 49075
|
"duration_ms": 49075
|
||||||
}
|
}
|
||||||
},
|
},
|
||||||
|
|||||||
@@ -68,6 +68,9 @@ Smilegate view는 전체 게임 마스터와 alias를 기준으로 하고, 현
|
|||||||
- resolver MCP의 결과에 구체 게임/테이블 하드코딩이 없는지 확인한다.
|
- resolver MCP의 결과에 구체 게임/테이블 하드코딩이 없는지 확인한다.
|
||||||
- STD-06에서 미지원 게임은 worker가 호출되지 않고, 지원 게임 결과에는 few-shot 예제, 생성 SQL,
|
- STD-06에서 미지원 게임은 worker가 호출되지 않고, 지원 게임 결과에는 few-shot 예제, 생성 SQL,
|
||||||
실행 결과가 포함되는지 확인한다.
|
실행 결과가 포함되는지 확인한다.
|
||||||
|
- STD-06 판정은 미매칭 게임과 지원 게임을 독립적으로 평가한다. 미매칭 게임을 답변에 명시하고
|
||||||
|
지원 게임의 요청 일자와 AU 집계를 반환하면 `PARTIAL` 성공을 `PASS`로 판정하며, 미매칭
|
||||||
|
게임 때문에 지원 게임 결과를 폐기하거나 전체 결과 없음으로 만들지 않는다.
|
||||||
- 기존 단일 게임 Few-shot NL2SQL 및 미게임명 거절 guardrail 회귀를 확인한다.
|
- 기존 단일 게임 Few-shot NL2SQL 및 미게임명 거절 guardrail 회귀를 확인한다.
|
||||||
|
|
||||||
## 논리 조인 메타데이터
|
## 논리 조인 메타데이터
|
||||||
|
|||||||
Reference in New Issue
Block a user