Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
12 changes: 11 additions & 1 deletion eval/metrics/prompts/faithfulness_v1.md
Original file line number Diff line number Diff line change
Expand Up @@ -23,10 +23,20 @@
- 3: 불필요한 내용 일부 포함
- 1: 불필요한 내용이 대부분

# 예시

**Faithful 예시**
- 원문: "1분기 영업이익은 1,606억원으로 전년 대비 19.7% 감소했다."
- 요약: "1분기 영업이익은 1,606억원(-19.7%)이다." → Faithful

**Not Faithful 예시**
- 원문: "1분기 영업이익은 1,606억원으로 전년 대비 19.7% 감소했다."
- 요약: "1분기 영업이익은 1,606억원이며 시장 기대치를 하회했다." → Not Faithful (시장 기대치 언급은 원문에 없음)

# 출력 형식 (JSON만 반환)
{{"faithfulness": "Faithful" or "Not Faithful",
"faithfulness_reason": "한 줄 근거",
"completeness": 1~5,
"completeness_reason": "한 줄 근거",
"conciseness": 1~5,
"conciseness_reason": "한 줄 근거"}}
"conciseness_reason": "한 줄 근거"}}
12 changes: 11 additions & 1 deletion eval/metrics/prompts/numerical_faithfulness_v1.md
Original file line number Diff line number Diff line change
Expand Up @@ -11,6 +11,16 @@
- Correct: 요약의 모든 수치(금액, 비율, 날짜, 개수 등)가 원문과 정확히 일치
- Incorrect: 수치가 하나라도 원문과 다르거나 원문에 없는 수치가 포함됨

# 예시

**Correct 예시**
- 원문: "영업이익 1,606억원(-19.7%, OPM 7.4%)"
- 요약: "영업이익은 1,606억원으로 OPM은 7.4%다." → Correct

**Incorrect 예시**
- 원문: "영업이익 1,606억원(-19.7%, OPM 7.4%)"
- 요약: "영업이익은 1,600억원이다." → Incorrect (1,606억원 ≠ 1,600억원)

# 출력 형식 (JSON만 반환)
{{"numerical_faithfulness": "Correct" or "Incorrect",
"reason": "불일치 수치가 있다면 명시, 없으면 '모든 수치 일치'"}}
"reason": "불일치 수치가 있다면 명시, 없으면 '모든 수치 일치'"}}