diff --git a/eval/metrics/prompts/faithfulness_v1.md b/eval/metrics/prompts/faithfulness_v1.md index 5435cb3..c13d132 100644 --- a/eval/metrics/prompts/faithfulness_v1.md +++ b/eval/metrics/prompts/faithfulness_v1.md @@ -23,10 +23,20 @@ - 3: 불필요한 내용 일부 포함 - 1: 불필요한 내용이 대부분 +# 예시 + +**Faithful 예시** +- 원문: "1분기 영업이익은 1,606억원으로 전년 대비 19.7% 감소했다." +- 요약: "1분기 영업이익은 1,606억원(-19.7%)이다." → Faithful + +**Not Faithful 예시** +- 원문: "1분기 영업이익은 1,606억원으로 전년 대비 19.7% 감소했다." +- 요약: "1분기 영업이익은 1,606억원이며 시장 기대치를 하회했다." → Not Faithful (시장 기대치 언급은 원문에 없음) + # 출력 형식 (JSON만 반환) {{"faithfulness": "Faithful" or "Not Faithful", "faithfulness_reason": "한 줄 근거", "completeness": 1~5, "completeness_reason": "한 줄 근거", "conciseness": 1~5, - "conciseness_reason": "한 줄 근거"}} + "conciseness_reason": "한 줄 근거"}} \ No newline at end of file diff --git a/eval/metrics/prompts/numerical_faithfulness_v1.md b/eval/metrics/prompts/numerical_faithfulness_v1.md index 41b8bc3..086f2e6 100644 --- a/eval/metrics/prompts/numerical_faithfulness_v1.md +++ b/eval/metrics/prompts/numerical_faithfulness_v1.md @@ -11,6 +11,16 @@ - Correct: 요약의 모든 수치(금액, 비율, 날짜, 개수 등)가 원문과 정확히 일치 - Incorrect: 수치가 하나라도 원문과 다르거나 원문에 없는 수치가 포함됨 +# 예시 + +**Correct 예시** +- 원문: "영업이익 1,606억원(-19.7%, OPM 7.4%)" +- 요약: "영업이익은 1,606억원으로 OPM은 7.4%다." → Correct + +**Incorrect 예시** +- 원문: "영업이익 1,606억원(-19.7%, OPM 7.4%)" +- 요약: "영업이익은 1,600억원이다." → Incorrect (1,606억원 ≠ 1,600억원) + # 출력 형식 (JSON만 반환) {{"numerical_faithfulness": "Correct" or "Incorrect", - "reason": "불일치 수치가 있다면 명시, 없으면 '모든 수치 일치'"}} + "reason": "불일치 수치가 있다면 명시, 없으면 '모든 수치 일치'"}} \ No newline at end of file