[Feat] W4 Layer C: Community stub (시나리오 A)

[TaskerJang]

컨텍스트

Layer C — Community/Topic 기반 글로벌 요약. 시나리오 A에서는 stub 수준으로 구현 (정식 구현은 시나리오 B 확장 시).

"전체적으로 어떤 흐름인가" 류 글로벌 질의 대응. Completeness 1.25/5 → 개선의 핵심 타겟.

WBS 1.15 — 5/17 (일).

작업 (시나리오 A 기준)

• retrieval/community.py — stub 형태 시작
• community 식별 — Leiden 등 정식 알고리즘 대신 간단한 LLM 기반 토픽 클러스터링 또는 문서별 grouping
• community summary — 각 community의 chunks를 LLM에 요약시켜 미리 캐싱
• 글로벌 질의 시 모든 community summary를 LLM에 전달
• 평가 셋 중 summary 질문 4개로 정성 검증

DoD

• 글로벌 질의에 대해 빈약하지 않은 답변 가능 (Completeness 비교 측정 가능 수준)
• 정식 Leiden community detection은 ADR로 future work 박제

참고

• 의존: [Feat] [5/14 보너스] 8문서 일괄 적재 #17 8문서 적재 (community 잡으려면 데이터 필요)
• 시나리오 결정: [⭐ Milestone] W4 점검 — 시나리오 A vs B 결정 (5/17) #22 (W4 점검) — 시나리오 B로 확장하면 이 stub을 정식 구현으로 교체
• 작업 브랜치: feat/20-community-stub

[TaskerJang]

진행 시점 박제 — 2026-05-18 (월) 저녁

일정 (#22 W4 점검 후 확정)

5/18 (월) 저녁
  ├─ 19~21시: #20 Community stub 구현 (LLM 토픽 클러스터링)
  └─ 21~22시: 글로벌 질의 정성 검증

#20 작업 범위 (구체화) — 시나리오 A stub

retrieval/community.py:

1. Community 식별 (Leiden 정식 대신 LLM-based 토픽 클러스터링)

   • 8 문서 × 277 청크 → 토픽별 클러스터링
   • 옵션 A: LLM 에 chunk text 모두 전달 → 토픽 추출 + 분류
   • 옵션 B: 문서별 grouping (8 community = 8 문서)
   • 옵션 C: doc_type 별 grouping (4 community = ir/report/filing/disclosure)
   • 잠정: 옵션 C 추천 — 5/16 박제된 doc_type 다양성 (3 포맷 × 4 타입) 활용

2. Community Summary 캐싱

   • 각 community 의 chunk text 들을 LLM 에 요약
   • 결과를 Neo4j (:Community {id, summary, member_count}) 노드로 적재
   • 또는 JSON 파일로 캐싱 (eval/results/community_summaries.json)

3. 글로벌 질의 처리

   • 사용자 질의 → 모든 community summary 를 LLM 에 전달 → 통합 답변

Cypher 스키마 추가 (선택)

// Community 노드 추가
MERGE (com:Community {id: $com_id})
SET com.summary = $summary,
    com.member_count = $member_count,
    com.created_at = datetime()

// Document → Community 관계
MATCH (d:Document {filename: $filename})
MATCH (com:Community {id: $com_id})
MERGE (d)-[:BELONGS_TO]->(com)

평가 셋 추가 박제 (#20 정성 검증용)

retrieval/eval_set.md 에 글로벌 질의 4개 추가:

1. "보도자료(disclosure) 유형 문서들의 핵심 트렌드는?"
2. "미래에셋증권 1Q~4Q 보고서의 공통 주제는?"
3. "전체 8문서에서 가장 자주 등장하는 금융 지표는?" (Q5 데이터 활용)
4. "2025년 10월 시장 동향 요약" (date-based 질의)

DoD

• 글로벌 질의 4개 정성 검증
• Completeness 비교 측정 가능 수준 (5/16 1문서 sanity: 1.50/5 보다 개선 기대)
• Leiden 정식 구현은 ADR-0005 로 future work 박제

의존 / 후속

• 의존: ✅ PR [Feat] #17 Layer A + MENTIONS + 8문서 일괄 적재 스크립트 (옵션 3 chunk_id prefix) #45 (8문서 적재 데이터)
• 후속: [Feat] W4 Routing Agent (rule-based) #21 Routing Agent (Layer C 호출), #23 W5 Hybrid Score Fusion

시나리오 B 확장 시 (Future Work)

• Leiden 정식 community detection
• Hierarchical community (parent/child)
• LLM 분류기 기반 dynamic community

→ ADR-0005 박제 예정 (#32 트래킹).