feat(ai): 원본 이미지 역검색 파이프라인 (좌측 인물 → 고화질 원본 복원)

[cocoyoon]

Summary

fashion-decode 합성 이미지의 좌측 인물 영역을 크롭한 뒤 역이미지 검색(Google Lens / Google Vision / SerpAPI / Bing Visual Search)으로 고화질 원본 사진을 찾아 R2에 아카이빙한다. seed 데이터 품질을 올리고 원본 크레딧 추적이 가능해진다.

Related:

• feat(infra): 플랫폼 독립적인 Fashion Decode 데이터 파이프라인 (수집·파싱 추상화) #258 — 공용 수집 인프라 (source_media 에 이어붙는 파이프라인)
• (parsing) — 파싱 파이프라인 (좌측 크롭 좌표는 파싱 결과 또는 휴리스틱)

---

Architecture

source_media.parse_status='parsed' AND original_status='pending'
  → 좌측 인물 영역 크롭
       a) 파싱 결과의 bbox
       b) 휴리스틱: 이미지 좌측 1/2 crop
       c) MediaPipe/YOLO 인물 detection (v2)
  → 역검색 API 호출 (SerpAPI Google Lens 권장)
       → 후보 URL 리스트 (해상도/도메인 점수화)
  → 최상위 후보 선택:
       - 해상도 ≥ 800x1200
       - 도메인 허용 리스트 (allkpop, koreaboo, artist 공식 SNS, kpop wiki, ...)
       - EXIF/워터마크 없음
  → 원본 다운로드 → R2 (`originals/{source_media_id}.{ext}`)
  → source_media_originals INSERT
  → source_media UPDATE original_status='found' | 'not_found'

---

스키마

ALTER TABLE warehouse.source_media
  ADD COLUMN original_status text DEFAULT 'pending' NOT NULL
    CHECK (original_status IN ('pending','searching','found','not_found','skipped'));

CREATE TABLE warehouse.source_media_originals (
    id uuid DEFAULT gen_random_uuid() PRIMARY KEY,
    source_media_id uuid NOT NULL REFERENCES warehouse.source_media(id) ON DELETE CASCADE,
    origin_url text NOT NULL,
    origin_domain text NOT NULL,
    r2_key text NOT NULL,
    r2_url text NOT NULL,
    width int,
    height int,
    image_hash text,
    search_provider text NOT NULL,        -- 'serpapi_lens' | 'google_vision' | 'bing' | ...
    confidence_score float,                -- 0.0-1.0
    metadata jsonb,
    created_at timestamptz DEFAULT now() NOT NULL
);

CREATE INDEX idx_source_media_originals_source ON warehouse.source_media_originals(source_media_id);

---

역검색 Provider 비교

Provider	장점	단점
SerpAPI Google Lens	Google Lens 품질, 공식 API	유료 ($75/mo~)
Google Cloud Vision — Web Detection	GCP 통합, 저렴	Lens 대비 약함
Bing Visual Search API	무료 티어	한국 이미지 커버리지 약함
직접 Google 스크래핑	무료	차단 리스크

→ v1: SerpAPI Google Lens, v2: GCP Vision fallback

---

Phase

Phase 1: 크롭

• v1: 이미지 좌측 절반 crop (합성 이미지 포맷이 일정하므로 충분)
• v2: YOLO/MediaPipe 인물 detection 으로 정밀 bbox

Phase 2: 역검색

• ReverseImageSearcher 추상 (provider 교체 가능)
• search(image_bytes) → list[SearchCandidate]

Phase 3: 후보 필터링 & 선정

• 도메인 allowlist/blocklist
• 해상도 임계값
• 이미지 유사도 검증 (perceptual hash 재검증)

Phase 4: 아카이빙

• 선정 URL 다운로드 → R2 업로드 → DB 기록

---

파일

신규

파일	역할
supabase/migrations/..._add_source_media_originals.sql	스키마
packages/ai-server/src/services/media/original_search/__init__.py	패키지
packages/ai-server/src/services/media/original_search/cropper.py	좌측 인물 크롭
packages/ai-server/src/services/media/original_search/searcher.py	ReverseImageSearcher 추상
packages/ai-server/src/services/media/original_search/providers/serpapi_lens.py	SerpAPI 구현
packages/ai-server/src/services/media/original_search/selector.py	후보 선정
packages/ai-server/src/services/media/original_search/archiver.py	R2 아카이빙
packages/ai-server/src/services/media/original_search/jobs.py	ARQ 잡

---

환경변수

• SERPAPI_API_KEY
• ORIGINAL_SEARCH_MIN_WIDTH=800
• ORIGINAL_SEARCH_ALLOWED_DOMAINS (comma-separated)

---

검증

• 샘플 20개 decode 이미지 → 역검색 → 원본 발견율 측정
• 선정된 원본이 실제로 동일 인물/착장인지 수동 검증 (perceptual hash + 시각 확인)
• 발견 실패 시 not_found 처리 + 재시도 로직 동작
• R2 경로 originals/ prefix 분리 확인

🤖 Generated with Claude Code

[cocoyoon]

Proposal: spot coordinate flow 통합

#260 (Vision 파싱) 실 테스트에서 발견한 이슈와 연결됩니다. Fashion Decode composite 이미지(좌: 셀럽, 우: 제품 썸네일 그리드) 를 Vision 에 그대로 넘기면 아이템의 position_x_pct/position_y_pct 가 쓸모없어집니다 — 모델이 좌측 셀럽 위를 가리키지 않고 썸네일 영역 좌표를 반환하거나 혼란스럽게 섞어버림.

실 테스트 결과 (pin: 925067579727148171):

필드	정확도
product_name / price / currency / subcategory	5/5 (100%)
brand	3/5 (인접 라벨 swap)
position_x/y	0/5 — 전부 좌측(25-35%) 으로 몰림

근본 원인: seed_spots.position_* 는 셀럽이 실제로 입고 있는 위치 를 의미해야 하는데, 파싱 시점에 참조 가능한 이미지가 composite 뿐이라 좌표계가 어긋남.

제안: #261 flow 에 position 단계 추가

현재 #261 architecture:

parse_status='parsed' AND original_status='pending'
  → 좌측 인물 크롭
  → 역이미지 검색
  → 원본 다운로드 → R2
  → source_media_originals INSERT
  → original_status='found'|'not_found'

확장 제안 (bold 부분이 추가):

  ...위 절차 종료...
  → **Vision 재실행**(원본 또는 좌측 크롭 대상, composite 아님)
       → items 배열의 position_x/y 만 재추출
  → **UPDATE seed_spots.position_left/position_top**  (#260 가 만든 row 들)
  → **UPDATE seed_posts.image_url = original.r2_url**
       (original not_found 시 좌측 크롭 R2 URL 로 fallback)

범위 분리

• feat(ai): Fashion Decode 파싱 파이프라인 (Vision AI → seed_*) #260: 플러밍 + brand/product/price/subcategory/category 추출 (position 은 `null` 또는 placeholder)
• feat(ai): 원본 이미지 역검색 파이프라인 (좌측 인물 → 고화질 원본 복원) #261: 크롭 + 원본 역검색 + seed_spots.position_ 채우기 + seed_posts.image_url 교체*
• 결과: curator 검수 UI·최종 제품 UI 에 표시되는 `seed_posts.image_url` 이 셀럽 단일 이미지(원본 고화질 or 좌측 크롭) 이고, spot 좌표가 그 위에서 의미를 가짐

작은 스키마 고민

`seed_spots.position_left/top` 이 `text NOT NULL` 이므로 #260 단계에서 `'0'` 같은 placeholder 로 채워두고 #261 에서 덮어쓰는 구조가 됨. 대안으로 #260 에서 NULL 허용으로 마이그레이션 변경할 수 있으나, 스키마 변경 범위가 커져 placeholder 방식 권장.

@CIOI 이 방향 어떠신가요? 필요하면 #260 side 에서 `parse_result.items[].position_*` 를 `null` 로 내리도록 프롬프트 조정하겠습니다 (현재는 신뢰 불가한 값을 저장 중).

[cocoyoon]

업데이트 — PR #281 (#260) 에 #261 을 흡수했습니다. @CIOI 이 이슈에 별도 구현 작업 안 하셔도 됩니다.

이 PR (#281) 에 포함된 #261 범위

• ✅ 좌측 인물 영역 크롭 (services/media/original_search/cropper.py — Pillow 좌측 50% crop, 검색 입력 전용)
• ✅ 역이미지 검색 (searcher.py — SerpAPI 대신 GCP Cloud Vision Web Detection 사용, 월 1000 request free tier 이후 $1.50/1000 req 로 SerpAPI $75/mo 대비 25배 저렴)
• ✅ 후보 선정 (selector.py — 도메인 하드코딩 없음, 구조적 exclusion 만: pinimg/reddit/lookaside/twimg/tiktok/ytimg)
• ✅ 원본 다운로드 + R2 아카이브 (archiver.py — originals/{raw_post_id}.{ext} 키)
• ✅ 스키마 (supabase/migrations/20260422000001_...)
  • raw_posts.original_status 컬럼
  • warehouse.source_media_originals 테이블 (raw_post 당 여러 원본 + is_primary flag)
• ✅ scheduler 통합 — best-effort, 실패 시 composite fallback, 파이프라인 중단 없음

변경점 (원래 이슈와 다른 부분)

Provider: SerpAPI Google Lens → GCP Cloud Vision Web Detection 으로 변경. 이유:

• 비용 25배 저렴 (~$5/월 vs $75/월)
• 공식 Google API — 셀렉터 유지보수 부담 0
• 품질: 실 Pinterest 핀 10개 E2E 에서 Jennie/Kendall 사진의 원본을 Vogue KR/Newsen/Future CDN 에서 성공적으로 회수. full_matching_images + partial_matching_images 가 Lens 만큼 커버리지 좋음.

Selector 철학: 원래 이슈의 "도메인 allowlist" (allkpop, koreaboo 등) 는 구현하지 않았습니다. 한국 K-pop 특화 하드코딩이 편향성·확장성 문제를 일으킬 것으로 판단. 대신 Vision API 신호 우선순위(full_match > partial_match) + generic exclusion + URL resize strip 으로만 랭킹, 품질·편향 판단은 admin curation UI 가 담당.

E2E (dev Supabase + Cloudflare R2) — 10 Pinterest 핀

지표	값
parse_status='parsed'	10/10 ✅
original_status='found'	5/10 (Vogue KR / Newsen / Vogue US / Future CDN 자연 선택)
original_status='not_found'	5/10 (composite fallback 정상)
파이프라인 예외	0

실패 5개 패턴: 셀피 / 얼굴 가림 / AI 생성 의심 / 무명 모델 / 비-셀럽 lookbook — Vision 이 셀럽 식별 못 하는 게 근본 원인. 이런 케이스는 애초에 curator 가 수동 처리해야 할 영역이라 not_found + composite fallback 이 합리적.

아직 필요한 것

• 원본 확보 후 seed_spots.position_left/top 재계산 — 원본 이미지 기준으로 spot 좌표를 다시 찍는 작업. 현재 PR 은 Gemini 가 composite 기준으로 반환한 좌표를 그대로 저장하므로, 원본 이미지와 레이아웃이 다르면 hotspot 이 misaligned. curator 가 admin UI 에서 수동 조정하는 것으로 범위 분리.
• Admin 검수 UI — composite ↔ 원본 비교 뷰, 원본 수동 교체, 아이템/좌표 편집. 별도 PR.

이슈 #261 은 PR #281 머지 시 자동 close 예정입니다. 이후 UI 작업은 별도 이슈로 분리하시겠어요?