Loop QA
API 품질과 UI 동작을
함께 검증하는 QA 자동화 시스템
배달 서비스를 가정한 QA 자동화 시스템.
"응답 내용이 충분한가"는 Claude AI가, "기능이 제대로 동작하는가"는 Playwright가 각각 검증합니다.
두 레이어
Layer 1
API 품질 평가
LLM-as-a-Judge
검증 대상 — 배달 주문 API 응답의 "내용 품질"
특징 — 정답이 명확하지 않은 영역
"이 문구가 사용자에게 충분한 정보를 주는가"처럼 정답이 모호한 영역을 Claude AI가 Ground Truth 기준으로 평가합니다.
Layer 2
UI 자동화 테스트
Playwright + pytest
검증 대상 — SauceDemo 핵심 플로우의 "기능 동작"
특징 — 정답이 명확한 영역
"로그인하면 상품 목록 페이지로 이동하는가"처럼 assert로 100% 정확하게 검증 가능한 영역을 자동화했습니다.
설계 의사결정
기술 스택
BackendFastAPI · Python · uv
FrontendNext.js · TypeScript
DBSupabase (PostgreSQL)
StorageSupabase Storage
AIClaude API (LLM-as-a-Judge / 원인 분류)
TestingPlaywright · pytest
DeployRailway (backend) · Vercel (frontend)