Overview
| Field | Value |
|---|---|
| Period | 2023.06 - 2024.12 |
| Domain | Computer Vision |
| Repository | LPR2 |
| Result | Worst 30% frame 기준 RMSE 13.37% 개선 |
My role
- DeepLabV3 기반 번호판 영역 추출 및 시점 보정
- FlowFormer++ 기반 프레임 정렬 파이프라인 구성
- TCDM 기반 후처리로 번호판 복원 품질 개선
- 번호판 세그멘테이션, 시점 보정, scene text prior 기반 후처리 실험과 구현 담당
Pipeline
- DeepLabV3로 번호판 영역을 추출합니다.
- Homography로 번호판 영역을 고정 비율로 보정합니다.
- FlowFormer++로 프레임 간 optical flow를 추정합니다.
- 기준 프레임으로 여러 프레임을 정렬합니다.
- CLAHE와 TCDM 기반 후처리로 복원 품질을 개선합니다.
Core stack
| Area | Stack |
|---|---|
| Language and framework | Python, PyTorch, OpenCV |
| Models | DeepLabV3, FlowFormer++, TCDM |
| Hardware | CUDA |
Metrics
| Metric | Value |
|---|---|
| Detection Precision | 0.890 |
| Detection Recall | 0.875 |
| Average RMSE improvement | 3.71% |
| Worst 30% frame RMSE improvement | 13.37% |
Results
Restoration comparison
기존 super-resolution 모델 대비 hallucination을 줄이는 방향으로 실험했습니다.
Recognition-oriented restoration
번호판 인식 가능한 품질로 복원하는 것을 목표로 했습니다.