논문 : Investigation and implementation of image super-resolution using CNNs applied to OCR

SISR(Single-Image Super-Resolution, 단일 이미지 초해상도)

초해상도 : 이미지 해상도를 높이는 데 사용되는 처리기술

Untitled

전통적 up-sampling 방법

Pre-Upsampling VS Post-Upsampling VS Progressive Upsampling

딥 러닝 업샘플링 계층

두 이미지 간의 품질 차이를 측정

base 아키텍처

<aside> 💡 data increase 방식 입력 이미지에서 무작위로 핑 패치 자르기, 입력 이미지를 무작위로 뒤집기, 회전 또는 크기 조정이 포함

</aside>

model

  1. SRCNN

    1. Super-Resolution Convolutional Neural Network

    2. 딥러닝을 활용하여 최첨단 성능을 달성한 최초의 모델

    3. 3개의 컨볼루션 레이어로 구성

    4. 전반적으로 모델의 예측은 바이큐빅 보간보다 부드러움

      Untitled

      first layer : feature extraction

      second layer : super-resolution

      third layer : reconstruction(복원)

  2. FSRCNN

    1. fast super-resolution convolutional neural network

    2. SRCNN 고도화

    3. 사전 업샘플링 대신 딥러닝 업샘플링 계층을 구현하여 사후 업샘플링 프레임워크를 채택

      → 저해상도 공간에서 데이터를 처리하여 효율성을 향상

    4. 다섯개의 세그먼트를 구현

      Untitled

      feature 추출 → 축소 → mapping → 확장 → 재구성

  3. VDSR

    1. very deep convolutional networks for super-resolution.

    2. deep conv layer, 전이학습

      Untitled

  4. LapSRN

    1. deep laplacian pyramid super-resolution network.

    2. Progressive Upsampling(점진적), multipath learning

    3. 2개의 분기 생성 ( 잔상 생성을 위한 특징 추출, 이미지 재구성)

      Untitled

  5. EDSR

    1. enhanced deep residual networks for single image super-resolution

    2. 포스트 업샘플링을 기반으로 다양한 업스케일링 요소에 대한 별도의 경로가 있는 단일 스케일 모델

    3. 초기 컨볼루션 레이어, 잔차 블록 체인, 이미지 차원을 늘리고 geature map을 다시 이미지 공간으로 변환하는 업샘플링 네트워크의 세 가지 주요 세그먼트로 구성

    4. resblock은 SRResNet에서 사용된 것의 수정버전

      Untitled

  6. CARN

    1. cascading residual networks

    2. 빠르고 정확하며 가벼움

    3. 많은 bottleneck(병목) 레이어를 제공하여 깊이에 비해 매개변수 수를 상대적으로 적게 유지

    4. post-upsampling, multiple upsampling path

    5. . 네트워크 구조는 여러 계단식 구성 요소

    6. 계단식 블록(초기 컨볼루션 레이어, 각각 병목 현상으로 작용하는 컨볼루션 레이어)

    7. Sub-Pixel-upsampling

      Untitled