YBIGTA CV

📝 상세 정리

#

딥러닝 이전의 CV

#

• 컴퓨터는 단순히 픽셀 값만을 알고 있는데
  • 컴퓨터 비전 태스크를 위해선 이를 의미있는 정보로 이해해야 한다.
• 좋은 Visual feature이란 무엇일까?
  • 조명이 달라지더라도 같은 인물로 인식할 수 있어야 하고
  • 시점이 다르더라도 같은 건물로 인식할 수 있어야 하고
• 사람이 특징을 직접 설계!
  • 중요한 특징을 수학적으로 잡아서 파노라마로 만들던가, 키포인트로 매핑해서 3D 복원을 한다던가…
  • 결국 목표는 좋은 Visual Feature을 찾는 것
  • edge, corner
  • Harris corner detector
    • 평평한 부분은 x, y 변화가 크지 않지만, 코너는 x, y 변화가 크다
      • 미분을 이용해서 변화가 큰 지점을 잡아내자
    • filter
      • 여러가지 필터를 통해서 x방향, y방향의 변화를 찾을 수 있다
    • 방법 (중요한건 아닌뎅)
      • 이미지 기울기 계산
      • 공분산 행렬 생성
      • 고윳값이 임계점 이상인 부번을 코너로
    • 같은 이미지여도 크기에 따라 corner / edge 가 달라질 수 있다.
      • 여러 크기에서 진행하면 되기야 하겠다만…. 번거롭다
  • SIFT
    • Scale Invariant Feature Transform
    • 벡터로 이케저케 한다는디
    • 조금 더 강건한 피쳐까진 됐는데, 각자가 왜 그런지 이유는 말을 못했다는듯?

CNN

#

• 특징 추출 (Convolution) -> 요약 (Pooling) -> 판단 (FC)
• 1차로 간단한 필터를 씌우고, 점점 고도화시킨다.
• inductive bias
  • 모델이 학습을 시작하기도 전에 미리 가지고 있는 가정
    • 모델이 더 빠르게 학습되고, 더 강건하도록
  • Locality
    • 서로 가까이 있는 픽셀들은 더 강한 연관성을 갖는다.
  • Translation invariance
    • 이미지 속 객체의 위치가 변하더라도 본질은 변하지 않는다
  • convolution
    • 아까부터 계속 곱하고있는 필터!
  • padding
    • feature map이 점점 작아지지 않게 가장자리에 0같은걸 두르기
  • stride
    • 필터가 한번에 몇칸씩 이동하는지
  • pooling
    • 압축하듯이, 영역에서 가장 큰 값을 남기거나 (max pooling) 평균값을 남기거나 (aver pooling)
    • 작은 변화 무시
    • receptive field 확대
    • 연산량 감소
  • hierarchial structure (계층적 구조)
    • 점점 receptive field와 채널 수를 늘려 복잡한 feature

VIT

#

• Transformer 기반 이미지 인식 모델
  • 이미지를 필터로 보는게 아니라, 잘라서 각 patch로 보고, 이를 벡터로 임베딩시키는 것
  • 학습에 훨씬더 많은 데이터를 필요로 함
• Step 1: 이미지 분할
  • $H*W*C$를 $P*P$ 크기의 격자로 분할하여 $\frac{HW}{P^2}$개의 패치 생성
• Step 2: 이후 각 패치를 평탄화 후 선형 임베딩 $E \in R^{(P^2 \cdot C)*D}$
• Step 3: Transformer Encoder (핵심 연산)
  • Cls 토큰을 포함한 시퀀스를 인코더에 넣어서 연산하기

Downstream tasks

#

• 층이 깊어질수록 정확도가 떨어지는 문제가 있었다
• ResNet
  • Skip connection
    • $H(x) = F(x) + x$로 정의하여, $H(x) - x$ (잔차)를 학습
    • 깊은 네트워크를 학습해도 되게 되었다
  • basic block vs bottleneck block
    • basick block
      • 3x3 convolution과 relu
    • bottleneck block
      • 여러가지 크기의 convolution들
      • 압축하고.. 큰걸 먹이고.. 등등…
    • ResNet34 구조
      • 해상도는 줄이면서 점점 두꺼워지는 구조
• YOLO
  • Object Detection을 하는 모델
  • 출력은 위치 / 객체가 무엇인지 / 있을 확률 세가지를 나타냄
  • 과거에는 후보지역을 찾아낸 후, CNN으로 뭐가 있는지 후처리를 하였는데 YOLO는 한번에 된다!
    • You Only Live Once
  • 24개의 convolutional layer에서 이미지의 특징을 추출하고, 이를 2개의 FC 레이어에 넣어서 클래스와 위치를 예측
• Unet
  • Segmentation을 하는 모델
    • 고양이가 있는 픽셀은 여기다! 라고 하며 mask를 출력하는 모델
  • U자처럼 생겨서 Unet
  • Decoder / Encoder / Skip connection등으로 이루어진 모델
    • encoder의 Feature를 Decoder에 전달해주는 Skip connection
      • 해상도를 줄이다보면 위치 정보가 소실된다. (작아지니까)
      • 이때 이 값을 그대로 줘서 위치정보가 소실되지 않도록
• CLIP
  • 이미지와 텍스트를 한 공간에서 정렬
  • 기존 방식은 확장성도 부족하고, 라벨링도 어렵다
    • 인터넷에서 얻은 데이터셋과 캡션으로 사전 학습을 하자!
    • 고양이를 검색해서 나온 사진과 텍스트를 임베딩하자
  • 라벨이 아니라 이미지와 텍스트 쌍으로 학습된다
  • 정답 쌍 끼리는 유사도가 높게, 아니면 낮게
  • 이후 “A photo of plane”, “A photo of dog”…을 넣어서 비교하면? 예측이 가능해진다!
  • 기존 라벨링이 비싸다는 문제를 캡션을 이용해서 해결했다

DINO

#

• ML의 대표적인 학습 방식
  • 지도 학습
  • 비지도 학습
  • 자기지도 학습
    • 데이터 안에서 라벨을 직접 만들어서 학습하는 것

❔질문 사항

#

🔗 참고 자료

#