The Motivation of the Direct Method

• Feature Method의 단점 및 개선

  1. key point 추출과 descriptor에 대한 연산량
  2. feature 관련 정보만 사용하고, 나머지 정보는 사용하지 않음 (비효율적)
  3. 명백한 texture information가 없을 경우, feature 추출이 힘듦

• Direct Method Idea

  • 방법1: feature point만 추출하고, descriptor는 버림
    • 대신 Optical flow를 이용해 feature point의 움직임을 추적하는 데 사용
    • PnP, ICP 등은 camera motion 추정에 그대로 사용
  • 방법2: pixel의 gray-scale 정보를 기반으로 카메라 모션과 projection을 추정 (Direct Method)
    • 픽셀의 휘도 정보를 기반으로 카메라의 움직임을 추정
    • key point와 descriptor를 계산할 필요 없음
    • 장면에 밝은 부분과 어두운 부분이 있다면 작동 가능

• Direct Method의 유형

  1. sparse
  2. dense
  3. semi-dense

2D Optical Flow

• sparse optical flow: pixel motion의 부분을 계산하는 파트

  • Lucas-Kanade optical flow

    

• dense optical flow: pixel motion의 전체를 계산하는 파트

  • Horn-Schunck optical flow

• Lucas-Kanade Optical Flow

  • 가정1: 이미지가 시간의 경과에 따라 변경

  • 가정2: 각 이미지의 grayscale은 고정

  • 이미지를 시간의 함수로 표현

    

  • grayscale이 변하지 않는다고 가정하면, 시간의 흐름에 따라 아래와 같이 정의 가능

    

  • how to calculate the motion of the pixels

    1. first-order term을 유지하면서, 위 식의 좌변에 대해 테일러 전개를 하면,

       

    2. grayscale이 일정하다고 가정하기 때문에, 다음 순간의 grayscale은 이전의 grayscale과 동일하므로 다음과 같이 정의 가능

       

    3. 양변에 대해 $\mathrm{d}t$로 나누면,

       • $\mathrm{d}x \over \mathrm{d}t$: x축상의 픽셀의 이동 속도 → $u$로 재정의
       • $\mathrm{d}y \over \mathrm{d}t$: y축상의 픽셀의 이동 속도 → $v$로 재정의
       • $\partial \bold{I} \over \partial x$: point에서 $x$방향으로의 이미지 기울기 → $\bold{I}_x$로 재정의
       • $\partial \bold{I} \over \partial y$: point에서 $y$방향으로의 이미지 기울기 → $\bold{I}_y$로 재정의
       • $\partial \bold{I} \over \partial t$: 시간에 따른 이미지 밝기 변화 → $\bold{I}_t$로 재정의

       

    4. 위 식을 행렬 형태로 적으면,

       

    5. $w^2$ 사이즈의 픽셀을 갖는 $w \times w$ 사이즈의 윈도우를 고려할 때, 이 윈도우의 각 픽셀은 동일한 motion을 가지므로 총 $w^2$개의 방정식을 갖게 됨

       

    6. 방정식을 아래와 같이 정리하고,

       

    7. 따라서, $u,v$에 대해 over-determined한 선형 방정식으로 아래와 같이 표현 가능

       

    8. 최종적으로 least-square solution으로 정의하면,

       

  • 이러한 방식으로 이미지 간 픽셀의 u, v 속도를 얻을 수 있음

  • 주로 모서리의 움직임을 추적하는 데 사용

• Gauss-Newton Method를 통한 최적화

  1. Single-layer Optical Flow

     • least-square problem

       

       • Jacobian은 두 번째 이미지 ($x+\Delta x,y+\Delta y$)에서의 기울기를 의미
       • $\bold{I}_1(x,y)$의 기울기가 변하지 않으면, 다음 반복에서 계산된 결과를 그대로 사용가능하므로 계산시간 절약 가능 (= Jacobian이 변하지 않으면, $\bold{H}$ 행렬은 변경되지 않고, 각 반복에 대한 residual만 계산하면 되므로 계산시간 절약)
  2. Multi-layer Optical Flow

     • 카메라가 더 빠르게 움직이고 두 이미지가 많이 다르다면, Single-layer Optical Flow는 local minimum에 빠질 수 있음

     • Idea

       

       • 다른 해상도로 샘플을 얻기 위해 이미지 크기를 조정
       • 원본 이미지는 피라미드의 맨 아래 layer로 사용
       • 맨 위층 이미지에서 시작해 이전 layer의 tracking result를 다음 layer의 optical flow의 초기 값으로 삼아 하나씩 내려감
       • 상층 layer의 이미지는 비교적 rough하기 때문에, 원본 이미지의 픽셀 모션이 커도 피라미드 상단에 있는 이미지는 작은 범위에 속함

         • 예를 들어, 원본 영상의 특징점이 20픽셀씩 이동한다고 가정 → 이미지의 non-convexity으로 인해 최적화가 로컬 최소값에 갇히기 쉬움

           

         • 확대 배율이 0.5배인 피라미터의 경우

           → 이미지의 위쪽 두 층에서는 픽셀 이동이 5픽셀에 불과함

           → 원본 이미지를 직접 최적화하는 것보다 확실히 결과가 좋음

Direct Method

• Direct Method 유도

  

  • spatial point $P=[X,Y,Z]$
  • non-homogeneous한 이미지 좌표 $\bold{p}_1,\bold{p}_2$
  • Goal: 첫 번째 프레임에 대한, 두 번째 프레임의 $\bold{R,t}$ 구하기
  1. 두 프레임에서 intrinsic parameter $\bold{K}$는 동일하고, 아래와 같이 projection 방정식 작성 가능
  2. 최적화 문제 → 측광 오차 (Photometric error) 를 최소화
  3. 최적화 목표 → $e$의 $\mathcal{L}_2$에 대해 optimization 수행
  4. 다수의 포인트 $P_i$에 대한, 전체 카메라 포즈 추정 문제는 다음과 같음 (카메라 포즈 최적화)