일차미분을 이용한 최적화 기법

1. 설명

   1. λ는 한번에 얼마나 이동할지를 조절하는 step size 파라미터로서 일단은 고정된 상수(λ>0)로 가정
   2. 현재 지점에서 일차미분(기울기)이 양수(f'>0)이면 x를 감소시키고, 음수(f'<0)면 x를 증가시키는 방식으로 f가 극소(minima)가 되는 지점을 찾는 것

   

2. 기법

   • Gradient Descent

3. 문제점

   1. Step size가 너무 작으면 수렴 속도가 느림
   2. 반대로 너무 크면 수렴을 하지 못하고 발산해 버릴 수도 있음

이차미분을 이용한 최적화 기법

1. 기법

   • 뉴턴법 (Newton’s method)
   • 가우스-뉴턴법 (Gauss-Newton method)
   • LM (Levenberg-Marquardt)

2. 문제점

   1. 변곡점(f''=0) 근처에서 매우 불안정한 이동 특성을 보임 - 그림(a) (식에 따라 f''(0) = 0인 경우가 생겨 버림)

   2. 정확히 변곡점이 아니라 하더라도 변곡점 근처에서는 f'' = 0에 가까운 값을 갖기 때문에 스텝(step)의 크기가 너무 커져서 아예 엉뚱한 곳으로 발산해 버릴 수도 있음 - 그림(b)

   3. 하지만 일차미분을 이용한 방법의 경우에는 나누기가 없기 때문에 이러한 문제가 발생하지 않으며 변곡점에서 출발한 경우에도 정상적으로 해를 찾을 수 있음 - 그림(c)

      

   4. 이동할 방향을 결정할 때 극대, 극소를 구분하지 않음 - 아래 그림 (a) 반면 일차미분을 이용한 경우에는 정상적으로 극소점을 향해 수렴함 - 아래 그림 (b)

      

• 기타
  • 이차미분을 이용한 최적화는 테일러 급수(Taylor series)와 밀접한 관련

일차미분 vs 이차미분