1. 최소자승법 & 가중최소자승법

1.1 최소자승법 (least square method)

식(1) - 최소자승법

• 오차 제곱합이 최소화 되도록 모델 파라미터 $p$를 정하는 방법
  • $(x_i, y_i)$: 관측 값 ($i=1,...,n$)
  • $\bold p=(p_1, p_2,...,p_m)$: 모델 파라미터
  • $y=f(x,\bold p)$: 모델
  • $r_i$: 관측 값과 모델과의 오차(residual)

식(3)

• 식(1)의 에러합 부분을 행렬 형태로 표현
  • $\bold r=[r_1,...,r_n]^T$

1.2 가중최소자승법 (weighted least squares, WLS)

식(2) - 가중최소자승법

• 만일 관측 값의 신뢰도(중요도)가 서로 다를 경우에는, 각각의 오차 제곱에 가중치 $w_i$를 곱해서 최소화시키는 방법을 사용

식(4)

• 식(2)의 에러합 부분을 행렬 형태로 표현
  • $\bold r=[r_1,...,r_n]^T$
  • $W$: $w_i$를 대각원소를 갖는 대각행렬 ($W=diag(w_1,...,w_n)$)

1.3 정리

• 최소자승법은 결국 식 (3) 또는 식 (4)에 의해 주어지는 에러 함수를 최소화시키는 $\bold{p}$를 구하는 문제
  • $\bold{p}$에 대한 미분이 $E'(\bold{p})=0, E_w'(\bold{p})=0$인 $\bold{p}$를 구함으로써 얻어짐
  • 단, 선형(linear)의 경우 벡터미분을 이용하여 이러한 해를 직접적으로 구할 수 있음 (closed-form solution이 존재)
• 선형 최소자승 문제(linear least squares problem): 최소자승 문제에 있어서 모델 $f(x,\bold{p})$가 모델 파라미터에 대해 선형
  • 예: $f(x,\bold{p})=\bold{p_1}sinx+\bold{p_2}cosx$라면 $f(x,\bold{p})$ 자체는 비선형 함수이지만 파라미터 $\bold{p}=(\bold{p_1},\bold{p_2})$에 대해서는 선형이므로, $f(x,\bold{p})$에 대한 최소자승 문제는 선형(linear) 문제가 됨