Minsu's

Unconstrained Optimization Newton Search Direction 좀더 좋은 search direction 을 얻기 위해서, \(B_k\)는 어떤 symmetric positive definite 행렬, search direction\[ p_k := -B_k^{-1} \nabla f(x_k) \]는 descent direction 이다.왜냐하면, \(B_k\) 는 positive defined 이기 때문에 \(B_k^{-T}\) 이므로\[ p_k^{T} \nabla f(x_k) = -(\nabla f(x_k))^T B_k^{-T} \nabla f(x_k) < 0 \]이다. 이 search direction 함수 \(f\)의 \(x_k\) 근방에서의 quadratic approxi..

Unconstrained Optimization Armijo Backtracking Line Search 많은 Line search method중 가장 성공적인것은 Armijo backtracking line search이다.먼저 basic backtracking line search를 알아보자. 가능한 큰 \(\alpha_{init}\) 에서 시작하여 \(f(x_k+\alpha_k p_k)0 (e.g., \alpha_{init}=1)$ 4. let $\alpha=\alpha_{init}$ and $l=0$ 5. while $f(x_k+\alpha p_k)