Minsu's

Unconstrained Optimization Newton Search Direction 좀더 좋은 search direction 을 얻기 위해서, \(B_k\)는 어떤 symmetric positive definite 행렬, search direction\[ p_k := -B_k^{-1} \nabla f(x_k) \]는 descent direction 이다.왜냐하면, \(B_k\) 는 positive defined 이기 때문에 \(B_k^{-T}\) 이므로\[ p_k^{T} \nabla f(x_k) = -(\nabla f(x_k))^T B_k^{-T} \nabla f(x_k) < 0 \]이다. 이 search direction 함수 \(f\)의 \(x_k\) 근방에서의 quadratic approxi..

Unconstrained Optimization Steepest Descent 기본적인 방법은 gradient 를 이용하는 steepest descent 방법이다. 즉, \(p_k := -\nabla f(x_k)\) 이다. Corollary Let \(f:\mathbb{R}^n \rightarrow \mathbb{R}\) be continuously differentiable, and let \(\nabla f\) be locally Lipschitz at \(x_k\) with Lipschitz constant \(L(x_k)\). Then the generic minimization algorithm with backtracking Armijo line search and steepest descen..

Unconstrained Optimization Armijo Backtracking Line Search 많은 Line search method중 가장 성공적인것은 Armijo backtracking line search이다.먼저 basic backtracking line search를 알아보자. 가능한 큰 \(\alpha_{init}\) 에서 시작하여 \(f(x_k+\alpha_k p_k)0 (e.g., \alpha_{init}=1)$ 4. let $\alpha=\alpha_{init}$ and $l=0$ 5. while $f(x_k+\alpha p_k)

Unconstrained Optimization Line Search Methods Line search method는 다음식에 의해 수열 \(x_k\)를 생성한다.\[ x_{k+1} = x_k + \alpha_k p_k \]여기서, \(p_k\)는 search direction, 스칼라 \(\alpha_k\)는 step length 이다.일반적으로 \(p_k^{T} \nabla f(x_k)