Minsu's

Unconstrained Optimization Newton Search Direction 좀더 좋은 search direction 을 얻기 위해서, \(B_k\)는 어떤 symmetric positive definite 행렬, search direction\[ p_k := -B_k^{-1} \nabla f(x_k) \]는 descent direction 이다.왜냐하면, \(B_k\) 는 positive defined 이기 때문에 \(B_k^{-T}\) 이므로\[ p_k^{T} \nabla f(x_k) = -(\nabla f(x_k))^T B_k^{-T} \nabla f(x_k) < 0 \]이다. 이 search direction 함수 \(f\)의 \(x_k\) 근방에서의 quadratic approxi..

Optim julia Optim 패키지를 이용하여 Himmelblau's function의 극값을 찾는 방법을 알아보겠다.\[ f(x, y) = (x^2+y-11)^2 + (x+y^2-7)^2\]이 함수는 1개의 극대값(maximum)과 4개의 극소값(minima)을 가진다.먼저, 필요한 패키지 로드 한다. julia> using Optim 그리고 목적함수와 gradient 그리고 Hessian 함수를 설정한다. julia> function himmelblau(x::Vector) (x[1]^2 + x[2] - 11)^2 + (x[1] + x[2]^2 - 7)^2 end himmelblau (generic function with 1 method) julia> function himmelblau_gradi..