Minsu's

Unconstrained Optimization Newton Search Direction 좀더 좋은 search direction 을 얻기 위해서, \(B_k\)는 어떤 symmetric positive definite 행렬, search direction\[ p_k := -B_k^{-1} \nabla f(x_k) \]는 descent direction 이다.왜냐하면, \(B_k\) 는 positive defined 이기 때문에 \(B_k^{-T}\) 이므로\[ p_k^{T} \nabla f(x_k) = -(\nabla f(x_k))^T B_k^{-T} \nabla f(x_k) < 0 \]이다. 이 search direction 함수 \(f\)의 \(x_k\) 근방에서의 quadratic approxi..

Unconstrained Optimization Steepest Descent 기본적인 방법은 gradient 를 이용하는 steepest descent 방법이다. 즉, \(p_k := -\nabla f(x_k)\) 이다. Corollary Let \(f:\mathbb{R}^n \rightarrow \mathbb{R}\) be continuously differentiable, and let \(\nabla f\) be locally Lipschitz at \(x_k\) with Lipschitz constant \(L(x_k)\). Then the generic minimization algorithm with backtracking Armijo line search and steepest descen..

Unconstrained Optimization Armijo Backtracking Line Search 많은 Line search method중 가장 성공적인것은 Armijo backtracking line search이다.먼저 basic backtracking line search를 알아보자. 가능한 큰 \(\alpha_{init}\) 에서 시작하여 \(f(x_k+\alpha_k p_k)0 (e.g., \alpha_{init}=1)$ 4. let $\alpha=\alpha_{init}$ and $l=0$ 5. while $f(x_k+\alpha p_k)

Unconstrained Optimization Line Search Methods Line search method는 다음식에 의해 수열 \(x_k\)를 생성한다.\[ x_{k+1} = x_k + \alpha_k p_k \]여기서, \(p_k\)는 search direction, 스칼라 \(\alpha_k\)는 step length 이다.일반적으로 \(p_k^{T} \nabla f(x_k)

학생을 위한 Nonlinear optimization 저장소(repository in julia) 문제 함수 이름을 알고 있어야 한다. 이 패키시 설치는 아래와 같이 한다. julia> Pkg.clone("https://github.com/ufpr-opt/OptProblems.jl") julia> using OptProblems 함수를 불러오는 방법은 아래와 같은 3가지 방법이 있다. julia> f, g, H, x0 = OptProblems.rosenbrock() julia> #OR julia> f, g, H, x0 = getProblem("rosenbrock") julia> #OR julia> f, g, H, x0 = getProblem(:rosenbrock) 함수 목록 beale cliff cube..

Optim julia Optim 패키지를 이용하여 Himmelblau's function의 극값을 찾는 방법을 알아보겠다.\[ f(x, y) = (x^2+y-11)^2 + (x+y^2-7)^2\]이 함수는 1개의 극대값(maximum)과 4개의 극소값(minima)을 가진다.먼저, 필요한 패키지 로드 한다. julia> using Optim 그리고 목적함수와 gradient 그리고 Hessian 함수를 설정한다. julia> function himmelblau(x::Vector) (x[1]^2 + x[2] - 11)^2 + (x[1] + x[2]^2 - 7)^2 end himmelblau (generic function with 1 method) julia> function himmelblau_gradi..