優化方法基礎系列-優化問題分類

最優化問題可以按照優化問題的狀態來進行分類，可分了兩類，即靜態問題和動態問題。本優化方法系列主要從靜脈問題方面進行記錄，總結與概述。主要目的是便於以後查看和復習使用。

無約束方法可以從利用不同階數的導數信息進行劃分，即沒有利用導數信息的直接求解最優解的方法、利用壹階導數的梯度方法、利用二階導數的牛頓系列方法。這些方法是比較傳統的無約束優化算法，後來學者又提出壹些啟發式的優化算法，比如遺傳算法、模擬退火等等。

約束優化方法可以分為直接方法和間接方法。直接法的含義：在可行域內，通過構造壹定的搜索模式，直接求得約束問題的最優解；間接法的含義：構造壹個新的目標函數，將原問題轉換為無約束優化問題，通過求解無約束優化問題，間接獲得約束優化問題的最優解。