解決不適定問題的壹般方法是用壹組與原問題“相鄰”的適定問題來近似原問題的解。這種方法稱為正則化方法。如何建立有效的正則化方法是反問題領域中不適定問題的重要內容。通常的正則化方法包括基於變分原理的Tikhonov正則化、各種叠代方法和其他改進方法。這些方法都是解決不適定問題的有效方法,在各種反問題中得到了廣泛的應用和深入的研究。
正則化:正則化,代數幾何中的壹個概念。
壹般來說,
它是用某種形式的全純參數來表示平面不可約代數曲線。
即對於PC 2中的不可約代數曲線C,我們找到壹個緊黎曼曲面C*和壹個全純映射σ: c *→ PC 2,使得σ (c *) = C。
嚴格的定義如下
設C是不可約的平面代數曲線,s是C的壹組奇點,若存在緊黎曼曲面C*和全純映射σ: c *→ PC 2,則
(1)σ(c *)= c(2)σ(-1)(s)是有限點集(3) σ: c * \ σ (-1) (s) → c \ s是壹壹映射。
則(C*,σ)稱為C的正則化,當沒有混淆時,C*也可以稱為C的正則化。
正則化實際上是在不可約平面代數曲線的奇點處分離出切線不同的曲線,從而消除這種奇點。
需要解決的主要問題
1.正則化就是對最小化經驗誤差的函數施加約束,這種約束可以解釋為先驗知識(正則化參數相當於給參數引入先驗分布)。約束起引導作用,在優化誤差函數時,傾向於選擇滿足約束的梯度約簡方向,使最終解傾向於符合先驗知識(如壹般的l-範數先驗,說明原問題更容易簡單,這樣的優化傾向於產生參數值小的解,壹般對應於參數稀疏的光滑解)。
2.同時,正則化解決了不適定問題,得到的解是存在的,並且只依賴於數據。噪聲對不適定問題的影響較弱,解不會過擬合。此外,如果先驗(正則化)是適當的,則解將傾向於符合真實解(不會過擬合),即使訓練集中幾乎沒有不相關的樣本。