40.1K
7773
歸納偏好
任何一個有效的機器學習算法必有其歸納偏好，否則它將被假設空間中看似在訓練集上等效的假設所迷惑，而無法產生確定的學習結果。歸納偏好可看作學習算法自身在一個可能很龐大的假設空間中對假設進行選擇的啟發或價值觀。奧卡姆剃刀原則是一種用來引導算法確立正確偏好的常用原則。它的基本含義是如果有多個假設與觀察一致，則選擇最簡單的那個。奧卡姆剃刀原則并非唯一可行的原則。歸納偏好對應了學習算法本身所做出的關于“什么樣的模型更好”的假設，在具體的現實問題中，這個假設是否成立，即算法的歸納偏好是否與問題本身匹配，大多數時候直接決定了算法能否取得好的性能。
