2N}

​x11​x21​…xN1​​x12​x22​xN2​​………​x1N​x2N​xNN​​

​,Y

\underbrace{\varepsilon}_{noise},

\quad

w表示一个未知的常量转化为优化问题进行求解。

我们将这种方法称为点估计在过去我们学习过了两种方法

noise

\underbrace{P(w|Data)}_{\propto

P(Data|w)

P(w∣Data)​​argwmax​P(Data∣w)⋅P(w)

其中若

​x11​x21​…xN1​​x12​x22​xN2​​………​x1N​x2N​xNN​​

​,Y

\underbrace{\varepsilon}_{noise},

\quad

{Inference:posterior(w)Prediction:x∗→y∗​

19.2.1

\overbrace{P(w|X)}^{prior}}{\int

P(Y|w,

P(w∣Data)P(w∣X,Y)P(Y∣X)P(w,Y∣X)​∫P(Y∣w,X)⋅P(w∣X)dwP(Y∣w,X)

​likelihood​⋅P(w∣X)

将后验拆解开之后我们只需要分开求解likelihood和prior

求解likelihood

P(Y∣w,X)i1∏N​P(yi​∣w,xi​)i1∏N​N(yi​∣wTxi​,σ2)

假设prior

P(w∣Data)​∝P(Y∣w,X)⋅P(w∣X)∝i1∏N​N(yi​∣wTxi​,σ2)⋅N(0,Σp​)​​

我们先将likelihood进行一个变换

\underbrace{\sigma^N}_{{|\Sigma|}^\frac{1}{2}}

\exp{\lbrace

{\underbrace{(Y-Xw)}_{x-\mu}}^T

I}_{\Sigma^{-1}}

P(Y∣w,X)​i1∏N​N(yi​∣wTxi​,σ2)i1∏N​(2π)21​σ1​exp{−2σ21​(yi​−wTxi​)2}(2π)2N​σN1​exp{−2σ21​i1∑N​(yi​−wTxi​)2}(2π)2N​∣Σ∣21​

σN​​1​exp{−21​x−μ

P(w∣Data)​∝P(Y∣w,X)⋅P(w∣X)N(Xw,σ−2I))⋅N(0,Σp​)∝exp{−21​(Y−Xw)Tσ−2I(Y−Xw)}⋅exp{−21​wTΣp−1​w}exp{−21​(Y−Xw)Tσ−2I(Y−Xw)−21​wTΣp−1​w}exp{−21​(YTY−2YTXwwTXTXw)−21​wTΣp−1​w}​​

引入配方法

p(x)​∝exp{−21​(x−μ)TΣ−1(x−μ)}exp{−21​(xTΣ−1x−1×1

xTΣ−1μ​​−1×1

μTΣ−1x​​μTΣ−1μ)}exp{−21​(xTΣ−1x−2μTΣ−1x与x无关

μTΣ−1μ​​)}∝exp{二次项

⎧​二次项−2σ21​wTXTXw−21​wTΣp−1​w−21​xTΣw−1​x

−21​(wT(σ−2XTXΣp−1​)w)​​一次项μTΣw−1​x

σ−2YTXw​​​{Σw−1​(σ−2XTXΣp−1​)μTΣw−1​σ−2YTX​​​

\begin{cases}

{Σw​(σ−2XTXΣp−1​)−1μTσ−4XTXYTXσ−2Σp−1​YTX​

19.2.2

⟹​w∽N(μw​,Σw​)x∗Tw∽N(x∗Tμw​,x∗TΣw​x∗)​​

f(x^*)

⟹​{yx∗Twε,ε∽N(0,σ2)x∗Tw∽N(x∗Tμw​,x∗TΣw​x∗)​P(y∗∣Data,x∗)N(x∗Tμw​,x∗TΣw​x∗σ2)​​