线性回归模型求解

• • 1.线性回归损失函数推导
  • • 1.1 相关函数
    • 1.2 损失函数推导
    • 1.3 总结

1.线性回归损失函数推导

1.1 相关函数

• 线性回归函数
  y(i)=θTXi+bi(1)\begin{aligned} y_{(i)} &= \theta^TX^i+b^i\tag{1} \end{aligned} y(i)​​=θTXi+bi​(1)
• 高斯分布
  f(x)=12πσe−(x−u)22σ2(2)\begin{aligned} f{(x)} &= \frac{1}{\sqrt{2 \pi}\sigma}e^{-\frac{(x- u )^2}{2\sigma^2}}\tag{2} \end{aligned} f(x)​=2π​σ1​e−2σ2(x−u)2​​(2)
• 联合概率密度
  • 如果两随机变量互相独立，则联合密度函数等于边缘分布函数的乘积
    P(AB)=P(A)∗P(B)\begin{aligned} P{(AB)} &= P{(A)}*P{(B)} \end{aligned} P(AB)​=P(A)∗P(B)​

1.2 损失函数推导

• 已知：线性回归误差ϵ\epsilonϵ服从均值为0，方差为σ2\sigma^2σ2的高斯分布
• 最大可能性估计，我们要求误差最大似然估计，求最大值
  Lθ{ϵ1,ϵ2,ϵ3...ϵM}=f(ϵ1,ϵ2,ϵ3...ϵm∣u,σ2)=f(ϵ1∣u,σ2)∗f(ϵ2∣u,σ2)…f(ϵm∣u,σ2)=∏i=1mf(ϵi∣u,σ2)=∏i=1m12πσ∗e−(yi−θTXi−bi)22σ2(带入1,2)\begin{aligned} L_\theta{ \{ \epsilon_1,\epsilon_2,\epsilon_3...\epsilon_M \}} &=f{(\epsilon_1,\epsilon_2,\epsilon_3...\epsilon_m|u,\sigma^2)} \\&=f{(\epsilon_1|u,\sigma^2)}*f{(\epsilon_2|u,\sigma^2)} \dots f{(\epsilon_m|u,\sigma^2)} \\&=\prod_{i=1}^{m}f{(\epsilon_i|u,\sigma^2)} \tag{带入1,2} \\&=\prod_{i=1}^{m} \frac{1}{\sqrt{2 \pi}\sigma}*e^{-\frac{(y^i-\theta^TX^i-b^i)^2}{2\sigma^2}} \end{aligned} Lθ​{ϵ1​,ϵ2​,ϵ3​...ϵM​}​=f(ϵ1​,ϵ2​,ϵ3​...ϵm​∣u,σ2)=f(ϵ1​∣u,σ2)∗f(ϵ2​∣u,σ2)…f(ϵm​∣u,σ2)=i=1∏m​f(ϵi​∣u,σ2)=i=1∏m​2π​σ1​∗e−2σ2(yi−θTXi−bi)2​​(带入1,2)
• 对公式取对数
  logeLθ{ϵ1,ϵ2,ϵ3...ϵM}=log⁡e∏i=1m12πσ∗e−(yi−θTXi−bi)22σ2=∑i=1mlog⁡e12πσe−(yi−θTXi−bi)22σ2=∑i=1mlog⁡e12πσ+∑i=1mlog⁡ee−(yi−θTXi−bi)22σ2=mlog⁡e12πσ−m(yi−θTXi−bi)22σ2\begin{aligned} \ log_e ^{L_\theta{ \{ \epsilon_1,\epsilon_2,\epsilon_3...\epsilon_M \}}}&=\log_{e}^{ \prod_{i=1}^{m}\frac{1}{\sqrt{2 \pi}\sigma}*e^{-\frac{(y^i-\theta^TX^i-b^i)^2}{2\sigma^2}}} \\&=\sum_{i=1}^{m} \log_e^{ \frac{1} {\sqrt{2 \pi} \sigma}e^{-\frac{(y^i-\theta^TX^i-b^i)^2}{2\sigma^2}}} \\&=\sum_{i=1}^{m} \log_e^{ \frac{1} {\sqrt{2 \pi} \sigma}}+\sum_{i=1}^{m} \log_e^{ e^{-\frac{(y^i-\theta^TX^i-b^i)^2}{2\sigma^2}}} \\&=m\log_e^{ \frac{1}{\sqrt{2 \pi}\sigma}}-m \frac{(y^i-\theta^TX^i-b^i)^2}{2\sigma^2} \end{aligned}  logeLθ​{ϵ1​,ϵ2​,ϵ3​...ϵM​}​​=loge∏i=1m​2π​σ1​∗e−2σ2(yi−θTXi−bi)2​​=i=1∑m​loge2π​σ1​e−2σ2(yi−θTXi−bi)2​​=i=1∑m​loge2π​σ1​​+i=1∑m​logee−2σ2(yi−θTXi−bi)2​​=mloge2π​σ1​​−m2σ2(yi−θTXi−bi)2​​
• 已知以下值是确定的
  mlog⁡e12πσ,−m2σ2\begin{aligned} m\log_e^{ \frac{1}{\sqrt{2 \pi}\sigma}}, -\frac{m}{2\sigma^2} \end{aligned} mloge2π​σ1​​,−2σ2m​​
• 即求Lθ{ϵ1,ϵ2,ϵ3...ϵM}L_\theta{ \{ \epsilon_1,\epsilon_2,\epsilon_3...\epsilon_M \}}Lθ​{ϵ1​,ϵ2​,ϵ3​...ϵM​}，最大值，就是求(yi−θTXi)22σ2\frac{(y^i-\theta^TX^i)^2}{2\sigma^2}2σ2(yi−θTXi)2​的最小值，就是求(yi−θTXi)2(y^i-\theta^TX^i)^2(yi−θTXi)2的最小值

1.3 总结

• 线性回归损失函数为【MSE】
  Lossθ=(yi−θTXi−bi)2\begin{aligned} Loss_\theta =(y^i-\theta^TX^i-b^i)^2 \end{aligned} Lossθ​=(yi−θTXi−bi)2​