微智科技网

全部频道

您的当前位置：首页机器学习：贝叶斯总结_3：线性回归和贝叶斯回归

机器学习：贝叶斯总结_3：线性回归和贝叶斯回归

来源：微智科技网

线性回归的基函数模型

$y(x,w)=w_0+w_1x_1+......+w_Dx_D$
$y(x,w)=w_0+\sum_{j=1}^{M-1}w_j \phi_j(x)$
$\phi_j(x)：是基函数$
基函数：多项式；高斯；sigmoid函数
基函数还可以是傅里叶基函数

最大似然与最小平方

误差函数=高斯噪声下的最大似然解
正则项是保证矩阵非奇异

顺序学习(随机梯度下降)

正则化最小平方

$E_D(w)+\lambda E_W(w)$ ； $\lambda是正则化的系数$

$\frac{1}{2}\sum_{n=1}^N \{t_n-w^T \Phi(x_n)^2 \}+\frac{\lambda}{2}\sum_{j=1}^M|w_j|^q$

q=1 （lasso）：套索， $\lambda足够大则系数为零，生成系数模型$

多变量的输出

偏置-方程折中

最大似然估计容易导致过拟合

贝叶斯线性回归

贝叶斯线性回归可以预防过拟合

贝叶斯模型的比较

假设多项式曲线的拟合问题，概率分布由模型中的一个产生，但不知道是哪个，不确定性通过先验概率表达 $p(M_i)$ .给定训练集D，

$p(M_i|D)->p(M_i)p(D|M_i)$

先验概率表示不同模型的优先级
$p(D|M_i) 是不同模型的优先级$
贝叶斯因子= $\frac{p(D|M_i)}{p(D|M_j)}$

预测分布： $p(t|x,D)=\sum_{i=1}^L p(t| x,M_i,D)p(M_i|D)$
1. 混合分布
2. 各个模型的预测加权

模型近似

待续

因篇幅问题不能全部显示，请点此查看更多更全内容