多元线性回归改进Rideg&Lasso

这篇文章介绍了多元线性回归的改进方法，重点是Ridge回归和Lasso回归。首先，简要回顾了多元线性回归模型，并讨论了归一化（normalization）的重要性及其方法，通过小例子进行演示。接着，介绍了正则化（regularization）的概念及正则项，详细讲解了Lasso回归和Ridge回归，其中L1稀疏用于特征选择，L2平滑用于防止过拟合，并通过例子展示了Lasso和Ridge回归的应用。最后，介绍了同时作用L1和L2正则项的ElasticNet，并通过例子说明其应用。通过这些内容，全面展示了如何改进多元线性回归模型以提高其性能和泛化能力。

多分类任务OVO、OVR及softmax回归

这篇文章介绍了Logistic回归的基本概念及其在多分类问题中的应用。首先，回顾了Logistic回归的原理，然后详细讲解了两种实现多分类的方法：One-vs-all (OVR) 和 One-vs-One (OVO)，并通过实战演示了如何使用这两种方法对鸢尾花数据进行多分类。 接着，介绍了Softmax回归，从广义线性回归推导出Softmax，并解释了多项分布是指数族分布以及如何由此推导出Softmax回归。文章还给出了Softmax回归的公式、模型图示和Loss函数。最后，讨论了逻辑回归和Softmax回归的关系，并通过实战演示了Softmax回归的应用。

Polynomial多项式升维和PCA降维

先简要回顾了多元线性回归模型。接着，详细介绍了如何通过多项式升维方法增加模型的复杂度，并以两个变量为例具体说明了多项式升维的操作步骤。随后，讨论了PCA降维，解释了特征向量在矩阵中的重要性和PCA的目标。接下来，详细描述了PCA的过程，并对PCA进行了总结。最后，通过一个实例展示了PCA在实际中的应用。

多元线性回归(MLR)

介绍了多元线性回归（MLR）的基本概念及其推导过程。首先，通过极大似然估计（MLE）推导出均方误差（MSE）。然后，利用简单的导数知识推导出解析解公式θ = (X^TX)^(-1)X^TY。接着，通过一个例子演示解析解的应用。此外，介绍了利用梯度下降法求解θ，并讨论了三种其他常见的梯度下降方法。最后，通过实例展示了梯度下降法的应用，详细讲解了如何通过该方法求解多元线性回归问题。