实战音乐分类项目

这篇文章介绍了一个实战音乐分类项目，详细解析了音乐结构及傅里叶分析在音频结构中的应用。首先，解释了时域与频域的预备知识，并介绍了傅里叶级数，通过图示展示傅里叶级数（以3项为例）。接着，详细讲解了音乐分类项目的步骤，包括查看歌曲的时域和频域，进行傅里叶变换以提取特征，将特征转化为x，标签转化为y。然后，介绍了读取模型进行预测的方法，并通过贝多芬的《月光曲》进行示范，展示了音乐分类的实际应用。最后，强调了项目的完整性，确保有始有终。

偏最小二乘回归(PLS)

这篇文章介绍了偏最小二乘回归（Partial Least Squares, PLS）的适用场景、基本原理和计算步骤。PLS回归适用于自变量多重共线性或样本数少于自变量数的情况。文章详细讲解了标准化数据、计算协方差矩阵、提取潜在变量和构建回归模型的四个步骤。还介绍了交叉有效性检验用于评估模型的预测能力。最后，通过Python代码示例展示了PLS回归的具体实现方法，全面展示了PLS回归的应用及其在解决多重共线性问题中的优势。

多元线性回归改进Rideg&Lasso

这篇文章介绍了多元线性回归的改进方法，重点是Ridge回归和Lasso回归。首先，简要回顾了多元线性回归模型，并讨论了归一化（normalization）的重要性及其方法，通过小例子进行演示。接着，介绍了正则化（regularization）的概念及正则项，详细讲解了Lasso回归和Ridge回归，其中L1稀疏用于特征选择，L2平滑用于防止过拟合，并通过例子展示了Lasso和Ridge回归的应用。最后，介绍了同时作用L1和L2正则项的ElasticNet，并通过例子说明其应用。通过这些内容，全面展示了如何改进多元线性回归模型以提高其性能和泛化能力。

多分类任务OVO、OVR及softmax回归

这篇文章介绍了Logistic回归的基本概念及其在多分类问题中的应用。首先，回顾了Logistic回归的原理，然后详细讲解了两种实现多分类的方法：One-vs-all (OVR) 和 One-vs-One (OVO)，并通过实战演示了如何使用这两种方法对鸢尾花数据进行多分类。 接着，介绍了Softmax回归，从广义线性回归推导出Softmax，并解释了多项分布是指数族分布以及如何由此推导出Softmax回归。文章还给出了Softmax回归的公式、模型图示和Loss函数。最后，讨论了逻辑回归和Softmax回归的关系，并通过实战演示了Softmax回归的应用。

Polynomial多项式升维和PCA降维

先简要回顾了多元线性回归模型。接着，详细介绍了如何通过多项式升维方法增加模型的复杂度，并以两个变量为例具体说明了多项式升维的操作步骤。随后，讨论了PCA降维，解释了特征向量在矩阵中的重要性和PCA的目标。接下来，详细描述了PCA的过程，并对PCA进行了总结。最后，通过一个实例展示了PCA在实际中的应用。

多元线性回归(MLR)

介绍了多元线性回归（MLR）的基本概念及其推导过程。首先，通过极大似然估计（MLE）推导出均方误差（MSE）。然后，利用简单的导数知识推导出解析解公式θ = (X^TX)^(-1)X^TY。接着，通过一个例子演示解析解的应用。此外，介绍了利用梯度下降法求解θ，并讨论了三种其他常见的梯度下降方法。最后，通过实例展示了梯度下降法的应用，详细讲解了如何通过该方法求解多元线性回归问题。