SVM 支持向量机(Support Vector Machine)(Part 2)

这篇文章详细介绍了支持向量机（SVM）的概念和算法，重点在于硬间隔和软间隔SVM的应用及其问题解决方案。首先，回顾了硬间隔SVM的算法流程及其面临的问题，然后介绍了软间隔SVM，通过优化目标函数和分析支持向量解决硬间隔的局限。接着，讨论了非线性支持向量机，解释了软间隔与非线性SVM的区别，提出升维和引入核函数来解决非线性问题，并列举了常用核函数。 文章还回顾了SVM的历史渊源，详细讲解了SMO算法的思想和求解过程，以及启发式选择变量的方法。然后，介绍了SVM概率化输出，通过拟合sigmoid模型实现，并讨论了Loss损失的求解方法。最后，文章探讨了SVM在多分类问题中的应用，综合总结了SVM的优缺点，并对比了逻辑回归（LR）和SVM，提出了选择的建议。

SVM 支持向量机(Support Vector Machine)(Part 1)

这篇文章介绍了支持向量机（SVM）的概念和算法，从感知器模型开始，解释了如何找到一个超平面并构建损失函数，涉及几何距离和函数距离的概念。然后，详细阐述了SVM算法的思想，提出关键概念，介绍硬间隔SVM的转化过程，将其转换成有约束的函数优化问题，并通过拉格朗日乘子法和对偶问题进行求解。最后，总结了硬间隔SVM的要点，并提供了算法的详细流程，全面展示了SVM在分类问题中的应用及其理论基础。