type
status
password
date
slug
summary
category
URL
tags
icon
线性回归和逻辑回归通常是人们学习预测模型的第一个算法。由于这二者的知名度很大，许多分析人员以为它们就是回归的唯一形式了。而了解更多的学者会知道它们是所有回归模型的主要两种形式。
1. 什么是回归分析？
回归分析是进行数据建模、分析的重要工具。下面这张图反映的是使用一条曲线来拟合离散数据点。其中，所有离散数据点与拟合曲线对应位置的差值之和是被最小化了的，更多细节我们会慢慢介绍。
2. 为什么使用回归分析？
使用回归模型有很多好处，例如：
- 揭示了因变量和自变量之间的显著关系
- 揭示了多个自变量对一个因变量的影响程度大小
3. 有哪些回归类型？
有许多回归技术可以用来做预测。这些回归技术主要由三个度量（独立变量的数量、度量变量的类型和回归线的形状）驱动。我们将在下面的章节中详细讨论。
1) 线性回归（Linear Regression）
其中 a 为直线截距，b 为直线斜率，e 为误差项。
2) 逻辑回归
3) 多项式回归（Polynomial Regression）
对应一个回归方程，如果自变量的指数大于 1，则它就是多项式回归方程，如下所示：
4) 逐步回归（Stepwise Regression）
这种建模技术的目的是通过使用最少的自变量在得到最大的预测能力。它也是处理高维数据集的方法之一。通过增加/删除协变量来逐步拟合回归模型。常见的逐步回归方法如下所示：
- 标准的逐步回归做两件事，每一步中增加或移除自变量。
- 前向选择从模型中最重要的自变量开始，然后每一步中增加变量。
- 反向消除从模型所有的自变量开始，然后每一步中移除最小显著变量。
5) 岭回归（Ridge Regression）
线性回归加入L2正则化
6) 套索回归（Lasso Regression）
线性回归加入L1正则化
7) 弹性回归（ElasticNet Regression）
弹性回归是岭回归和套索回归的混合技术，它同时使用 L2 和 L1 正则化。