逻辑回归python正则化 选择参数_SKlearn_逻辑回归小练习

逻辑回归

逻辑回归(Logistic regression 或logit regression)，即逻辑模型(英语：Logit model，也译作“评定模型”、“分类评定模型”)是离散选择法模型之一，属于多重变量分析范畴，是社会学、生物统计学、临床、数量心理学、计量经济学、市场营销等统计实证分析的常用方法。——维基百科

虽然叫做回归其实是个分类模型。逻辑回归实际上是用sigmoid函数将线性回归进行了归一化，把输出值压缩到0-1之间，这个值代表的是发生的概率。

逻辑函数

逻辑函数(sigmoid函数)定义的累计分布又叫逻辑斯蒂分布，对分布函数求导得到概率密度函数。公式如下。

不同参数对逻辑分布的影响

图1 不同参数对逻辑分布的影响

注：图中s就是统计中的γ。

逻辑回归

逻辑回归是为了解决分类问题(主要是二分类)，根据一些已知的训练集训练好模型，再对新的数据进行预测属于哪个类。比如用户是否点击某个广告、肿瘤是否是恶性的、用户的性别，等等。

逻辑回归需要找到分类概率P(Y=1)与输入向量x的直接关系，然后通过比较概率值来判断类别，这就用到上文中逻辑函数。它令决策函数的输出值$w^Tx+b$等于概率值比值取对数$log\frac{P(Y=1|x)}{1-P(Y=1|x)}$，求解这个式子得到了输入向量x下导致产生两类的概率为:

其中w称为权重，b称为偏置，其中的w⋅x