逻辑回归是一个分类器，其基本思想可以概括为：对于一个二分类（0~1）问题，若P(Y=1/X)>0.5则归为1类，若P(Y=1/X)<0.5，则归为0类。<>

一、模型概述

1、Sigmoid函数

为了具象化前文的基本思想，这里介绍Sigmoid函数：

函数图像如下：

红色的线条，即x=0处将Sigmoid曲线分成了两部分：当 x < 0，y < 0.5 ；
当x > 0时，y > 0.5 。

实际分类问题中，往往根据多个预测变量来对响应变量进行分类。因此Sigmoid函数要与一个多元线性函数进行复合，才能应用于逻辑回归。

2、逻辑斯谛模型

其中θx=θ1x1+θ2x2+……+θnxn 是一个多元线性模型。

上式可转化为：

公式左侧称为发生比(odd)。当p(X)接近于0时，发生比就趋近于0；当p(X)接近于1时，发生比就趋近于∞。

两边取对数有：

公式左侧称为对数发生比(log-odd)或分对数(logit)，上式就变成了一个线性模型。

不过相对于最小二乘拟合，极大似然法有更好的统计性质。逻辑回归一般用极大似然法来拟合，拟合过程这里略过，下面只介绍如何用R应用逻辑回归算法。

二、逻辑回归应用

1、数据集

应用ISLR包里的Smarket数据集。先来看一下数据集的结构：

> summary(Smarket)
      Year           Lag1                Lag2          
Min.   :2001   Min.   :-4.922000   Min.   :-4.922000  
1stQu.:2002   1stQu.:-0.639500   1stQu.:-0.639500  
Median:2003   Median:0.039000   Median:0.039000  
Mean   :2003   Mean   :0.003834   Mean   :0.003919  
3rdQu.:2004   3rdQu.:0.596750   3rdQu.:0.596750  
Max.   :2005   Max.   :5.733000   Max.   :5.733000  
      Lag3                Lag4                Lag5         
Min.   :-4.922000   Min.   :-4.922000   Min.   :-4.92200  
1stQu.:-0.640000   1stQu.:-0.640000   1stQu.:-0.64000  
Median:0.038500   Median:0.038500   Median:0.03850  
Mean   :0.001716   Mean   :0.001636   Mean   :0.00561  
3rdQu.:0.596750   3rdQu.:0.596750   3rdQu.:0.59700  
Max.   :5.733000   Max.   :5.733000   Max.   :5.73300  
     Volume           Today           Direction
Min.   :0.3561   Min.   :-4.922000   Down:602  
1stQu.:1.2574   1stQu.:-0.639500   Up  :648  
Median:1.4229   Median:0.038500             
Mean   :1.4783<span style="margin:0px;padding:0px;max-width:100%;box-sizing:border-box;word-wrap:break-word !important;color:#000000