公式(3-4)是：
y = 1 1 + e − ( w T x + b ) y = \frac{1}{1 + e^{-(w^T x + b)}} y=1+e−(wTx+b)1
这个公式描述的是逻辑回归中的sigmoid函数。
我们想从这个式子推导出 ln ( y 1 − y ) \ln\left(\frac{y}{1 - y}\right) ln(1−yy)，即求解 odds 的自然对数。
-
由公式(3-4)，将两边同时乘以 1 + e − ( w T x + b ) 1 + e^{-(w^T x + b)} 1+e−(wTx+b)：
y ( 1 + e − ( w T x + b ) ) = 1 y(1 + e^{-(w^T x + b)}) = 1 y(1+e−(wTx+b))=1 -
接着将 y y y 移到等式右边：
1 + e − ( w T x + b ) = 1 y 1 + e^{-(w^T x + b)} = \frac{1}{y} 1+e−(wTx+b)=y1 -
然后减去 1：
e − ( w T x + b ) = 1 y − 1 = 1 − y y e^{-(w^T x + b)} = \frac{1}{y} - 1 = \frac{1 - y}{y} e−(wTx+b)=y1−1=y1−y -
取两边的自然对数：
− ( w T x + b ) = ln ( 1 − y y ) -(w^T x + b) = \ln\left(\frac{1 - y}{y}\right) −(wTx+b)=ln(y1−y) -
最后乘以 -1，得到：
w T x + b = ln ( y 1 − y ) w^T x + b = \ln\left(\frac{y}{1 - y}\right) wTx+b=ln(1−yy)
对数的性质：对数的负号会使分子和分母交换
这就是推导的过程。
