为什么逻辑回归(logistic regression)的推算的权重w不会无限上升？

我想你说的是梯度下降(Gradient Descent)的问题。
 
你可能对LR的梯度下降部分有所误解，我们希望保证的是损失函数在GD的过程中是一直下降的。
 
我描述一下LR的步骤：对于含n个特征、m个样本的数据X，我们首先建立了含n维权重w的LR模型，为了使模型最优化，我们需要定义模型的损失函数J，然后我们通过梯度下降的办法，来求解最优化权重w，使得J最小。
 
LR的损失函数如下，这是一个关于theta(w)的函数：

=>
 
我们知道，对于一个含有局部(全局)最小值的函数，沿着梯度方向上下降是能最快到达最小值的办法，这里的梯度可以简单理解为导数。例如：对于Y=x^2这个函数，x沿y=2x逆方向走，可以最快到达x=0这个局部最优值。因此这里的处理方法和上例类似，theta沿J的导数的逆方向走，能最快到达使J局部最小的点。

 
ok，这就是为什么我们能保证GD能够收敛到局部最优的原因。
 
Note：图片公式来自NG公开课内容，感谢NG为ML做出的贡献。
 
ML新人一枚，如有错误欢迎指正。