吴恩达深度学习4-逻辑回归Logistic Regression
逻辑回归是一个用于监督学习中的算法，输出标签是0或者1时，就是二分类问题。
沿用之前的猫识别的例子：在给定输入X的条件下，如果输出的是猫则y是1，否则是0。
$$\hat y=W^{T}X + b $$
我们是希望$\hat y$在0到1之间，但是实际上$W^{T}X + b $可能大于1，甚至可能是负数。这样变得没有意义。
这个时候需要加上Sigmoid函数：
Sigmoid函数的表示形式：
$$Sigmoid(x) = \frac{1}{1+e^{-x}}$$
- 当x趋于无穷大的时候，函数值趋于1
- 当x趋于无穷小的时候，函数值趋于0
吴恩达深度学习5-逻辑回归损失函数
逻辑回归的损失函数：
$$L(\hat y,y) = -(y log\hat y + (1-y)log(1-\hat y))$$
我们希望误差平方越小越好。两个极限情况：
损失函数和成本函数
损失函数是定义在单个样本上的函数，描述的是某个样本上的误差损失。
成本函数Cost Function是定义在全样本上的函数，和参数w，b是相关的。
$$Cost Function=J(w,b)=\frac{1}{m}\sum^m_{i=1}L(i)$$
损失函数只适用于单个样本，成本函数是适用整个样本。逻辑回归算法是找到合适的w和b使得成本函数最小。
详解损失函数
单个样本的损失函数
$$P(y|x)=\hat y^y(1-\hat y)^{1-y} $$
最小化损失函数，就是最大化$log(P(y|x))$
上面是针对单个样本的损失函数表达式，如何是多个样本呢？
m个样本的损失函数
前提假设：所有的样本服从同一个分布且相互独立，那么有：
全部样本的联合概率 = 每个样本概率的乘积
