机器学习基础

逻辑回归:把分数变成概率

10 分钟

分类怎么办:先打分,再压弯

直线输出的是任意大小的数,可分类要的是「是 / 否」。逻辑回归的办法很巧:先像线性回归一样打个分,再把分数塞进一个 S 形函数(叫 sigmoid),把任何分数压成 0 到 1 之间的数,当作「是」的概率。分数越高概率越接近 1,越低越接近 0,0 分正好 0.5——拿不定主意。

一个具体场景

垃圾邮件过滤:模型给每封邮件打分,「内含中奖、转账等词」加分。一封邮件算出概率 0.93,超过 0.5 的门槛,判为垃圾邮件;另一封 0.41,放行。门槛就是决策边界,默认 0.5,但可以调。

门槛可调,大有讲究

把门槛降到 0.3:更多邮件被拦,但也可能误伤正常邮件;提到 0.7:放行更宽松。医学筛查往往故意压低门槛——宁可多查几个好人,也不放过一个病人。同一个模型,门槛不同,脾气就不同。

常见误区

名字叫「回归」,干的却是分类——它回归的是「概率」这个数,再按门槛切成类别。另外,概率 0.9 不等于「九成把握是真相」,它只是模型在自己见过的数据上给出的倾向,模型本身就可能有偏差。

练一练:三封邮件的概率是 0.8、0.5、0.2,门槛 0.5 时各怎么判?门槛调成 0.3 呢?

小纸条

给定三个概率和一个门槛做分类判断,再说说调低门槛会发生什么。

登录 后可看答案