机器学习之逻辑回归算法(用于分类任务)
逻辑回归是一种用于分类任务的监督学习算法,尤其擅长二分类问题(如判断是否/0或1)。
1. 逻辑回归的核心思想
核心思想:将线性回归的结果作为参数传递到sigmoid()函数中,底层把连续的值转换为[0,1]区间的概率值,最后设置一个阈值,做二分类任务。
Api: from sklearn.linear_model import LogisticRegression
2. 损失函数
逻辑回归的损失函数主要有以下两种:
交叉熵损失函数:交叉熵损失函数(Cross-Entropy Loss),也称为 对数损失(Log Loss),把原来求最大概率的似然函数, 取负对数 ,得到最小化的交叉熵损失函数,这样更简单,更稳定,更容易适配AI通用优化方法: 梯度下降。

似然似然估计-伯努利分布函数:又叫MLE,即 Maximum Likelihood Estimation,是一种统计方法,让联合概率事件最大时,估计w、b的权重参数,即极大似然估计。

底层优化原理:把原来求最大概率的似然函数,取负对数,得到最小化的交叉熵损失函数,这样更加简单,稳定,更加适配AI通用优化方法: 梯度下降。
3. 逻辑回归的模型评估函数
分类任务模型的评估函数主要基于混淆矩阵实现
Api: from sklearn.metrics import confusion_matrix
混淆矩阵的概念:
混淆矩阵是机器学习中用于评估分类模型性能的表格。它展示了模型的预测结果与实际标签的对比情况。

作用:
直观显示模型的分类错误类型(如误诊、漏检)。
计算关键指标:准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1分数等。
分类任务常用的评估函数:
准确率:公式:(TP+TN)/总样本数,
Api:from sklearn.metrics import accuracy_score
精确率: 公式:TP/(TP+FP),
Api:from sklearn.metrics import precision_score
召回率: 公式:TP/(TP+FN),
Api:from sklearn.metrics import recall_score
F1分数: 公式:2x精确率x召回率/(精确率+召回率),
Api:from sklearn.metrics import f1_score
更多推荐
所有评论(0)