逻辑回归是一种用于分类任务的监督学习算法,尤其擅长二分类问题(如判断是否/0或1)。

1. 逻辑回归的核心思想

        核心思想:将线性回归的结果作为参数传递到sigmoid()函数中,底层把连续的值转换为[0,1]区间的概率值,最后设置一个阈值,做二分类任务。
        Api: from sklearn.linear_model import LogisticRegression

2. 损失函数

逻辑回归的损失函数主要有以下两种:

            交叉熵损失函数:交叉熵损失函数(Cross-Entropy Loss),也称为 对数损失(Log Loss),把原来求最大概率的似然函数, 取负对数 ,得到最小化的交叉熵损失函数,这样更简单,更稳定,更容易适配AI通用优化方法: 梯度下降。

                
            似然似然估计-伯努利分布函数:又叫MLE,即 Maximum Likelihood Estimation,是一种统计方法,让联合概率事件最大时,估计w、b的权重参数,即极大似然估计。

                

            底层优化原理:把原来求最大概率的似然函数,取负对数,得到最小化的交叉熵损失函数,这样更加简单,稳定,更加适配AI通用优化方法: 梯度下降

3. 逻辑回归的模型评估函数

    分类任务模型的评估函数主要基于混淆矩阵实现

        Api: from sklearn.metrics import  confusion_matrix

        混淆矩阵的概念:

混淆矩阵是机器学习中用于评估分类模型性能的表格。它展示了模型的预测结果与实际标签的对比情况。

 作用:

   直观显示模型的分类错误类型(如误诊、漏检)。

   计算关键指标:准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1分数等。

    分类任务常用的评估函数:

        准确率:公式:(TP+TN)/总样本数,
                Api:from sklearn.metrics import  accuracy_score
        精确率:  公式:TP/(TP+FP),
                Api:from sklearn.metrics import  precision_score
        召回率: 公式:TP/(TP+FN),
                Api:from sklearn.metrics import  recall_score
        F1分数:  公式:2x精确率x召回率/(精确率+召回率),
                Api:from sklearn.metrics import  f1_score

Logo

Agent 垂直技术社区,欢迎活跃、内容共建。

更多推荐