本篇文章聚焦于深度学习核心知识梳理与总结，深入理解其工作原理、关键概念和能力边界，以具备产品愿景可行定义、项目风险评估等素养。

---

前言

为了更系统化的掌握AI相关技术能力，计划从机器学习到大模型逐步深入，理解相关概念，拒绝理论堆砌，学习理论同时覆盖应用场景，构建可实践的知识体系。
整个学习路径是以AI产品经理的角度来搭建的，以实现技术筑基（让技术回归工具是我一直秉持的观念），不为成为算法专家，只为听懂对话、准确沟通、合理判断，建立直观理解，后续能看懂技术方案逻辑，能讨论不同模型的选型理由。
机器学习和深度学习是整个AI学习的基石，最终还是要回归到大模型的应用，所以也将强化学习、大数据纳入了学习规划（模型是引擎，数据是燃料）。

具体学习路径

1.机器学习基础 -> 2. 深度学习核心 -> 3.大数据 -> 4. 强化学习入门 -> 5. 大模型应用前沿

本篇为该系列第二篇，将聚焦于深度学习。

一、传统机器学习局限：特征工程瓶颈

在图像、语音、自然语言等复杂领域，特征的“好坏”几乎决定了模型性能上限，人工设计特征存在巨大瓶颈。

• 耗时耗力：依赖专家知识；
• 信息损失：人工特征可能无法完整表达数据的全部信息；
• 任务特定性：在一个任务上优秀的特征，可能在另一个任务上无效。

深度学习与传统机器学习核心区别

二、深度学习

深度学习是机器学习的核心分支，也是当前AI技术的基础，通过多层神经网络模拟人类大脑的“分层特征提取”能力，解决传统机器学习在“高维复杂数据”上的拟合、泛化难题。

1.核心特点：自动特征提取

给模型输入原始数据和最终目标，模型自己发现为完成目标所需的最佳特征表示。（通过多层结构，自动从原始数据中提取 “分层特征”）

2.核心组件：神经网络

• 神经元
  模型的基本计算单元，模拟人脑神经细胞，接收输入，进行加权求和，再通过激活函数产生输出。
• 激活函数
  给线性结果加入 “非线性”，是神经网络能够拟合复杂函数的关键（现实世界的数据关系绝大多数都是非线性的）。没有激活函数，无论堆叠多少层，整个网络等价于一个单层线性模型，无法学习复杂模式。

常用激活函数
Sigmoid：适合二分类输出层。
Tanh：零中心化，在反向传播时梯度消失问题比 Sigmoid 轻（但仍存在饱和区梯度消失问题）。
ReLU/Leaky ReLU：解决了Sigmoid在正区的梯度消失问题，大大加速了训练收敛，适合隐藏层。
Softmax：适合多分类输出层。

3、训练引擎：反向传播

反向传播（BP算法），找到最优权重 w 和偏置 b，让模型在训练数据上的总损失L最小。
训练流程

• 前向传播：输入数据从网络底层流向顶层，得到预测结果，并计算与真实值的差距（损失函数）。
• 反向传播：利用链式法则，将损失从输出层向输入层反向传播，计算损失函数对于每一个参数（权重和偏置）的梯度；梯度指明了“参数应该如何微调才能减小损失”。
• 参数更新：使用优化器（如Adam），沿着梯度的反方向更新网络参数；循环往复，直到模型收敛。

4、挑战与对策

深度模型能力强大，但也带来了新的挑战。

5、主流神经网络

6、NLP领域重要预训练模型

当前所有主流大模型（如GPT、BERT、LLaMA）的核心架构都是Transformer。

---

总结

理解参考： 一文看懂深度学习（白话解释+8个优缺点+4个典型算法）（找到一篇博客很简单白话的讲清楚了神经网络，此处附上链接，可以辅助理解）
以上是我对深度学习的核心总结，最后附上学习思维导图，方便后续复习快速串联逻辑。