既然目标是llm，那么默认transformer是会的，要开始学习，我建议首先就是四大模型：encoder-only的bert，decoder-only的gpt，encoder-decoder的t5，prefix-lm的glm

建议你首先把上述这四种模型的预训练目标摸清，然后有余力可以研究一些变体，比如encoder-only做生成的UniLM，AE+AR结合的预训练目标MASS，这些都不是主流的方法，但是多了解有助于你的思维发散，免得陷入定式。

然后就把基本的下游任务摸一遍，比如bert的四个下游任务，gpt的四个下游任务。有余力的话可以自己想象一个下游任务场景，然后让自己来设计一个微调的方法。

然后就可以追一些新模型了。GLM最近的表现比较抽象不建议看，倒不是说GLM不好，GLM其实在一众大模型里面算非常优秀的那一拨，但是我等了四个月2的论文or报告还没等到3又出来了，你不会也要学openai搞we use python, we use data？建议可以追一下llama2，了解一下如果重头训一个该怎么训，在某一任务上微调该怎么做，全参微调下游微调lora微调等等，如果想魔改，扩词表怎么扩，等等

这个过程你不可避免的要去了解模型组件，RoPE，GLU，各种Norm，各种Attention，跟报菜名一样，像念八股，但你懂了你也就会改了，万一哪天你用上了呢

很多人收藏了这篇回答，受宠若惊。但文章内容也有时效性。上面内容最后更新于半年前，放到现在算不上过时，但是太过于基础了，很难说得上实用。

后面就把理论放到一边，讲点实际的东西，工程上现有的llm主要分为开源和闭源。开源基本就是llama大家族，所谓的243个国产大模型除开个别，几乎都是训llama，少有创新；国外有mixtral是基于llama的moe。闭源就是gpt和claude这类，不用考虑。所以现在看来，基本上开源大模型都是在跟llama打交道了

开源llm都可获得权重，一般人离预训练比较远，但还是要了解相应细节：比如数据构成、数据收集、数据处理；比如训练细节，并行框架和策略，学习率策略，等等。

这些一般都会写在开源模型对应的技术报告里面

离大部分人比较近的就是微调和sft，这两点是比较相通的，甚至大部分场景中微调=sft。此处一般接触的是领域内任务数据集，比如医疗、金融等等 （现在一般不特地把MMLU、GLUE之类benchmark数据集拿来专门做下游sft的应用）

针对这两个点建议学习huggingface transformer库主要是工程）以及peft（理论和工程一起）。transformer更工程这里就不细讲了，主要讲peft，hf的peft里面只集成了部分peft方法，像lora，ia3，ptuning大家族之类，其中lora理论研究最深入，工程应用最广泛，建议优先学习，ptuning这种方法已经没什么可研究的点了， 

工程上也比较少用

除开hf peft库里包含的，也有其他peft方法，如adapter，建议只做了解，因为实际使用也不多。原始的lora和qlora是工程上应用最多的方法，除开这两个，还有adalora，lora-moe等等魔改lora，如果是做工程的可以不用管，

涉及到理论的可以研究一下，这类工作科研价值往往都还可以

随着大模型的发展，学习思路有一个从理论研究往工程研究，从上游向下游的转变。如今开源大模型已经定形为llama，再去死磕模型结构没有意义，大部分人也没有资源去真的研究模型结构，所以这部分的知识了解即可。更重要的是在下游如何应用大模型，这就涉及到sft和peft，涉及到数据工程训练工程，各种不论理论研究还是工程应用上都更加与实际相关的知识点

 大模型&AI产品经理如何学习

求大家的点赞和收藏，我花2万买的大模型学习资料免费共享给你们，来看看有哪些东西。 

 这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

 

1.学习路线图

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

2.视频教程

网上虽然也有很多的学习资源，但基本上都残缺不全的，这是我自己整理的大模型视频教程，上面路线图的每一个知识点，我都有配套的视频讲解。

（都打包成一块的了，不能一一展开，总共300多集）

因篇幅有限，仅展示部分资料，需要点击下方图片前往获取

3.技术文档和电子书 

这里主要整理了大模型相关PDF书籍、行业报告、文档，有几百本，都是目前行业最新的。

4.LLM面试题和面经合集

这里主要整理了行业目前最新的大模型面试题和各种大厂offer面经合集。

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集***

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓