介绍

《大语言模型基础与前沿》是由美国明尼苏达大学双城分校电子与计算机工程博士熊涛所著。 熊博士曾在多家中美知名高科技公司担任高级管理职位和首席科学家，在人工智能的多个领域，包括大语言模型、图神经网络等从事研发和管理工作多年。

本书深入涵盖大语言模型的广泛主题，从基础到前沿，从方法到应用，涉及从方法论到应用场景方方面面的内容。首先，本书介绍了人工智能领域的进展和趋势；其次，探讨了语言模型的基本概念和架构、Transformer、预训练目标和解码策略、上下文学习和轻量级微调、稀疏专家模型、检索增强型语言模型、对齐语言模型与人类偏好、减少偏见和有害性以及视觉语言模型等内容；最后，讨论了语言模型对环境的影响。

本书内容全面、系统性强，适合高年级本科生和研究生、博士后研究人员、讲师以及行业从业者阅读与参考。

资源目录

本书作者关注的不仅仅是过去和现在，里面也想激励读者展望未来，探索大语言模型的前沿领域：

• 未来几年我们可以期待哪些新的突破？

• 这些模型将如何发展并适应新的挑战和领域？

• 会出现哪些新的应用和用例？

下载当前版本： 完整版本链接获取，可以扫描下方二维码免费领取👇👇👇

第1章大语言模型：辩论、争论与未来发展方向

概述了 LLM 的辩论、争议和未来发展方向

第2章语言模型和分词

讨论了语言模型和分词的基础知识。

第3章深入阐释了 Transformer 架构。

第4章预训练目标和解码策略

深入分析了 LLM 的预训练，涉及预训练目标和解码策略。

第5章上下文学习和轻量级微调

探讨了这些模型的上下文学习和轻量级微调。

第6章训练更大的模型

讨论了扩大尺度法则、涌现能力、并行、混合训练和低精度训练，以实现训练更大的模型。

第7章介绍稀疏专家模型的概念，实现该模型的路由算法与其他改进措施。

第8章检索增强型语言模型

介绍检索增强型语言模型，包括预训练检索增强型语言模型、通过高效和精简检索进行问答和多跳推理、检索增强型 Transformer 等知识点。

第9章对齐语言模型与人类偏好

探讨对齐语言模型与人类偏好，说明了基于人类反馈、基于语言反馈、基于监督学习进行微调的方法。

第10章减少偏见和有害性

探讨了 LLM 如何帮助减少偏见和有害性，提出了检测与减少偏见及有害性的多种办法。

第11章视觉语言模型

将重点转移到视觉语言模型上，探讨如何将视觉信息整合到语言模型中。

第12章环境影响

阐释了 LLM 对环境的影响，并讨论了能源消耗、温室气体排放等问题。

下载当前版本： 完整版本链接获取，可以扫描下方二维码免费领取👇👇