简介

文章全面梳理了大语言模型(LLM)的发展历程，从20世纪中叶的图灵测试、ELIZA程序到现代GPT-4、Gemini等模型。详细介绍了Transformer架构、词嵌入、Seq2Seq等关键技术突破，以及LoRA、QLoRA等训练方法的创新。同时探讨了开源模型的兴起，如LLaMA、Falcon等，展示了LLM从早期理论到实际应用的完整演进历程，为读者提供了理解大模型发展的全面视角。

---

大语言模型，英文是 Large Language Models，简称为LLM。

在瞬息万变的技术世界中，一个迷人的概念已经吸引了科技爱好者的想象力和普通人的好奇心：大型语言模型(LLM)。这些人工智能的非凡壮举不仅可以理解人类语言，还可以生成与人类行为非常相似的文本。随着我们深入探索广阔的人工智能世界，掌握基础知识和推动我们走到这一步的最新突破至关重要。

无论您是想丰富自己对人工智能理解的爱好者，还是对日常接触的技术所依赖的人工智能感兴趣的人，这段探索大型语言模型领域及其历史起源的旅程都将是一次令人着迷的探险。

在踏上探索大型语言模型内部工作原理的征程时，我们必须认识到大语言模型在人工智能发展的历史中有着深厚的影响，可以追溯到20世纪中叶。

要了解人工智能的发展方向，我们必须回到过去，向众多像艾伦·马西森·图灵这样才华横溢的人致敬，是他们的开创性努力为我们今天看到的LLM格局奠定了基础。

什么是大型语言模型(LLM)？

大型语言模型是生成或嵌入式文本的基础模型（一种大型神经网络）。它们生成的文本可以通过为其提供起点或“提示”来进行调节，从而使其能够用自然语言或代码解决现实世界中有用的问题。

数据科学家和研究人员通过自监督学习，在大量非结构化数据上训练LLM。在训练过程中，模型接受缺少一个或多个单词的单词序列。然后，模型预测缺失的单词，这个过程不仅会为模型产生一组有价值的权重，还会为每个输入的单词产生一个嵌入。

在推理时，用户向LLM提供“提示”——模型用作起点的文本片段。首先，模型将提示中的每个标记转换为其嵌入。然后，它使用这些嵌入来预测可能跟随的所有可能标记的相对可能性。然后，它以半随机的方式选择下一个标记并重复此过程，直到模型选择STOP标记。

你可以把它想象成一条从零到一的数字线。从左边开始，大型语言模型会将标记的概率从大到小堆叠起来。该线的第一部分，从0到0.01，可能是“你好”。第二部分，从0.01到0.019，可能是“世界”，依此类推。然后，模型在该数字线上选择一个随机点并返回与其关联的标记。实际上，大型语言模型通常只将自己限制在具有相对较高可能性的标记上。这就是为什么当输入提示“我去看了纽约”时，例如，当GPT-3发布时，其生成的第一个标记几乎总是与该城市相关的运动队或表演场地。

大语言模型简史

•萌芽前的准备

大型语言模型是一种人工神经网络（算法），在短短几年内就从新兴发展到广泛应用。它们在ChatGPT的开发中发挥了重要作用，而ChatGPT是人工智能的下一个进化步骤。生成式人工智能与大型语言模型相结合，产生了更智能的人工智能。大型语言模型(LLM)基于人工神经网络，深度学习的最新改进支持了其发展。

大型语言模型还使用语义技术（语义学、语义网和自然语言处理）。大型语言模型的历史始于1883年法国语言学家米歇尔·布雷亚尔提出的语义概念。米歇尔·布雷亚尔研究了语言的组织方式、语言随时间的变化以及语言中单词的连接方式。目前，语义用于为人类开发的语言，例如荷兰语或印地语，以及人工智能编程语言，例如Python和Java。

然而，自然语言处理专注于将人类交流内容翻译成计算机能够理解的语言，然后再翻译回来。它使用能够理解人类指令的系统，使计算机能够理解书面文本、识别语音并在计算机和人类语言之间进行翻译 。 1906 年 至 1912 年 ， 费 迪南·德·索绪尔在日内瓦大学教授印欧语言学、普通语言学和梵语。

在此期间，他为语言系统这一高度实用的模型奠定了基础。他在1913年去世，没有整理和出版他的作品。幸运的是，索绪尔的同事、两位导师艾伯特·塞切海耶和查尔斯·巴利认识到索绪尔概念的潜力，并认为这些概念值得保存。这两位导师收集了他的笔记，以备将来的手稿之用，然后努力收集索绪尔学生的笔记。基于这些笔记，他们撰写了索绪尔的书，名为《通用语言学课程》（又译为《语言作为一门科学，最终演变为自然语言处理（NLP）》，并于1916年出版。语言作为一门科学奠定了结构主义方法以及后来的自然语言处理。

•加速孕育阶段

1943年，美国神经生理学家沃伦·麦卡洛克和认知心理学家沃尔特·皮茨发表了一项研究报告。研究名称为《神经活动中内在思想的逻辑演算》。在这项研究中，讨论了人工神经网络的第一个数学模型。该论文提供了一种以抽象术语描述大脑功能的方法，并表明连接在神经网络中的简单元素可以具有巨大的计算能力。在《神经活动中内在思想的逻辑演算》奠定了人工神经网络的基础，是现代深度学习的前身，其神经元的数学模型：M-P模型一直沿用至今。在不远的未来，以神经网络为基础思想的科学家们，会大大发展人工神经网络的成果。

如果说符号主义是利用逻辑学，自上而下的通过推理演绎的方式解决人工智能这个课题的话，人工神经网络则是利用神经科学，自下而上的通过模拟人脑思考的原理来解决人工智能这个课题。这些科学家们形成了人工智能中的另一个重要的派别，后世称其为“联结主义（Connectionists）”。

假设有人要求你设计出最强大的计算机。艾伦·图灵是计算机科学和人工智能领域的核心人物，自1954年他英年早逝后，他的声誉才得以提升。在我们所知的计算机出现之前的时代，他将自己的天才运用到解决此类问题上。他对这个问题和其他问题的理论研究仍然是计算、人工智能和现代加密标准（包括NIST推荐的标准）的基础。

二次世界大战期间，“Hut8”小组，负责德国海军密码分析。期间图灵设计了一些加速破译德国密码的技术，包括改进波兰战前研制的机器Bombe，一种可以找到恩尼格玛密码机设置的机电机器。图灵在破译截获的编码信息方面发挥了关键作用。图灵对于人工智能的发展有诸多贡献，图灵曾写过一篇名为《计算机器和智能》的论文，提问“机器会思考吗？”，作为一种用于判定机器是否具有智能的测试方法，即图灵测试。至今，每年都有试验的比赛。此外，图灵提出的著名的图灵机模型为现代计算机的逻辑工作方式奠定了基础。

图灵于1947年在伦敦的一次公开演讲中宣称，机器修改自身指令的潜力在大型语言模型领域具有重要意义。它强调了大型语言模型的适应能力、持续改进、解决各种问题的能力以及紧跟不断发展的语言趋势的能力。这个想法与大语言模型的动态性质完全吻合，使大语言模型能够在瞬息万变的语言环境中获取知识、进行调整并保持最新状态。

计算机在语言相关任务中的最早用途之一是机器翻译(MT)，即使用计算机来翻译语言。第二次世界大战期间，两位擅长破解敌方秘密密码的人（1964年）开始了首批使用计算机进行翻译的项目之一。此后，美国各研究机构在接下来的几年里开始研究这个想法。这标志着使用计算机进行语言翻译和理解的研究的开始，也是导致我们今天所拥有的技术的早期步骤之一。

•自然语言处理的开始

自然语言处理(NLP)的起源可以追溯到20世纪50年代，当时机器理解和处理人类语言的想法还处于起步阶段。正是在这个时代，IBM和乔治城大学（1954）的研究人员开始了一个开创性的项目。他们的目标是开发一个可以自动将一组短语从俄语翻译成英语的系统，这是最早的机器语言翻译项目之一。

然而，掌握自然语言处理的道路绝非易事。在接下来的几十年里，研究人员尝试了各种方法，包括概念本体和基于规则的系统。尽管他们尽了最大努力，但这些早期尝试都没有取得可靠的结果，这凸显了教机器掌握人类语言的复杂性。

如果你也想通过学大模型技术去帮助就业和转行，可以扫描下方链接👇👇
大模型重磅福利：入门进阶全套104G学习资源包免费分享！

•基于规则的模型

• 机器学习和跳棋游戏

IBM的亚瑟·塞缪尔开发了一个计算机程序下跳棋，在20世纪50年代初。他完成了一系列算法，使他的跳棋程序得以改进，并在1959年将其描述为“机器学习”。

• Mark1感知器使用神经网络

1958年，康奈尔航空实验室的弗兰克·罗森布拉特将赫布的神经网络算法模型与塞缪尔的机器学习工作相结合，创建了第一个人工神经网络，称为Mark1感知器。尽管语言翻译仍然是一个目标，但计算机主要是为数学目的而制造的（比语言混乱得多）。这些用真空管制造的大型计算机用作计算器，计算机和软件都是被定制的。感知器的独特之处还在于它使用了为IBM704设计的软件，并确定了类似的计算机可以共享标准化的软件程序。

在1960年MarkI感知机的开发和硬件建设中达到了顶峰。从本质上讲，这是第一台可以通过试错来学习新技能的计算机，它使用了一种模拟人类思维过程的神经网络。MarkI感知机被公认为人工智能的先驱，目前位于华盛顿特区的史密森尼

博物馆。MarkI能够学习、识别字母，并能解决相当复杂的问题。

1969年，明斯基和西摩·佩珀特出版了《感知机》一书，彻底改变人们对感知机的看法。不幸的是，Mark1感知器无法识别许多种基本的视觉模式（例如面部），导致期望落空，神经网络研究和机器学习投入也被消减。

• ELIZA使用自然语言编程

直到1966年，麻省理工学院的计算机科学家约瑟夫·魏森鲍姆开发了ELIZA，它被称为第一个使用NLP的程序。它能够从收到的输入中识别关键词，并以预先编程的答案做出回应。魏森鲍姆试图证明他的假设，即人与机器之间的交流从

从根本上说是肤浅的，但事情并没有按计划进行。为了简化实验并尽量减少争议，魏森鲍姆开发了一个程序，使用“积极倾听”，它不需要数据库来存储现实世界的信息，而是会反映一个人的陈述以推动对话向前发展。

尽管Eliza的功能相对有限，但它代表了该领域的一次重大飞跃。这个开创性的程序使用模式识别来模拟对话，将用户输入转换为问题并根据预定义规则生成响应。尽管Eliza远非完美，但它标志着自然语言处理(NLP)研究的开始，并为开发更高级的语言模型奠定了基础。

• SHRDLU-理解自然语言的软件诞生

1970年特里·维诺格拉德在麻省理工学院（MIT）创建了SHRDLU，为人工智能领域做出了杰出贡献。SHRDLU是一款旨在理解自然语言的创新软件。它主要通过电传打字机与用户进行对话，讨论一个称为“积木世界”的封闭虚拟环境。在这个世界中，用户可以通过移动物体、命名集合和提出问题进行交互。SHRDLU的突出之处在于它能够熟练地结合名词、动词和形容词等基本语言元素，尽管虚拟世界很简单，但它却能够熟练地理解用户指令。

•深度学习模型

1983年，辛顿发明玻尔兹曼机，后来，简化后的受限玻尔兹曼机被应用于机器学习，成为深度神经网络的层级结构基础。1986年，辛顿提出适用于多层感知机的误差反向传播算法（BP），这一算法奠定了后来深度学习的基础。辛顿每隔一段时间都能发明出新东西，而他也坚持写了两百多篇神经网络相关的论文，尽管这些论文不被待见。到了2006年，辛顿已经积累了丰富的理论和实践基础，而这一次，他发表的论文将改变整个机器学习乃至整个世界。

辛顿发现，拥有多个隐藏层的神经网络能够具有自动提取特征学习的能力，相比传统的手工提取特征的机器学习更有效果。另外，通过逐层预训练的方式可以降低多层神经网络的训练难度，而这解决了长期以来多层神经网络训练的难题。

辛顿将他的研究成果发表在两篇论文中，而当时神经网络一词被许多学术期刊编辑所排斥，有些稿件的标题甚至因为包含“神经网络”就会被退回。为了不刺激这些人的敏感神经，辛顿取了个新名字，将 该 模 型 命 名 为“深度信念网络”（Deep Belief Network）。

在20世纪90年代，卷积神经网络(CNN)被引入。CNN主要用于图像处理，但也可用于某些NLP任务，例如文本分类。人工智能和神经网络架构的这 些发 展，包括 感知 器(1960)、RNN、LSTM和CNN，共同塑造了自然语言处理和深度学习的格局，为理解和处理人类语言开辟了新的可能性。

1986年，循环神经网络(RNN)能够捕捉语言中的序列依赖关系，但它面临着长距离依赖关系和梯度消失的挑战。同时，在语言建模的早期，杰弗里·洛克·埃尔曼于1990年开发的循环神经网络语言模型(RNNLM)发挥了重要作用。该模型擅长识别序列中的短期单词关系，但在捕获长距离依赖关系时其局限性变得明显，促使研究人员探索替代方法。

除了RNNLM之外，该领域还出现了潜在语义分析(LSA)，它由朗道尔和杜迈斯于1997年提出。LSA利用高维语义空间来揭示文本数据中隐藏的关系和含义。虽然它提供了对语义关联的宝贵见解，但在处理更复杂的语言任务时遇到了某些限制。RNNLM和LSA的贡献以及其他具有影响力的里程碑共同塑造了语言建模取得重大进步的道路。

1997年，长短期记忆(LSTM)模型的推出改变了游戏规则。LSTM允许创建更深层、更复杂的神经网络，能够处理大量数据。门控循环单元(GRU)是深度学习和自然语言处理领域的一个显著新成员。GRU由Kyung-hyun Cho及其团队2014年是一种循环神经网络架构，采用门控机制来控制输入并忘记某些特征，类似于长短期记忆(LSTM)网络。然而，GRU与LSTM的在于，它们没有上下文向量或输出门，因此架构更简单，参数更少。研究表明，GRU在各种任务中的表现与LSTM相似，包括复音音乐建模、语音信号建模和自然语言处理。这一发现凸显了门控机制在循环神经网络中的价值，并促进了自然语言处理神经网络架构的持续进步。

• 图形处理单元(GPU)的诞生

在1999年推出第一款GPU（NvidiaGeForce256）之前，NLP模型完全依赖CPU进行推理。具有并行处理能力的GPU的引入将标志着一个关键的转变，因为它将允许高效执行NLP任务，从而能够处理以前仅靠CPU无法实现的大型文本数据集和复杂计算。这项GPU技术将彻底改变深度学习模型，并将在机器翻译和文本生成等任务方面取得重大进展。

• 词嵌入

此外，神经网络开始用于预测文本中的下一个单词。约书亚·本希奥等人（2003年）提出了第一个神经语言模型，使用一个隐藏层前馈神经网络和开创性的词嵌入。自从谷歌的Tomas Mikolov和他的团队于2013年推出Word2Vec以来，人们开始更多地使用神经网络来完成语言任务。这些词向量将单词表示为连续空间中的密集向量，标志着传统方法的转变，并显著改善了语言理解和单词间语义关系的建模。利用神经网络进行语言建模使系统能够预测句子中的下一个单词，超越了统计分析并产生了更复杂的语言模型。

• Seq2Seq模型

2015年，Bahdanau等人提出了序列到序列模型（Seq2Seq），这是一种神经网络，可以有效地将可变长度的输入序列映射到可变长度的输出序列。Seq2Seq模型架构由两个关键组件组成：编码器和解码器。编码器负责处理输入序列，产生一个固定长度的上下文向量，该向量封装了输入序列的含义。

解码器随后利用该上下文向量逐步生成输出序列。更详细地说，编码器通常采用循环神经网络(RNN)逐个元素处理输入序列，在每一步创建一个固定长度的隐藏状态向量。最后一个隐藏状态向量用作上下文向量并传递给解码器。

解码器通常也以RNN的形式实现，它采用上下文向量并按顺序生成输出序列。它通过为每个步骤的潜在输出元素生成概率分布，然后通过从该分布中采样来选择输出序列的下一个元素来实现这一点。然而，尽管Seq2Seq模型取得了成功，但它们也存在一定的局限性，尤其是在处理NMT任务中的较长序列时。当谷歌于2016年推出其“神经机器翻译”系统时，这些局限性就变得显而易见，这展示了深度学习在语言相关任务中的强大功能，并标志着机器翻译能力的重大进步。最终，2017年Google提出的Transformer架构的引入解决了Seq2Seq模型的许多缺点，从而显著提高了NMT性能。NMT技术的这种发展凸显了自然语言处理的动态性质以及对更有效解决方案的不断追求。

•百花齐放时代来临

从 传 统 的 序 列 到 序 列 模 型 到 开 创 性 的Transformer的演变重塑了大型语言模型的格局。Ashish Vaswani在2017年的论文《注意力就是你所需要的一切》中引入Transformer模型，带来了并行序列处理和捕获大型序列中广泛依赖关系的能力。关键创新在于它们使用了自注意力机制，能够无缝集成序列内所有位置的上下文信息，消除了对递归和卷积的需求，从而产生了更可并行化、训练速度更快的优质模型。

自注意力机制代表了一次重大飞跃，它允许模型关注输入序列的不同部分，并根据相关性分配不同的权重，即使单词相距很远。这一功能对于文本生成、语言翻译和文本理解等任务至关重要。

• GPT-1

2018年，OpenAI推出了他们的第一个大型语言模型GPT-1。这是谷歌在2017年创建了一种名为“Transformer”的新型计算机程序结构之后推出的。OpenAI在一篇名为《通过生成式预训练提高语言理解能力》的论文中分享了他们的工作。这

篇论文不仅介绍了GPT-1，还介绍了生成式预训练Transformer的概念。

• BERT

2018年，谷歌推出了Transformer双向编码器表示(BERT)，这是一个重大突破，凸显了预训练模型的潜力。BERT代表了一种革命性的方法，它涉及在大量文本数据上训练广泛的Transformer模型，并针对特定任务对其进行微调，标志着语言建模新时代的到来。

BERT的影响是深远的，因为它在各种自然语言理解任务（包括问答和情感分析）中建立了新标准。这标志着从僵化、特定于任务的模型转向更具适应性和可迁移性的全新模型。通过在预训练期间利用大量可用的文本数据，BERT深入了解了语言的微妙之处和上下文关系，重塑了自然语言处理的格局。

• GPT-2

OpenAI于2019年推出了GPT-2，这标志着LLM领域的一个转折点。GPT-2拥有15亿个参数，展示了生成式模型的巨大潜力。该模型具有准确预测序列中下一个元素的一般能力。然而，对滥用的担忧导致了谨慎的发布策略。该模型能够生成连贯且上下文丰富的文本，证明了深度学习和NLP的快速进步。同时，百度ERNIE、XLNet、XLMERT（微软）、RoBERTa（Facebook）等模型出现在LLM领域，开创了自然语言处理可能性和能力的新时代。

•巨型模型兴起及大语言模型爆炸式增长

2020年，OpenAI发布了GPT-3，这是一款拥有1750亿个参数的大型LLM。GPT-3突破了LLM的极限。它在语言翻译和文本完成、编码辅助和交互式讲故事等任务中表现出色。它的“few-shot”和“zero-shot”学习能力非常出色，使其能够用最少的训练示例执行任务。GPT-3引入了“提示工程”的概念，使用户能够根据自己的需求调整其响应 。 其 他 型 号 如 Megateron(Nvidia) 、Blender(Facebook)、T5(Google)和Meena(Google)也在当年推出。

2021年，LLM社区因引入各种新模式而热闹非凡： Transformer-X （ 谷 歌 ） 、 GPT-Neo（Eleuther AI）、XLM-R（Facebook）、LaMDA（谷歌）、Copilot（GitHub）、GPT-J（EleutherAI）、Jurassic-1（AI21）、Megatron-TuringNLG、Codex（OpenAI）、WebGPT（OpenAI）和BERT2（谷歌）。每个模型都有其独特的优势，为不断发展的NLP领域做出了贡献，但名为LoRA的训练技术却吸引了人们的注意力。

• LoRA

低秩自适应(LoRA)是一种突破性的训练方法，旨在加快大型语言模型的训练，同时节省内存资源。LoRA将秩分解权重矩阵（称为更新矩阵）引入现有模型权重，并将训练工作完全集中在这些新增加的权重上。这种方法有两个明显的优势：

首先，预训练模型的权重保持不变，降低了灾难性遗忘的风险。其次，LoRA的秩分解矩阵的参数明显较少，使得训练后的LoRA权重易于迁移。

• QLoRA

紧接着一种突破性的方法问世，可以加速量化模型的微调，同时保持其性能。这项创新被称为QLoRA（量化低秩自适应），它为大型语言模型领域带来了范式转变。QLoRA以LoRA（低秩自适应）为基础，通过引入一系列新技术将其提升到新的水平，这些技术不仅可以减少内存需求，还可以提高微调过程的效率。就像厨师将食谱数字化以节省空间同时保留进行调整的能力一样，QLoRA使研究人员和开发人员能够有效地微调大型语言模型，即使在计算资源有限的情况下也是如此。

从本质上讲，QLoRA利用了多项关键创新，包括NormalFloat(NF4)、DoubleQuantization,和PagedOptimizers,，这些创新共同实现了对大规模模型的微调，同时保持了性能。这一重大突破使大型语言模型微调变得民主化，使小型研究团队能够使用它，并预示着自然语言处理的新可能性。

随着我们继续突破该领域的可能性界限，QLoRA无疑将在塑造NLP的未来方面发挥关键作用。

• Lamda

Lamda （ 对 话 应 用 语 言 模 型 ） 是 GoogleBrain于2021年发布的LLM系列。Lamda使用了仅解码器的转换器语言模型，并在大量文本语料库上进行了预训练。2022年，当时的谷歌工程师Blake Lemoine公开声称该程序具有感知能力，Lamda引起了广泛关注。它建立在Seq2Seq架构上。

•开源模型的兴起

2022年，开源大型语言模型(LLM)领域经历了重大变革，一些先驱模型引领了潮流。EleutherAI的创作GPT-NeoX-20B是最早的开源LLM之一。尽管它的规模较小（与GPT-3等专有模型相比，它有200亿个参数），但它通过RoPE嵌入和并行注意层等创新产生了影响。它的自定义标记器可有效进行代码标记化，并在各种开源模型中得到采用。

Meta AI的开放式预训练Transformers(OPT)计划旨在使LLM的获取更加民主化。OPT提供不同大小的模型，在精选数据集上进行预训练，并提供开源训练框架。

虽然OPT模型的表现并不优于专有模型，但它们在使LLM更易于研究和提高训练效率方面发挥了关键作用。

BLOOM是一个包含1760亿个参数的LLM，它诞生于1000多名研究人员历时一年的大规模协作。它使用多语言文本数据集ROOTS语料库进行训练。尽管BLOOM在各种基准测试中都具有竞争力，并且在机器翻译任务中表现出色，但在某些方面仍然落后于专有模型。GPT-J和GLM等著名模型也取得了成功，为开源LLM领域的进一步发展奠定了基础。2022年标志着语言模型领域向开放可访问性和协作研究的重大转变。

• LoRA

低秩自适应(LoRA)是一种突破性的训练方法，旨在加快大型语言模型的训练，同时节省内存资源。LoRA将秩分解权重矩阵（称为更新矩阵）引入现有模型权重，并将训练工作完全集中在这些新增加的权重上。这种方法有两个明显的优势：

首先，预训练模型的权重保持不变，降低了灾难性遗忘的风险。其次，LoRA的秩分解矩阵的参数明显较少，使得训练后的LoRA权重易于迁移。

GPT-4的问世

2023年，OpenAI发布了GPT-4，在大型语言模型(LLM)领域迈出了开创性的一步。GPT-4是一个庞大的多模态模型，拥有约一万亿个参数。从这个角度来看，GPT-4比其前身GPT-3大约五倍，比原始BERT模型大3,000倍。这一规模和容量上的巨大飞跃改变了LLM领域的格局，使其能够一次性处理多达50页的文本。

要真正了解GPT-4的演变，了解这些模型的时间顺序至关重要。近年来，我们见证了几个值得关注的LLM的发展，它们为当前的技术水平做出了贡献。这些模型为GPT-4的出现铺平了道路，它们反映了开源LLM研究的充满活力和生机勃勃的前景。

• SOTA开源模型集

这一演变的关键时刻之一是2023年2月MetaAI推出LLaMA。LLaMA是人工智能领域的一项突破性进展。其重要性在于它作为Meta向公众发布的基础大型语言模型。LLaMA的重要性可以从几个角度来理解：它通过提供更易于访问且性能更高的大型语言模型替代方案，使人工智能研究的访问变得民主化，减少了人工智能实验所需的计算资源，并为更多开源计划（如Alpaca、Vicuna、Dolly、WizardLM）奠定了基础。此外，LLaMA用途广泛，可以针对各种应用进行微调，解决偏见和歧视等人工智能挑战，同时通过受控访问坚持负责任的人工智能实践。

继LLaMA之后，MosaicML的MPT套件提供了开源LLM的商业可用替代方案。初始版本MPT-7B引起了广泛关注，随后是更大的MPT-30B模型。这些模型提供了质量和商业可行性的精彩融合，拓展了开源LLM应用的视野。

另一个值得注意的进展是FalconLLM套件，其性能可与专有模型相媲美。Falcon-7B和Falcon-40B虽然是商业是可行的，结果表现也相当出色。这些模型挑战了有关数据质量的传统观念，表明在经过精心过滤和重复数据删除的网络数据上训练的模型可以与在精选来源上训练的模型相媲美。

LLaMA-2模型套件通过缩小开源和闭源LLM之间的差距标志着另一个重要里程碑。LLaMA-2的参数大小从70亿到700亿不等，并在2万亿个token的海量数据集上进行预训练，突破了开源模型性能的界限。

大型语言模型(LLM)领域最显著的进步之一是Zephyr7B模型，它是Mistral-7B-x0.1的微调版本。Zephyr7B拥有卓越的功能，这主要归功于它利用了精炼直接偏好优化(dDPO)和AI反馈(AIF)，使其能够与用户意图紧密结合。值得注意的是，该模型的性能不仅创下了新基准，而且令人印象深刻的是，在聊天基准测试中甚至超越了备受推崇的Llama2-Chat-70B，展示了其实力。

Zephyr7B真正与众不同之处在于其卓越的效率。该模型以惊人的速度实现了卓越的性能，仅需几个小时的训练。值得注意的是，这种效率是在无需人工注释或额外采样的情况下实现的，使其成为利用技术简化模型开发流程的出色范例。

Zephyr7B的创新方法将传统的蒸馏监督微调(dSFT)与偏好数据相结合，展示了融合各种技术的潜力，以创建一个重新定义自然语言理解和生成领域可实现的边界的模型。

• Orca

Orca由微软开发，拥有130亿个参数，这意味着它足够小，可以在笔记本电脑上运行。它旨在通过模仿LLM实现的推理过程来改进其他开源模型所取得的进步。Orca以明显更少的参数实现了与GPT-4相同的性能，并且在许多任务上与GPT-3.5相当。Orca建立在130亿个参数版本的LLaMA之上。

• Gemini

Gemini是Google在2023年6月发布的，为该公司的同名聊天机器人提供支持。该模型取代了Palm为聊天机器人提供支持，在模型切换后，聊天机器人从Bard更名为Gemini。Gemini模型是多模态的，这意味着它们可以处理图像、音频和视频以及文本。Gemini还集成在许多Google应用程序和产品中。它有三种尺寸——Ultra、Pro和Nano。Ultra是最大、功能最强大的模型，Pro是中端模型，Nano是最小的模型，专为提高设备上任务的效率而设计。Gemini在大多数评估基准上都优于GPT-4。

2024年2月9日，谷歌宣布GeminiUltra可免费使用，16日发 布Gemini1.5，21日发布 开源模 型Gemma。Gemma采用了与Gemini相同的技术和基础架构，基于英伟达GPU和谷歌云TPU等硬件平台进行优化，有20亿、70亿两种参数规模。每种规模都有预训练和指令微调版本，使用条款允许所有组织（无论规模大小）负责任地进行商用和分发。谷歌介绍，Gemma模型与其规模最大、能力最强的AI模型Gemini共享技术和基础架构。

2024年6月28日，谷歌宣布面向全球研究人员和 开 发 者 发 布Gemma2大 语 言 模 型。据介绍，Gemma2有90亿（9B）和270亿（27B）两种参数大小，与第一代相比，其性能更高、推理效率更高，并且内置了显著的安全改进 。 谷歌称 ，Gemma227B的性能比大其两倍的同类产品更具竞争力；9B的性能也处于同类产品领先水平，优于Llama38B和其他开放模型。

• Gork

2023年11月5日，马斯克旗下xAI团队发布其首个AI大模型产品——Grok。据介绍，Grok通过X平台实时了解世界，还能回答被大多数其他AI系统拒绝的辛辣问题。2024年4月15日xAI的多模态模型Grok-1.5V发布，不仅多项基准测试超越GPT-4V，而且看懂梗图写Python代码也都不在话下。并且，为了评估模型对于真实世界的空间理解，xAI此次还推出了新基准RealWorldQA。2024年8月13日，马斯克旗下xAI正式发布语言模型Grok-2早期预览版，该系列模型具有聊天、编码和推理等功能，包括Grok-2和Grok-2mini两个版本。

• GPT-4o

GPT-4o是由OpenAI训练的多语言、多模态（多种类型数据，例如文本、图像、音频等）GPT大型语言模型。GPT-4o于2024年5月13日发布。该模型比其前身GPT-4快两 倍，而 价 格 仅 为 其50%。GPT-4Omni（GPT-4o）是OpenAI的GPT-4继任者，与之前的模型相比有多项改进。GPT-4o为ChatGPT创造了更自然的人机交互，是一个大型多模态模型，接受音频、图像和文本等各种输入。对话让用户可以像在正常的人类对话中一样参与，实时互动还可以捕捉情绪。GPT-4o可以在交互过程中查看照片或屏幕并提出相关问题。GPT-4o的响应时间仅为232毫秒，与人类的响应时间相似，比GPT-4Turbo更快。GPT-4o模型是免费的，将提供给开发者和客户产品。

OpenAIo1，是OpenAI发布的推理模型系列。该模型在回答问题前会进行深入思考，并生成一条内部推理链，使其在尝试解决问题时可以识别并纠正错误，将复杂的步骤分解为更简单的部分，并在当前方法无效时尝试不同的途径。OpenAIo1包括三个型号，除o1-preview之外还将有o1和o1-mini。

从二战期间机器翻译的早期发展，到GPT-4o等强大模型的出现，再到LLaMA等开源计划的出现，我们见证了人工智能和自然语言处理领域的深刻变革。时间轴见证了人类的智慧、奉献和协作。我们见证了从基于规则的模型到统计方法的转变，以及最终改变游戏规则的Transformer架构的引入，这使得GPT-4o等模型成为可能。在此过程中，BERT和Seq2Seq

等模型留下了自己的印记，重新定义了我们理解语言的方式。LoRA和QLoRA等最新创新有望使大型语言模型微调变得民主化，为更多研究人员和开发人员打开大门。

我们已经走了很长一段路，但前进的道路同样令人兴奋。展望未来，我们必须时刻牢记道德考量、可访问性和负责任的人工智能发展。我们可以共同努力，继续塑造一个语言模型赋能并连接全球人民的世界。我们希望这次探索能让您更深入地了解语言模型的历史和潜力。当我们探索这个激动人心的人工智能领域时，让我们记住，旅程还远未结束，可能性无穷无尽。

AI大模型从0到精通全套学习大礼包

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

只要你是真心想学AI大模型，我这份资料就可以无偿共享给你学习。大模型行业确实也需要更多的有志之士加入进来，我也真心希望帮助大家学好这门技术，如果日后有什么学习上的问题，欢迎找我交流，有技术上面的问题，我是很愿意去帮助大家的！

如果你也想通过学大模型技术去帮助就业和转行，可以扫描下方链接👇👇
大模型重磅福利：入门进阶全套104G学习资源包免费分享！

01.从入门到精通的全套视频教程

包含提示词工程、RAG、Agent等技术点

​

02.AI大模型学习路线图（还有视频解说）

全过程AI大模型学习路线

​

03.学习电子书籍和技术文档

市面上的大模型书籍确实太多了，这些是我精选出来的

04.大模型面试题目详解

05.这些资料真的有用吗?

这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。

所有的视频由智泊AI老师录制，且资料与智泊AI共享，相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念‌，通过动态追踪大模型开发、数据标注伦理等前沿技术趋势‌，构建起"前沿课程+智能实训+精准就业"的高效培养体系。

课堂上不光教理论，还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事‌！

如果说你是以下人群中的其中一类，都可以来智泊AI学习人工智能，找到高薪工作，一次小小的“投资”换来的是终身受益！

应届毕业生‌：无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。

零基础转型‌：非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界‌。

业务赋能 ‌突破瓶颈：传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型‌。

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓