引言

大语言模型(LLM)用于理解和生成自然语言和编程语言的人工智能模型。它可以帮助完成适用程度和成本效率不同的各种任务。本文通过测试来自同一基础模型的多个独立模型,以找到最佳的大语言模型。

这一技术领域发展迅猛,尽管本文已尽可能保持时效性,也还是需要读者随时关注最新发布的模型,根据成本效益判断该模型是否更佳。

2024年度最佳大语言模型

1. 综合评估最佳:OpenAI的GPT

官方网站:https://openai.com/

图片来源:Unsplash

基于转换器(Transformer)的生成式预训练模型(Generative pre-trained transformer, GPT),是目前让科技公司的大语言模型得以投放到市场上的基础模型之一。虽然目前有几种不同类型的GPT可用,但第一个,也可以说是最知名的,是OpenAI在2018年推出的GPT-1。

OpenAI是GPT开发的引领者,已在过去几年发布了几个不同的版本供公众使用。虽然每次改版都更智能且功能更多样,但也伴随性能降低、响应速度变慢和使用成本增加等问题。GPT-3.5响应快速且价格实惠,但经常出错;而GPT-4虽改善了模型功能和智能程度,但使用成本增加,响应速度变慢。不过,最新版本GPT-4o逆势而上,成为迄今为止最为智能的版本,并大大降低了使用成本,同时提高了响应速度。

需要注意的是,与目前市场上的所有大语言模型一样,GPT模型也不可避免地会出现错误、歧义或误导等问题。虽然最新版本准确度更高,不太可能生成错误回复,但用户还是应该谨慎参考,另行验证其准确性。

2. 最佳编程助手:GitHub Copilot

官方网站:https://github.com/features/c

opilot

图片来源:Copilot

GitHub是目前最大且最知名的开发者平台之一。许多用户和企业使用它来存储、管理和共享代码库,因此他们创建了一个编程的大语言模型,以帮助开发者提高工作速度和效率。GitHub Copilot是由OpenAI的GPT-4模型驱动的编程助手,可在常用的集成开发环境(integrated development environment, IDE)中通过安装插件使用,如Visual Studio Code, Visual Studio, Vim, Neovim, JetBrains的IDE和Azure Data Studio。此外,与其他编程助手不同,GitHub Copilot能够原生集成到GitHub。

最引人注目的功能之一是GitHub Copilot能够使用提示来生成代码,这些代码可以是全新的,也可以基于项目现有的代码库,通过建议整个代码块或在键入时自动填充代码。GitHub表示,该模型已经使用开源代码库(包括GitHub的开源代码库)的源代码进行了训练,并声称GitHub Copilot可以支持开源代码库中出现的任何语言。然而,GitHub也提到,GitHub Copilot的建议的质量取决于该语言可用的训练数据量。也就是说,在使用模糊或较少使用的编程语言时,虽然GitHub Copilot也会提供建议,但质量不如更常见的语言。

3. 最有价值:Meta LLama 3

官方网站:https://llama.meta.com/

图片来源:Meta

Meta被列为全球五大科技公司之一,一直在开发自己的大语言模型,以支持其产品、大小型企业,以及学术研究等应用。Llama的初始版本于2023年2月发布,但仅限学术界、政府部门和研究团队用于特定需求。随后,Llama 2和Llama 3先后发布于2023年7月和2024年4月。与其他竞品相比,Llama 3在成本效益方面极具竞争力,这也是其一大卖点。虽然功能可能不及GPT-4o,但它仍是性能非常强大的模型,能用较少成本实现GPT-4o中的部分功能。

Meta正在开发更加庞大的Llama 3-400B,其首席人工智能科学家杨乐春(Yann LeCun)认为,一旦发布,它将成为世界上最强大的大语言模型之一。

4. 商务领域最佳:Claude 3

官方网站:https://www.anthropic.com/cl

aude

图片来源:Anthropic

Claude 3发布于2024年3月,是Anthropic的大语言模型Claude的最新版本。该版本基于2023年7月发布的Claude 2 进行改善。Claude 3有Haiku,Sonnet和Opus三个版本,每个版本的性能和成本都有所不同。

Anthropic称,作为Claude 3中最昂贵的版本,Claude 3 Opus除了擅长处理大数据之外,还是目前市场上最智能的模型,可基于被赋予的任务展现出一定程度的认知能力。

在一项测试中,工程师Alex Albert要求Claude 3 Opus从随机的文档集合里找出隐藏的特定句子,这简直是“大海捞针”。可Claude 3 Opus不仅找到了“针”,还指出目标句子在文中的位置欠妥,从而推测该句子是为了测试才被放在这里。这到底是因为Claude 3 Opus真的有认知能力,还是它不过在试图模仿人类的智慧?我们仍不得而知。但大语言模型有如此超常的认知水平仍令人十分震惊。

颇高的成本导致Claude 3 Opus缺乏一定的竞争力。Claude 3 Opus通过其API每百万个输出符号的成本为75美元,这比GPT-4 Turbo的30美元或Llama 3的0.9美元要高得多。虽然Claude 3的Haiku和Sonnet版本价格更便宜且响应速度更快,但它们的智能水平相对较低。

5. 最适合当聊天机器人:Qwen

官方网站:https://qwen.readthedocs.io/z

h-cn/latest/index.html#

图片来源:Qwen

阿里巴巴于2024年2月发布了大语言模型Qwen-1.5,目标是在成本和性能方面均可与谷歌的Gemini和Meta的Llama相媲美。除了基础模型外,阿里巴巴还发布了针对聊天场景优化的Qwen-1.5-chat模型。

Qwen-1.5是可免费下载的开源模型,还提供与各种设备兼容的不同大小版本。Qwen-1.5 chat功能最强大的版本有720亿个参数,最小版本有5亿个参数。Qwen-1.5的输入符号(token)限制为32K(14B模型限制为8K),与GPT-4持平,远高于Llama 2的4096个token,这在市面上的大语言模型中属于较高的输出限制。

在基准测试中,Qwen-1.5在大多数场景中稳超Llama 2,同时在与GPT-4的对比中也取得了有竞争力的表现。Qwen-1.5能以较低成本提供接近GPT-4的能力,还能通过自定义数据集进行微调,以适应特定的使用需求。

在客户支持场景中,Qwen-1.5能够比传统的基于关键词或规则的聊天机器人更理解客户可能遇到的问题,从而提高首次联系解决率,并将更复杂或高级的问题升级到二线支持代理。Qwen-1.5能使用35种语言进行交流,可提供超过150种语言的翻译服务。

6. 最佳多模式综合体:GPT-4o

官方网站:https://openai.com/index/hell

o-gpt-4o/

图片来源:OpenAI

OpenAI是目前最知名的大语言模型公司之一,已发布的模型包括图像生成工具DALL-E和基于GPT-3.5和GPT-4的聊天机器人ChatGPT。

OpenAI的最新产品GPT-4o发布于2024年5月,该模型通过添加文本、图像和音频集成,扩展了GPT-4 Turbo的多模态功能,同时进一步降低了成本,能够承担多维任务。OpenAI称,与GPT-4 Turbo相比,GPT-4o的运行速度是其两倍,成本是其一半,并且具有五倍的速率上限。

GPT-4o中最重要的升级之一是语音模式,它允许模型实时处理音频,并以人类的声音输出逼真的、语调合适的响应,用户仿佛在与真人聊天。此外,GPT-4o可以利用相机来分析周围的环境,以添加语境。OpenAI在GPT-4o发布公告的同时,以视频形式演示了音频模式和视觉功能,但这些功能还不能被广泛使用。

7. 最佳翻译:Google Gemini

官方网站:https://gemini.google.com/

图片来源:Google

Gemini 1.5发布于2024年2月,其初始版本为Gemini大语言模型。截至2024年5月,可供使用的Gemini 1.5 包括Pro和Flash两个版本。

Gemini不是翻译引擎,但可以通过访问谷歌翻译的多语言训练数据,再利用自身的大语言模型功能,以获取更自然流畅的译文。这种结合意味着Gemini 1.5可以为谷歌翻译的所有语言提供翻译服务。不过,其译文的流畅度取决于模型的多语言训练数据的水平,这也是其他大语言模型的限制所在。虽然其他大语言模型,如GPT-4o,也提供了一些翻译功能,但Gemini 1.5 的优势在于成本更低。

Gemini 1.5 Pro可限量免费使用。若输入超过一百万个token且获取更高速率,则需要用户订购。

如何选择合适的大语言模型

如何选择适合自己的大语言模型,最主要取决于性价比。虽然ChatGPT-4o的性能非常出色,几乎涵盖其他所有大语言模型能完成的任务,但成本较高。Claude 3虽然不像Copilot那样专门使用编程数据进行训练,但其编写代码的能力也相当出色。其次,要考虑数据的访问权限和拥有权。用户可通过OpenAI创建助手来训练自己的聊天机器人,但最终还是会用到OpenAI。若使用开源模型,用户可以保留数据并完全拥有自己的训练模型。

术语表

  1. 大语言模型 Large Language Model,LLM

  2. 生成式预训练机器学习模型 The Generative Pre-trained Transformer,GPT

  3. 集成开发环境 Integrated Development Environment,IDE

2024最新版CSDN大礼包:《AGI大模型学习资源包》免费分享**

一、2025最新大模型学习路线

一个明确的学习路线可以帮助新人了解从哪里开始,按照什么顺序学习,以及需要掌握哪些知识点。大模型领域涉及的知识点非常广泛,没有明确的学习路线可能会导致新人感到迷茫,不知道应该专注于哪些内容。

我们把学习路线分成L1到L4四个阶段,一步步带你从入门到进阶,从理论到实战。

L1级别:AI大模型时代的华丽登场

L1阶段:我们会去了解大模型的基础知识,以及大模型在各个行业的应用和分析;学习理解大模型的核心原理,关键技术,以及大模型应用场景;通过理论原理结合多个项目实战,从提示工程基础到提示工程进阶,掌握Prompt提示工程。

L2级别:AI大模型RAG应用开发工程

L2阶段是我们的AI大模型RAG应用开发工程,我们会去学习RAG检索增强生成:包括Naive RAG、Advanced-RAG以及RAG性能评估,还有GraphRAG在内的多个RAG热门项目的分析。

L3级别:大模型Agent应用架构进阶实践

L3阶段:大模型Agent应用架构进阶实现,我们会去学习LangChain、 LIamaIndex框架,也会学习到AutoGPT、 MetaGPT等多Agent系统,打造我们自己的Agent智能体;同时还可以学习到包括Coze、Dify在内的可视化工具的使用。

L4级别:大模型微调与私有化部署

L4阶段:大模型的微调和私有化部署,我们会更加深入的探讨Transformer架构,学习大模型的微调技术,利用DeepSpeed、Lamam Factory等工具快速进行模型微调;并通过Ollama、vLLM等推理部署框架,实现模型的快速部署。

整个大模型学习路线L1主要是对大模型的理论基础、生态以及提示词他的一个学习掌握;而L3 L4更多的是通过项目实战来掌握大模型的应用开发,针对以上大模型的学习路线我们也整理了对应的学习视频教程,和配套的学习资料。

二、大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的,我们精选了一系列深入探讨大模型技术的书籍和学习文档,它们由领域内的顶尖专家撰写,内容全面、深入、详尽,为你学习大模型提供坚实的理论基础(书籍含电子版PDF)

三、大模型视频教程

对于很多自学或者没有基础的同学来说,书籍这些纯文字类的学习教材会觉得比较晦涩难以理解,因此,我们提供了丰富的大模型视频教程,以动态、形象的方式展示技术概念,帮助你更快、更轻松地掌握核心知识

四、大模型项目实战

学以致用 ,当你的理论知识积累到一定程度,就需要通过项目实战,在实际操作中检验和巩固你所学到的知识,同时为你找工作和职业发展打下坚实的基础。

五、大模型面试题

面试不仅是技术的较量,更需要充分的准备。

在你已经掌握了大模型技术之后,就需要开始准备面试,我们将提供精心整理的大模型面试题库,涵盖当前面试中可能遇到的各种技术问题,让你在面试中游刃有余。


因篇幅有限,仅展示部分资料,需要点击下方链接即可前往获取

2024最新版CSDN大礼包:《AGI大模型学习资源包》免费分享

Logo

Agent 垂直技术社区,欢迎活跃、内容共建。

更多推荐