• 标题：AgentReview: Exploring Peer Review Dynamics with LLM Agents

• github网站：https://AgentReview.github.io

摘要总结

同行评审是科学出版完整性和发展的基础。传统的同行评审分析方法往往依赖对现有同行评审数据的探索和统计，这不足以充分解决过程的多变量特性，无法考虑潜在变量，并且由于数据的敏感性而受到隐私问题的进一步限制。本文介绍了AgentReview，这是第一个基于大型语言模型（LLM）的同行评审模拟框架，能够有效拆解多个潜在因素的影响，并解决隐私问题。我们的研究揭示了重要的洞察，包括由于评审者偏见导致的论文决定变化达37.1%，这得到了社会影响理论、利他主义疲劳和权威偏见等社会学理论的支持。我们相信，这项研究可以为改善同行评审机制的设计提供有价值的见解。

论文精读

研究背景

1. 研究问题：这篇文章要解决的问题是如何在保护审稿人隐私的前提下，通过大规模语言模型（LLM）代理模拟同行评审过程，揭示影响同行评审结果的多重潜在因素。

2. 研究难点：该问题的研究难点包括：同行评审过程的多变量性质、难以测量的潜在变量以及数据隐私问题。

3. 相关工作：该问题的研究相关工作包括对现有同行评审数据的分析和统计，但这些方法未能充分考虑过程的多元性、潜在变量和数据隐私问题。

研究方法

这篇论文提出了AGENTREVIEW，第一个基于LLM的同行评审模拟框架。具体来说，

• 框架概述：AGENTREVIEW通过集成LLM代理和基于代理的建模来模拟同行评审过程。该框架包括审稿人、作者和领域主席（AC）三个角色，所有角色均由LLM代理驱动。

• 评审过程设计：使用一个结构化的五阶段管道来模拟同行评审过程：

• 评审人评估：每个评审人独立评估稿件，生成包含四个部分（重要性与创新性、接受理由、拒绝理由和改进建议）的评论。

• 作者-评审人讨论：作者在评审人-AC讨论期间回应初始评论。

• 评审人-AC讨论：AC发起讨论，要求评审人重新考虑初始评分并更新评论。

• 元评审编写：AC综合讨论、反馈和自己的观察，编写元评审。

• 论文决定：AC审查所有元评审，做出接受或拒绝的决定。

• 数据选择：使用ICLR会议的真实提交数据，确保模拟评论与现实场景紧密相关。数据选择标准包括会议的国际影响力、论文的公开可用性、质量分布和时间跨度。

• 基线设置：建立一个没有特定LLM代理特征的基线设置，以便测量单个变量变化的影响。

实验设计

1. 数据收集：从ICLR会议的真实提交中检索2020年至2023年的论文数据，涵盖口头报告、亮点、海报和拒绝四类论文。

2. 样本选择：采用分层抽样技术从每类论文中选择样本，最终得到350篇拒绝论文、125篇海报、29篇亮点和19篇口头报告论文。

3. 参数配置：在实验中，逐步替换正常评审人为负责任或不负责任的评审人，并分析其对评审结果的影响。

结果与分析

• 评审人的作用：

• 社会影响力：评审人在反驳后通常会调整评分以与同伴保持一致，导致评分的标准差显著下降。

• 利他主义疲劳和同伴效应：一个不负责的评审人可以导致所有评审人的承诺显著下降。

• 群体思维和回音室效应：有偏见的评审人通过互动放大彼此的负面意见，导致评分下降。

• 权威偏见和晕轮效应：评审人倾向于认为知名作者的稿件更准确，当所有评审人知道作者身份的比例为10%时，决策变化显著。

• 锚定偏见：反驳阶段对最终结果的影响较小，可能是由于评审人过于依赖初步印象。

  

• 领域主席的作用：

• 包容性AC：最能与基线保持一致，有效整合多样化观点。

• 权威AC：决策与基线相关性较低，可能受个人偏见影响。

• 顺从AC：尽管与评审人评价高度语义重叠，但可能缺乏独立判断。

  

• 作者匿名性的影响：

• 权威偏见：评审人更倾向于给知名作者的稿件好评。

  

• 同行评审机制的影响：

• 反驳的影响：取消反驳阶段对最终决定影响较小，可能是由于锚定偏见。

• 整体评分的影响：取消整体评分显著改变了决策格局，可能导致不同的决定。

角色和提示词示例

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】