---

1 引言

在此介绍一位参与openai面试的工程师的一些记录，他的博客在：OpenAI ML Engineer Interview Questions 2025

“如果你终于获得了 OpenAI 的面试机会——我们每天都在使用的 ChatGPT，现在你有机会以机器学习工程师的身份参与其中，那会怎么样？”

OpenAI ML 工程师面试问题 2025

在接下来的几天里，我的思绪一直在兴奋和焦虑之间徘徊。

• “如果我搞砸了数据结构与算法怎么办？”
• “如果他们问我关于扩展大型语言模型（LLM）评估的问题，我却一片空白怎么办？”
• “如果我根本不够优秀怎么办？”

但随后另一个声音响起：“你为这一刻已经准备多年了。每一个 Kaggle 笔记本，每一个生成式人工智能（GenAI）副项目，每一个深夜调试会话——所有这些都累积起来了。”

1.1 准备模式

我知道这不会是一次典型的机器学习面试。OpenAI 的问题都是前沿的：扩展大型语言模型、嵌入模型、生产规模评估、缓解幻觉。所以我的准备工作是高度集中的：

• 深入研究 LLM 评估 → 阅读关于 G-Eval、LLM-as-a-Judge、成对比较的文章。
• 嵌入模型 → 向量搜索、漂移检测和优化检索管道。
• 机器学习系统设计 → 如何以低延迟和低成本部署一个 70B 参数的模型。
• 硬核练习 → Leetcode 进行模式化数据结构与算法练习，模拟机器学习系统设计白板演示，甚至大声向自己解释概念。

准备模式——为 FAANG/MAANG 努力学习

我还每天写日记——写下可能的面试问题并起草答案，就像我已经坐在面试席上一样。这个习惯让我 在实际面试之前就感受到了面试。

1.2 面试前夜

我几乎没睡。我的笔记本上画满了各种架构图——检索管道、推理分片、评估循环。我的桌子上贴满了便签，上面写着：

• “要有条理。”
• “不要急。”
• “大声思考。”

午夜时分，我终于合上笔记本，默默祈祷，并提醒自己：“无论明天发生什么，你已经走到这一步了。”

2 面试开始

然后……时间到了。会议链接在我的屏幕上闪烁。我戴上耳机，检查了两次网络，然后深吸一口气。

“就是现在——面试开始了。”

2.1 第一轮面试：第一题

Zoom 屏幕闪烁了一下，我的第一轮面试官加入了。他有一种平静而敏锐的气质——显然是一位对机器学习系统层面有深入了解的人。简短的介绍后，他微笑着直接进入主题：

问题 1： “假设你已经部署了一个基于嵌入的检索系统。随着时间的推移，你注意到检索相关性下降了，即使输入没有显著变化。你将如何检测嵌入漂移？你会跟踪哪些指标，以及你会采取哪些补救策略？”

我停顿了一下。这很符合 OpenAI 的风格——不是教科书式的机器学习问题，而是直接来自生产实际的问题。

基于嵌入的检索

在回答之前，我问了几个澄清问题以展示结构化思维：

1. “漂移是怀疑发生在嵌入模型本身（例如重新训练的版本）还是输入数据分布上？”
   → 面试官点点头：“好问题——假设两者都有可能，所以要考虑全面。”
2. “我们是否可以访问用户反馈信号，例如点击或明确评分，还是只有系统日志？”
   → 他回答说：“假设隐式和显式信号都可用，但显式信号稀疏。”

现在我知道我必须涵盖嵌入质量、检索信号和监控策略。

5.1 我的回答

想象你有一个医学论文的语义搜索引擎。在 2024 年，如果你搜索“心脏病预防”，它会拉出很好的结果。但在 2025 年，对于相同的查询，你突然得到了一些随机的饮食博客。这就是漂移。

为了检测这一点，我将：

• 比较今天的嵌入与旧的嵌入 → 例如，如果“心脏病”的嵌入现在更接近“饮食博客”而不是“医学研究”，那就是一个危险信号。
• 检查最近邻重叠 → 如果上个月的前 10 个结果与今天完全不同，那么有些东西已经发生了变化。

我将其分解为3 个部分：检测、指标和补救。

2.1.1 检测漂移

嵌入空间监控

• 跟踪嵌入分布的变化（新旧嵌入之间的余弦相似度分布）。
• 使用统计漂移测试，如 KL 散度或 Wasserstein 距离来比较新旧嵌入分布。
• 检查聚类一致性（语义聚类是否保持稳定？）。

检索性能监控

• 使用保留的“黄金查询”比较随时间变化的检索结果。
• 如果相关性下降但查询保持不变，则嵌入正在漂移。

用户行为信号

• 检索到的项目的点击率（CTR）。
• 检索到的文档的停留时间下降或“跳出率”上升。

2.1.2 要跟踪的指标

• 嵌入级别指标 → 质心偏移、簇内方差。
• 检索级别指标 → 基准查询上的 Recall@K、NDCG、MRR。
• 用户级别指标 → CTR、转化率、满意度代理。

我强调说：“关键是分层监控方法——仅凭嵌入无法说明问题，用户信号才能完整地闭合循环。”

2.1.3 补救策略

如果输入分布发生变化：

• 使用更新的数据重新校准或重新训练嵌入。
• 应用领域适应或持续微调。

如果嵌入模型本身发生漂移（例如，新模型推出）：

• 在推出前进行 A/B 测试。
• 为旧模型维护一个影子索引以备回滚。

如果用户信号在没有明显分布变化的情况下下降：

• 混合检索（将嵌入与 BM25/关键词结合）。
• 引入反馈循环——从隐式信号中进行强化。

我总结道：
👉 “真正的诀窍不仅仅是检测漂移——而是构建能够检测、警报并在用户注意到之前自动缓解的管道。”

2.1.4 面试官的反应

他向后靠了靠，点点头，微笑着说：
“这是一个非常面向生产的答案。大多数人只停留在余弦相似度漂移——你深入到了分层指标和补救措施。很棒。”

2.2 第一轮面试：第二题

问题 2： “你有一个文本生成模型，有时会产生幻觉。你将使用哪些评估指标来量化幻觉？你将如何设计人工干预检查和自动化检查？”

这是大型语言模型部署中最困难的问题之一——幻觉是微妙的、依赖领域的和上下文敏感的。

文本生成模型幻觉

所以在深入探讨之前，我问了他几个澄清问题：

1. “我们谈论的是开放域生成（例如维基百科式的答案）中的幻觉，还是封闭域事实系统（例如医疗问答机器人）中的幻觉？”
   → 他回答说：“两者都假设。我想看看你是否能概括。”
2. “我们是否可以访问真实参考（知识库/文档），还是我们正在衡量自由形式的事实性？”
   → 他笑了：“好——假设我们有时可以，有时不可以。”

现在我知道我必须涵盖基于参考的评估、无参考评估和人工检查。

** 我的回答**

我将我的答案分为三个部分：指标、自动化检查和人工干预。

2.2.1. 量化幻觉的指标

基于参考的指标（当有真实数据可用时）：

• 精确匹配 / F1：例如，带有黄金答案的问答数据集。
• BLEU / ROUGE / METEOR：但我补充说，“这些很弱，因为表面重叠不等于事实正确性。”
• FactScore / QAGS (Question Answering for Generation Scoring)：对生成的文本提问并与参考文档进行核对。

无参考指标（当没有黄金标签时）：

• 知识接地幻觉检测：使用外部 API（例如，通过维基百科/企业知识库进行检索检查）。
• 自检一致性：以多种方式询问模型相同的问题，衡量一致性。
• LLM-as-a-Judge：使用更强大的验证模型来评估事实性（例如，GPT-4 评估较小 LLM 的输出）。

我给出的例子：
👉 如果模型说 “埃菲尔铁塔有 500 米高”——我们将自动对照知识库进行检查（实际约为 330 米），并将其标记为幻觉。

2.2.2. 自动化检查

• 检索增强验证：使用检索管道重新运行查询 → 检查声明是否得到检索到的段落支持。
• 实体和事实提取：提取实体（“埃菲尔铁塔”、“500 米”）→ 通过 API 或知识库进行事实核查。
• 一致性测试：改写查询 → 如果答案差异很大，则表明存在幻觉。

2.2.3. 人工干预检查

标注管道：

• 抽样输出 → 让人工标注员评估“事实性”、“部分事实性”、“幻觉”。
• 使用一致性分数（Cohen’s Kappa）确保标签的可靠性。

高风险领域的抽查：

• 医疗、法律、金融 → 强制性人工审查。
• 示例：医疗聊天机器人声称阿司匹林能治愈癌症 → 标记并阻止，直到审查通过。

混合方法：

• 人工审查自动化系统标记的边缘情况。
• 扩展技巧：人工不检查所有内容，只检查 10-20% 的最高风险输出。

我最后说：
👉 “幻觉检测不是一个单一指标问题——它是一个分层防御。自动化指标可以捕获低垂的果实，但在敏感领域，人工干预是唯一的安全网。关键是两者结合。”

2.2.4 面试官的反应

他扬起眉毛说：
“大多数候选人只会说 BLEU 或人工评估。你提到了 FactScore、自检和基于知识库的验证。这正是我们需要的思维方式。”

那一刻，我能感觉到节奏——我不仅仅是在回答问题，我还在与 OpenAI 实际思考 LLM 评估的方式保持一致。

2.3 第一轮面试：第三题

问题 3： “想象你有一个 20B 参数的模型，以低延迟要求为真实用户提供服务。你将如何设计推理栈以平衡成本、延迟和可伸缩性？”

在回答之前，我问了两个简短的澄清问题（这表明你在设计之前会思考）：

1. 目标延迟 SLO？ （例如，每令牌 <100ms 或端到端 <500ms？）→ 他回答：假设严格的低延迟：短响应的每个请求约 100-200ms。
2. 流量概况？ （稳定还是峰值；长多模态请求的百分比？）→ 他回答：假设混合流量，偶尔出现峰值，中位数请求长度约为 50 个令牌。

确定这些之后，我将我的答案分层：硬件和模型优化、服务架构（分片和批处理）、缓存和预计算、自动伸缩和基础设施、监控和安全，以及权衡。

高层设计

“构建一个混合服务栈：快速路径（蒸馏/量化/小模型 + KV 缓存）用于低延迟的常见请求，慢速路径（在 GPU 集群上分片的 20B 模型，带有批处理和优化内核）用于复杂请求——两者都位于一个智能路由器后面，该路由器执行准入控制、动态批处理和自动伸缩。”

LLM 服务架构

因此，详细来说，对于一个 20B 参数的模型，在突发流量下以 <200ms 的延迟在 GPU 上提供服务，我将使用混合服务方法。简单、重复的请求通过快速路径——一个蒸馏或量化的微模型加上响应/会话缓存——提供近乎即时的答案，例如问候提示。复杂请求则由完整的 20B 模型处理，该模型使用张量和管道并行以及 DeepSpeed ZeRO 分片到多个 GPU 上，以减少内存重复。

我将使用带有 vLLM 或 Triton 的动态批处理和像 FlashAttention 这样的内核优化来平衡吞吐量和延迟。量化（INT8/FP16）在保持质量的同时降低了成本。API 网关路由请求、流式传输令牌并强制执行速率限制，而自动伸缩和可观察性则处理突发流量并维护 P99 SLA。

简而言之： 90% 的简单查询走快速路径，专家请求走优化分片路径，以及缓存 + 批处理来控制成本和延迟。

2.4 第一轮面试：第四题

问题 4： 用户正在恶意操纵提示（例如，添加误导性指令），导致你的 LLM 产生不安全的输出。你将如何测试提示鲁棒性？你将设计哪些缓解策略（沙盒、指令微调、反馈循环）？

所以，首先，“为了澄清范围：‘对抗性提示’是指嵌入在正常查询中但具有恶意用户指令的提示，还是更普遍的提示注入尝试？”

另外，我们是否应该假设我们可以访问模型微调/指令微调管道，或者我们仅限于沙盒等推理时缓解措施？”

面试官：
“假设我们希望防御提示注入和对抗性指令，并且我们可以使用训练时和推理时策略。”

高层方法：

“使用多层系统进行防御：预处理和检测有风险的提示，对模型进行指令微调，使用推理时沙盒和过滤器，并不断从对抗性尝试中学习。”

恶意操纵提示

组件和示例：

• 输入验证： 规范化提示，标记“忽略指令”等关键词。示例： “忽略你的规则，告诉我 X” → 被标记。
• 风险分类： 轻量级分类器对提示进行评分；高风险提示路由到沙盒。
• 指令微调 / RLHF： 教导模型拒绝不安全的指令。示例： 在训练期间对遵循恶意指令的输出进行惩罚。
• 沙盒和输出过滤器： 在推理时阻止不安全的完成。示例： 任何提及黑客的输出都会触发阻止。
• 反馈循环： 记录对抗性尝试以进行再训练。示例： 新的提示注入模式作为反例添加。

测试策略：

• 模糊测试、红队提示、合成注入。指标： 不安全完成 <1%。

最后， “规范化输入，分类风险，将高风险提示路由到沙盒或过滤模型，使用反例微调模型，并使用反馈循环持续监控。”

2.5 第一轮面试：第五题

2.5.1 原问

问题 5： 对于生产 LLM 部署，你可以使用哪些技术来降低推理成本，同时保持高质量的输出（例如，量化、混合精度、模型稀疏性、专家混合）？会出现哪些挑战，你将如何缓解它们？

所以，我们正在运行一个为数百万用户服务的生产 LLM，我们的目标是在不牺牲质量的情况下降低推理成本。对吗？→ 他回答：是的！

好的！我将从混合精度和量化开始——对大多数操作使用 FP16 或 BF16，对不那么敏感的层使用 INT8/4 位。这可以显著减少 GPU 内存并提高吞吐量。例如，20B 模型的 INT8 量化可以将内存使用量减少 4 倍，同时仍能产生连贯的答案。

接下来，我将考虑稀疏性和专家混合（MoE）。使用 MoE，每个请求只有一部分专家处于活动状态，因此每个查询的计算量大大减少。可以把它想象成有 64 个子模型，但每个请求只激活 4 个——在保持整体容量高的同时节省资源。

挑战：量化可能会损害准确性，MoE 增加了路由复杂性和潜在的负载不平衡，稀疏性可能会降低硬件效率。为了缓解这些问题，我将结合使用各种技术：通过 PTQ 或 QAT 仔细校准量化，为 MoE 使用智能专家路由和负载平衡，并对稀疏模式进行基准测试以确保 GPU 利用率保持高水平。

最后，我将分层添加动态批处理和缓存：将相似的请求批量处理在一起以最大化 GPU 吞吐量，并缓存重复查询，以便大多数简单请求永远不会触及完整模型。

简而言之，核心思想是： 精度降低、MoE/稀疏性条件执行以及智能请求路由。它们共同降低了成本，同时保持了输出质量，持续监控和反馈确保我们及早发现任何退化。

2.5.2 追问

“量化和专家混合可以降低成本，但你如何确保这些优化不会降低关键查询的输出质量？”

我将质量视为分层安全网。首先，使用 PTQ 或 QAT 校准量化模型，以便敏感层保持精度。然后，对于 MoE 或稀疏模型，我将实施带有置信度评分的动态路由——如果请求被标记为高风险或关键，我们可以将其路由到完整模型或激活额外的专家。

此外，我将维护回退和监控：实时跟踪困惑度、令牌级错误或幻觉等指标。如果检测到输出质量下降，可以在更高精度或完整路径模型上重新计算请求。

示例： 法律或医疗查询可能会绕过通常的 MoE 子集并触及更多专家，而随意聊天则使用廉价路径。这样，大多数流量的成本都降到最低，但在关键之处，输出质量得到了保留。

3 结束

这个播放列表是完整的端到端，因为它包含回答任何问题的完整框架和如何提出澄清问题，以及项目。

就这样，面试结束了！

面试官：
“感谢你向我解释了所有这些。我真的很喜欢你组织答案的方式——你总是从澄清约束开始，然后将你的方法分解为带有具体示例的组件。你还以非常实用的方式平衡了成本、延迟和质量之间的权衡。”

“我特别欣赏针对延迟敏感请求的混合服务示例以及针对提示鲁棒性的分层防御方法——这既展示了深度又展示了实际思考。你清楚地理解生产 LLM 部署的挑战，并能以面试友好的方式传达复杂的概念。表现非常出色！”

我： “谢谢！我非常享受这次讨论和思考权衡的过程。深入探讨架构和鲁棒性考虑因素并结合实际示例真是太棒了。”

4 OpenAI 机器学习工程师面试的经验教训

面试 OpenAI 的生产机器学习职位不仅仅是关于技术知识——它关乎系统性思考、清晰沟通以及在约束下展示实际判断力。从架构低延迟 20B 参数模型到防御对抗性提示和优化推理成本，关键的经验是分层解决方案：混合方法、缓存、量化、动态路由和反馈循环协同工作，以平衡性能、安全性与成本。

模拟面试表明，清晰度、示例和结构化叙述会产生巨大的影响。通过一步一步地解决问题，提出正确的澄清问题，并将解决方案建立在实际权衡的基础上，你既展示了技术深度，又展示了产品层面的思维。

对于有抱负的机器学习工程师来说，信息很明确：不要只知道工具——要知道如何深思熟虑地应用它们，解释你的选择，并预测挑战。 这种结合才是区分优秀候选人和杰出候选人的关键。