你是否好奇过,为什么有时候 AI 的回答特别“稳”,有时候又充满创意?这背后的秘密,就藏在三个看似神秘的参数中:Temperature、Top-k 和 Top-p。让我们一起来揭开它们的面纱!

Temperature:AI 的“情绪温度计”

想象一下,你在调节 AI 的“情绪温度”。

  • 低温(T < 1):AI 变得“冷静”稳重,总是选择最安全、最可能的答案。就像一个严谨的学者,回答总是一板一眼。

  • 高温(T > 1):AI 开始“发烧”,变得活跃、随性。它可能会说出一些出人意料的话,就像一个喝醉的诗人,灵感迸发但不太靠谱。

有趣的是,这个过程其实模仿了社会中的“马太效应”。低温时,“强者愈强”,高概率的选项被进一步强化;高温时,则给了“弱者”一线机会。

P(wi)=exp⁡(log⁡(pi)T)∑jexp⁡(log⁡(pj)T) P(w_i) = \frac{\exp(\frac{\log(p_i)}{T})}{\sum_{j} \exp(\frac{\log(p_j)}{T})} P(wi)=jexp(Tlog(pj))exp(Tlog(pi))

Top-k 和 Top-p:AI 的“脑洞控制器”

接下来是两个有趣的“搭档”:Top-k 和 Top-p。它们就像是 AI 思维的“过滤网”。

  • Top-k:想象 AI 脑中有一个“点子排行榜”。Top-k 就是说:“只考虑排名前 (k) 的想法。”简单粗暴,但有效。

P(wi)={pi∑j∈top-kpjif wi∈top-k0otherwise P(w_i) = \begin{cases} \frac{p_i}{\sum_{j \in \text{top-k}} p_j} & \text{if } w_i \in \text{top-k} \\ 0 & \text{otherwise} \end{cases} P(wi)={jtop-kpjpi0if witop-kotherwise

  • Top-p(又叫 Nucleus Sampling):这个更聪明。它会说:“把最有可能的想法加起来,只要超过 (p) 的可能性,就在这些里面选。”灵活又智能。

∑i∈Spi≥p \sum_{i \in S} p_i \geq p iSpip

P(wi)={pi∑j∈Spjif wi∈S0otherwise P(w_i) = \begin{cases} \frac{p_i}{\sum_{j \in S} p_j} & \text{if } w_i \in S \\ 0 & \text{otherwise} \end{cases} P(wi)={jSpjpi0if wiSotherwise

这两个参数就是为了解决 AI 的“长尾思维”问题。没有它们,AI 可能会突然蹦出一些离谱的想法。但如果设置得太严格,AI 又会变得死板无趣。

调味指南:如何调出“最佳口感”

那么,如何调出一个既不失智慧又富有创意的 AI 呢?这里有一份“秘方”:

  • Temperature: 0.7(7分热度,既不冷淡又不狂热)
  • Top-k: 40(给 AI 一个不小的“选择空间”)
  • Top-p: 0.9(允许 90% 的可能性,既保证合理性又不失创意)

记住,这只是一个起点。根据你的需求,可以随时微调。想要更稳定的输出?降低 temperature。需要更有创意?也许可以提高 Top-k 的值。

Logo

Agent 垂直技术社区,欢迎活跃、内容共建。

更多推荐