Skip to content

Latest commit

 

History

History
18 lines (12 loc) · 3.12 KB

File metadata and controls

18 lines (12 loc) · 3.12 KB

LLMs reward expertise

TL;DR

文章以陶哲轩和编程为例,指出领域专业知识是高效使用大语言模型的关键,专业判断力能让模型输出更精炼、价值更高,人类的角色不可替代。

Summary

这篇名为《LLMs奖励专业知识》的文章,试图破除一个流行误解:既然人人都能直接向大语言模型(LLM)索取博士水平的数学、凑合的代码或生硬的领英文案,那么使用这些模型似乎不需要什么特别技能,所谓的“提示工程师”与新手并无差别。但作者明确指出,真正关键的提示能力,恰恰是你对所提问领域的精通程度

为了证明这一点,作者引用了数学家陶哲轩与ChatGPT讨论雅可比猜想新反例的案例。在那次对话中,陶哲轩的发言极短、只抓要点,模型返回的内容也比普通人使用时精炼得多——因为他的专家气场将模型切换到了“与数学家对话”模式,而非“向外行解释”模式。他会在感觉不对时说“这比我预想的更复杂”,而不是直接反驳;他会主动提出替代思路,并且几乎从不采纳模型给出的下一步建议。这一切之所以有效,是因为陶哲轩确实深谙数学:他能从模型的长篇大论中提取关键想法,察觉细微的不一致,并自行构想新的方向。普通人即使模仿他的句式,也无法抵达同样的深度。

作者把自己的编程工作与此类比:如果你对自己的代码库有清晰的理论认知,你就能更强势地推动LLM。因为脑海中已经有了“好的解法大概长什么样”的直觉,你能够对模型说“不,这儿可以更简单”,或是追问“我们不是已经做过X了吗?”,以及“能否用我们已有的概念来表述这个问题?”这种对具体系统的熟悉度,比泛泛的软件工程知识更有实际效力。换句话说,系统设计的核心是具体细节,而非放之四海而皆准的原则。

文章由此推演出一个更广的结论:领域知识意味着,即使模型能力越来越强,人类的专业素养依然不可替代。对许多任务而言,瓶颈不在于模型,而在于人类。因为真正的困难是把人类想要的特定方案精确地传达给模型——模型内部或许“存有”答案,但把它抽取出来,仍需要具备深厚知识的头脑。完全没有领域知识的人只能依赖LLM勉强产出一点东西(这当然也有用处,可以让经验浅的工程师少造成破坏),但有领域知识的人却能从同一个模型中榨取出远超常人的价值。我们大多数人都处在两种状态的混合中,在自己熟悉的领域做引导者,在陌生的领域做跟随者。

因此,这并非一篇简单的“提示技巧”指南,而是提醒我们:LLM的价值释放程度,与使用者的真实专业水准高度正相关。即便未来模型更强,人类判断力、具体场景的理解以及提出精准问题的能力,仍将是不可削减的稀缺资源。