「Andrej Karpathy」权力的赋予：LLM如何颠覆技术扩散的剧本
原文链接：Karpathy Blog
LLM（如ChatGPT）颠覆了技术扩散的传统自上而下模式，为普通人提供了巨大好处，而企业与政府受惠较少。LLM以低门槛（免费、快速、易用）提升了个人的广泛能力，如写作、编码和研究，但组织因复杂性、协调需求和惯性难以充分利用。未来LLM的扩散取决于性能提升和资本支出的动态范围，目前普通人从中获益最多，权力似乎更倾向于个人。
权力的赋予：LLM如何颠覆技术扩散的剧本
Andrej Karpathy @karpathy·19小时
变革性技术通常遵循自上而下的扩散路径：起源于政府或军事背景，经过公司，最终到达个人——想想电、密码学、计算机、飞行、互联网或GPS。这种进展看似直观，新颖而强大的技术通常稀缺、资本密集，并且在早期阶段其使用需要专门的技术专长。
因此，我觉得LLM展示出这种模式的戏剧性逆转相当独特且引人注目——它们为普通人产生了不成比例的好处，而它们在公司和政府中的影响则更加温和且滞后。ChatGPT是有史以来增长最快的消费应用，拥有4亿每周活跃用户，他们用它来写作、编码、翻译、辅导、总结、深入研究、头脑风暴等。这不是对之前存在的轻微升级，而是一个人在广泛能力范围内的重大倍增器。而且使用的门槛极低——模型便宜（甚至免费）、快速、任何人都可以通过一个URL（甚至本地机器）随时使用，它们能说任何人的母语，包括语气、俚语或表情符号。这太疯狂了。
据我所知，普通人从未经历过如此戏剧性、如此快速的技术解锁。
那么，为什么在企业和政府领域的好处要少得多呢？我认为第一个原因是LLM提供了一种非常特定的能力概况——仅是准专家知识/表现，但同时跨越非常广泛的领域。换句话说，它们同时是多才多艺但也肤浅且易出错。与此同时，一个组织的独特优势是能够通过雇用工程师、研究员、分析师、律师、营销人员等，将多样的专长集中在一个实体中。虽然LLM肯定能让这些专家个体效率更高（例如起草初步法律条款、生成样板代码等），但对组织的改进形式是变得更擅长它已经能做的事情。相比之下，一个人通常最多只在某一件事上是专家，所以LLM提供的广泛准专家能力从根本上让他们能够做之前做不到的事情。现在人们可以编写代码应用。他们可以处理法律文件。他们可以理解深奥的研究论文。他们可以进行数据分析。他们可以为品牌和营销生成多模态内容。他们可以在不涉及额外专家的情况下，以足够的能力做到所有这些。
能力 组织与个人的跨领域LLM驱动能力增益的卡通图
其次，组织处理的问题复杂性更大，需要更多的协调，想想：各种集成、遗留系统、企业品牌或风格指南、严格的安全协议、隐私考虑、国际化、监管合规和法律风险。变量更多，约束更多，考虑更多，容错率也更低。不可能那么容易将所有这些放入一个上下文窗口。你不能只是随意编写代码。你可能因为一次灾难性的幻觉而丢掉工作。第三，还有众所周知的较大组织的惯性，包括文化、历史先例、政治地盘，这些在快速变化时期会升级，沟通开销、分布式劳动力的再培训挑战和老式的官僚作风。这些是迅速采纳一个新颖的、多才多艺但肤浅且易出错的工具时的大障碍。我不想低估LLM在公司或政府中的影响，但至少目前和在整个社会中，它们对个人的改变比对组织的影响更大。Mary、Jim和Joe们正在体验大部分好处，而不是Google或美国政府。
展望未来，LLM的持续扩散当然取决于性能的持续改进和其能力概况。整体“利益分配”特别有趣，很大程度上取决于性能作为资本支出的函数的动态范围。今天，前沿级LLM性能非常易于访问且便宜。超过这一点，你不能花费额外的钱来获得更好的性能、可靠性和自主性。钱买不到更好的ChatGPT。比尔·盖茨和你一样与GPT 4o交谈。但这能持续吗？训练时间扩展（增加参数、数据）、测试时间扩展（增加时间）和模型集成（增加批次）是增加动态范围的力量。另一方面，模型蒸馏（通过训练模仿大模型来训练不成比例强大的小模型）一直是减少动态范围的力量。当然，一旦钱能买到大幅更好的ChatGPT，情况就会改变。大组织可以集中其大量资源购买更多智能。在“个人”类别内，精英也可能再次与社会其他部分分离。他们的孩子将由GPT-8-pro-max-high辅导，你的则由GPT-6 mini辅导。
但至少在当前时刻，我们发现自己处于技术史上独特且前所未有的境地。如果你回顾各种科幻小说，你会看到很少有人预测AI革命会呈现这种进展。它应该是将领们掌握的绝密政府超级大脑项目，而不是ChatGPT几乎一夜之间免费出现在每个人口袋里的设备上。记住威廉·吉布森的那句话“未来已经到来，只是分布不均”？惊喜——未来已经到来，而且分布令人震惊。权力属于人民。个人来说，我爱它。