最近随着 OpenAI 大型语言模型（LLM）的问世，「思维链」指令（Chain-of-Thought，简称 CoT）技术也成了 AI 领域的热门话题，被视为实现通用人工智能（AGI）的潜在途径。然而，CoT 技术的真正效用和发展前景，却在业界引发了激烈争论。
Google DeepMind 首席科学家 Denny Zhou 近期在一场演讲中，主张 CoT 技术可以让 Transformer 模型的推理能力达到「无上限」。他引述其团队发表的论文指出，只要允许 Transformer 模型生成足够多的中间推理步骤（token），即使是深度不变的模型，也能够解决任何「天生串行」的问题。Denny Zhou 认为，加入中间推理步骤，相当于在数据中导入「推理过程」或「解释原理」，让 LLM 能够模仿人类的思考方式，从少量样本中学习到抽象的规律和原理。他以一个简单的「字母拼接」问题为例，说明了在训练、微调或提示过程中加入中间步骤的重要性。
然而，Meta 首席 AI 科学家 Yann LeCun 和 Meta AI 研究科学家田渊栋则对此表示异议。他们认为，Denny Zhou 等人的观点过于夸大 CoT 作用，将其等同于「万能近似定理」的应用，但忽略了实际操作上的困难。田渊栋指出，虽然理论上 2 层多层感知器（MLP）可以拟合任何数据，但在实际应用中，如果想让其适用于所有情境，第一层的神经元数量将会多到难以想像。他进一步质疑，虽然 CoT 的长度可以无限延长，但对于那些需要指数级神经元数量才能解决的问题，CoT 的长度也必须相应地延长，这在应用操作中并不实际。
尽管存在争议，CoT 技术在提升 LLM 推理能力的潜力已得到多方研究证实。2例如，OpenAI 的研究人员就利用包含自然语言推理过程的大型数学单词问题数据集（GSM8K），对 GPT-3 进行了微调，显著提高了模型的推理能力。此外，自我一致性（Self-Consistency）等技术的应用，也进一步提升了 CoT 的推理效果。
然而，CoT 技术本身也存在一些局限。1研究发现，LLM 容易受到无关上下文的干扰，自我纠正能力也不够完善，而且推理过程会受到前提顺序的影响。Denny Zhou 也承认这些限制，并呼吁业界应致力于从根本上解决这些问题。
版权声明
本文为本站原创内容,转载需注明文章来源(https://www.eiefun.com)，另:文中部分素材可能会引用自其他平台，如有侵权或其它，请联系 admin@eiefun.com，我们会第一时间配合删除