在人工智能（AI）领域，随着技术的不断进步，如何更高效、自动化地优化AI系统成为了研究的热点。近日，斯坦福大学副教授James Zou领导的团队在权威科学期刊Nature上发表了一项重要研究，提出了一种名为TextGrad的新框架，通过文本自动化“微分”反向传播大语言模型（LLM）文本反馈来优化AI系统，为训练大型复合AI模型开辟了新路径。
TextGrad框架的提出，源于对当前AI系统优化方式的深刻洞察。传统上，这些系统主要由领域专家手工制作，并通过启发式方法进行调整，缺乏自动优化的机制。而人工神经网络的发展也曾面临类似挑战，直到反向传播和自动分化技术的出现，才使优化工作变得简单易行。受此启发，James Zou团队开发出TextGrad，旨在利用LLM生成的反馈来执行优化，从而改进人工智能系统。
TextGrad基于三个核心原则构建：它是一个通用的高性能框架，并非为特定应用领域而手工打造；它易于使用，与PyTorch的抽象概念相似，便于知识转移；同时，它也是完全开源的，有助于推动AI领域的创新发展。
在TextGrad中，一切都是文本。它使用语言模型评估输出、评论它们，并更新输入，从而实现对AI系统的优化。这种利用自然语言反馈来批评并提出改进建议的方式，使得TextGrad能够在各种任务中自动优化生成式人工智能系统。从提示到输出，如分子或治疗方案等，TextGrad都能提出有针对性的优化建议。
研究团队展示了TextGrad在多个领域的应用成果。在GPQA（博士级问题解答）和LeetCode Hard（高难度编程问题）中，TextGrad实现了SOTA性能。同时，在药物发现和治疗方案优化方面，TextGrad也展现出了强大的能力。通过优化药物发现的分子，TextGrad解决了有影响力的科学问题；而通过优化治疗方案，TextGrad则改善了患者的治疗效果。这些成果充分证明了TextGrad的广泛适用性和实用性。
值得一提的是，TextGrad还提供了一个遵循PyTorch语法的API，使得用户可以通过使用仅由（可能不同的）语言模型提供的文本反馈来优化任何提示或结果。这种灵活性使得TextGrad能够轻松适应不同的应用场景和需求。
除了上述应用外，TextGrad还在解法优化、代码优化、推理提示优化等方面展现出了显著的优势。在放射治疗计划中，TextGrad的表现甚至优于临床计划，实现了更高的平均剂量和与规定剂量完全一致的D95。这表明TextGrad在医疗领域也具有广阔的应用前景。
此外，TextGrad还支持联合优化多模态任务的指令提示、解决方案及评估提示。在实验中，TextGrad在空间推理数据集HQH上将准确率提升了9%，充分展示了其处理多变量、长链推理复杂系统的能力。
James Zou作为TextGrad的主要研究者，其在AI领域的研究工作一直备受瞩目。他曾获得被称为“诺奖风向标”的斯隆奖学金，并在Nature Medicine和Nature Machine Intelligence等权威期刊上发表过多篇重要论文。TextGrad的提出，无疑是他对AI领域又一重要贡献。
随着人工智能范式的转变，从训练单个模型转向优化涉及多个相互作用的LLM组件和工具的复合系统，TextGrad这样的自动优化器将成为推动AI发展的重要力量。
