掘力计划第24期 大模型实践：LLMOps和LLM Agent的关键方法与展望

随着大语言模型的快速发展，大模型训练及其应用落地面临诸多挑战。9月16日，在“掘力计划”第24期活动中，白海科技技术负责人刘喆老师就大模型实践中的 LLMOps 和 LLM Agent 做了主题分享。

刘喆老师总体负责白海科技 IDP LM 专属大模型应用加速平台及解决方案，有丰富的数据开发和架构经验。他曾在百度、明略科技、人民搜索任职，负责包括AI开发生产平台构建、大数据平台构建和广告监测全流程设计等。

视频回放：https://juejin.cn/live/jpowermeetup24

一、梦中情“模”：大模型应用期望值管理

刘喆老师首先通过“梦中情人”的比喻，说明大多数人对理想对象的描述比较粗浅，难以给出明确具体的特征。他举了多数人对梦中情人的描述仅仅是“好看”、“帅气”的例子。刘喆老师进一步引申到大模型应用中，许多企业同样无法明确表达自己的需求，只是简单表示希望能达到类似 ChatGPT 的效果和功能。但 ChatGPT 是一个完整的系统产品，想要达到类似效果需要定义具体的应用场景、问题范围、交互方式、输出形式等，否则很难实现。刘喆老师指出，大模型应用第一步是明确需求，需要量化功能和效果指标，设定问题域和场景边界，同时考虑交互模式、输出形式等细节。否则很容易陷入没有具体目标的漫无方向的开发。

二、开始实践：大模型应用技术路径选择

讨论完大模型应用目标，刘喆老师进一步梳理了大模型应用的技术路径。

他首先说明，目前大模型应用主要有 prompt Engineering、量化微调、前缀调节、Lora 微调、全量微调等技术手段。这些技术各有优劣，prompt Engineering 不需要训练，但上限受模型本身限制;量化微调可以降低训练成本，但会损失模型能力;Lora 微调只调整部分参数，可大大降低成本，但对数据量要求较高。

其次，刘喆老师介绍了大模型应用的操作系统 LLMOps。它通过标准化、自动化和智能化，将模型训练中的数据处理、模型调优、结果评估等步骤系统化，使开发者能更高效地完成大模型建设。

最后，为处理复杂任务，刘喆老师提出了 Agent 系统，它通过任务分解和多 Agent 协同，实现大模型的链式应用。但 Agent 系统也面临稳定性等问题。

三、现实困境:大模型应用面临挑战

接下来，演讲重点讨论了大模型实际应用时面临的困难。

数据方面，大模型对数据质量和规模要求极高，但高质量数据的收集标注又非常耗时;复杂任务需要的数据量也难以满足。此外，不同 Agent 输出之间的误差累积也是一个问题。

在软硬件方面，大批量数据的加载与训练非常耗时，需要大量计算资源支持，但算力成本仍十分高昂;分布式集群环境也增加了调试难度。

模型能力方面，简化问题、编码、多轮交互等方面的能力都有待提高。单个 Agent 也难以完成复杂任务。

四、LLMOps 和 LLM Agent

刘喆老师介绍说，LLMOps 是大语言模型落地过程中的必要支撑。它可以提供模型训练、测试、部署、监控等全流程的操作支持，使复杂的大模型应用过程标准化和系统化，从而降低用户门槛。

他表示，当前 LLMOps 还处在建设阶段，需要进一步完善数据处理、超参数调优、结果评估等方面的自动化功能。只有当 LLMOps 变得足够成熟和易用时，再结合 LLM Agent，大模型才能真正落地并创造价值。

关于 LLM Agent，刘喆老师解释说，它可以看作是一个“小模型”，负责完成特定的子任务，多个 Agent 协同工作以解决复杂问题。这种分工合作的方式，既发挥了各 Agent 的专长，也降低了系统稳定性风险。

他表示，未来的大模型应用需要更多地采用 Agent 模式，将任务进行拆分。目前已有初步探索，例如 Plan and Execute Agent 负责任务规划，Action Agent 负责执行等。随着研究的深入，LLM Agent 的作用将愈发凸显。

五、技术展望:LLMOps和LLM Agent发展趋势

最后，刘喆老师展望了 LLMOps 和 LLM Agent 的未来发展趋势。

在 LLMOps 方面，通过行业最佳实践的逐步形成，以及自动化和智能化手段的引入，LLMOps 将日趋成熟，为大模型应用提供强大支持。

LLM Agent 方面，随着算法的进步，Agent 协作的稳定性和效率也将不断提高，复杂任务的完成难度将降低。此外，低成本硬件的出现也为大规模Agent系统应用提供可能。

大模型技术仍处在初级阶段，需要持续探索。但它的应用前景广阔，我们要积极准备，以把握新一轮技术变革的机遇。

总结

总体来看，刘喆老师表达了对大模型应用前景的积极态度。他认为，随着模型性能的提升、计算力的增强和方法的进步，大模型训练的成本逐步降低，应用范围也在不断扩大。面对种种挑战，LLMOps 和 LLM Agent 为大模型的实际落地提供了可能性。同时他呼吁业界积极探索大模型的应用，因为这是一项系统工程，需要持续迭代和发展。当前虽有诸多困难，但只要坚持不懈，就一定能够推动大模型真正应用于各行各业，并最终惠及社会。

掘力计划

掘力计划由稀土掘金技术社区发起，致力于打造一个高品质的技术分享和交流的系列品牌。聚集国内外顶尖的技术专家、开发者和实践者，通过线下沙龙、闭门会、公开课等多种形式分享最前沿的技术动态。