简单记录一下最近找到的部分LLMOps工具/平台。（主要是面向自己整理用，所以其他人读的话会很晦涩）

背景知识

可以看看这篇百度千帆的文章，了解一下各个概念。https://mp.weixin.qq.com/s/lF0b_csan5aInfgBB2UT4Q

简单来说，DevOps（Development+Operations）促进了快速开发/快速测试/快速迭代/快速上线等等，将开发与运维紧密结合。

而MLOps是将DevOps迁移到机器学习领域，MachineLearning+DevOps。在DevOps基础上，加了些更适合ML的内容，比如对数据的管理，对模型训练模型流水线的引入，以及推理服务部署、模型监控等等。

LLMOps，也被称为LMOps，是最近刚出的词，也就是Large Language Model + Ops。MLOps会更侧重根据已有的数据和算法去训练出一个模型，再微调。而LLMOps因为是针对大模型的，所以从0训练的话对显存要求非常高，导致大部分人其实只能基于已有的开源大模型（如LLaMA），结合LoRA等省内存技术，勉强微调一下。另外，因为大模型的Zero-Shot/Few-Shot能力很强，所以其实也可以不去改动大模型本身，直接基于大模型做外围应用，比如外接一个知识库（Bing、Dify等）；又比如做成Agent，如LangChain等。

简单概括一下，目前LLMOps总体有两种理解：

  1. 微调大模型本身。比如快速构造数据集，选择某个开源大模型，一键在线微调。得到的好处是，能够塞更多的数据（做领域垂直应用）；提高性能；做公司自己的大模型以节省服务成本（相比OpenAI按次付费，只要花电费和设备折旧费）
  2. 不动大模型的参数，做外围应用
    1. RAG（外接知识库）。比如通过OpenAI的接口，再把公司的各种文档导进去，就能做一个能回答公司文档相关问题的机器人。或者说得更直白点，这种方式非常省钱和简单，不需要改动模型本身，就能快速让模型
    2. Agent。可以理解为，两个方面。①你给AI发一个请求，它会自动拆解成一个个步骤，调用相应的能力去做（上网、调API等等）②拥有各种不同的输入、AI、输出、处理组件，用拖拽组件的形式，利用AI能力完成自己的特定业务场景，有点像IOS的捷径。

百度千帆

使用文档

很全，各个流程