Hardey知识库
Search K

Appearance

大模型的基础工具 ​

随着大模型成本的降低和可靠性的提升，越来越多的业务应用将与大语言模型（LLM）结合。为了支持这种结合，需要与现有基础设施兼容的工具和框架来快速开发LLM应用。

一、应用开发平台 ​

1.1 阿里：百炼大模型平台 ​

  • 应用构建工具: 插件中心、流程编排、Prompt工程、RAG、Agent
  • 模型开发工具: 训练数据管理、模型调优、模型评测、模型部署

1.2 百度：千帆大模型平台 ​

  • 数据管理: 数据集、数据标注、数据处理、数据回流
  • 应用工具: 插件编排（对话类、生成类、编排类）、RAG、Prompt模板、Prompt优化、Prompt评估
  • 模型调优: 模型精调（精调样板、Post-PreTrain、SFT、DPO、RLHF）、模型评估、模型压缩
  • AppBuilder: 组件编排

1.3 字节跳动：Coze ​

二、开源应用开发平台(推荐dify) ​

2.1 Dify ​

  • 核心功能: AI工作流、Prompt IDE、RAG、Agent、后端即服务
  • 模型工具: LLMOps、全面的模型支持
  • GitHub: Dify

2.2 FastGPT ​

  • 功能: RAG、应用编排
  • 模型工具: 多模型支持（one API）
  • GitHub: FastGPT

2.3 bisheng（毕昇） ​

  • 功能: RAG
  • 模型工具: 模型微调（待验证）
  • GitHub: bisheng

2.4 其它 ​

  • QAnything: 支持任意格式文件或数据库的本地知识库问答系统
  • AnythingLLM: 开源的企业级文档聊天机器人解决方案
  • LangChain-Chatchat: 基于 ChatGLM 等大语言模型与 Langchain 等应用框架实现的开源项目
  • quivr: 完全可控的知识库问答平台，支持docker部署
  • FLowise: 拖放式界面构建定制化LLM流程
  • GPTCache: 通过实现缓存来提高基于LLM的应用程序的效率和速度
  • OneAPI: API 管理和分发系统

三、智能文档解析 ​

3.1 RAGFlow ​

  • 特色: 多样化的文档智能处理，重新研发的智能文档理解系统
  • GitHub: RAGFlow

3.2 Unstructured ​

  • 功能: 处理非结构化数据的灵活Python库
  • GitHub: Unstructured

3.3 PaddleOCR ​

  • 功能: 提供全面且高效的文字识别和信息提取功能
  • GitHub: PaddleOCR

3.4 其它 ​

  • EasyOCR: 友好的OCR服务
  • Surya: 支持超过 90 种语言的OCR识别 Surya
  • PDF-Extract-Kit: 内容与布局提取识别 PDF-Extract-Kit
  • OmniParse: 将非结构化数据解析为结构化数据 OmniParsealt text

四、BI与DB ​

4.1 DB-GPT ​

  • 功能: 构建大模型领域的基础设施，支持多模型管理、Text2SQL效果优化等
  • GitHub: DB-GPT

4.2 Chat2DB ​

  • 功能: 阿里开源智能的通用数据库SQL客户端和报表工具
  • GitHub: Chat2DB

4.3 其它 ​

  • DefogAI SQLCoder: 将自然语言问题转化为 SQL 查询
  • BIRD-SQL: 多位作者联合创作的SQL工具
  • TableAgent: 数据分析，机器学习智能体
  • Kyligence Copilot: 一站式指标平台的 AI 数智助理
  • chat2query: 支持更自然的文本指令和复杂的数据分析类的sql生成
  • ChatBI: 对话数据分析平台
  • DataHerald: 自然语言到SQL代理
  • superduperdb: 通用的AI开发和部署框架
  • Vanna: 使用AI的工具，简化数据库交互

五、本地部署工具 ​

5.1 Ollama ​

  • 功能: 在本地机器上便捷部署和运行大型语言模型
  • GitHub: Ollama

5.2 OpenLLM ​

  • 功能: 部署大语言模型的框架，支持LangChain、BentoML和Hugging Face
  • GitHub: OpenLLM

5.3 其它 ​

  • LM Studio: 简单的可视化LLM安装程序
  • Xinference: 性能强大且功能全面的分布式推理框架

六、推理服务框架 ​

alt text

6.1 vLLM ​

  • 适用场景: 适用于大批量Prompt输入，并对推理速度要求高的场景

6.2 其它 ​

  • Text generation inference: 依赖HuggingFace模型
  • CTranslate2: 可在CPU上进行推理
  • Ray Serve: 稳定的Pipeline和灵活的部署
  • MLC LLM: 可在客户端本地部署LLM
  • DeepSpeed-MII: 使用DeepSpeed库来部署LLM
  • llama.cpp: 纯 C/C++ 实现的模型量化推理工具

七、大模型微调 ​

7.1 LlamaFactory ​

八、大模型聚合平台 ​

8.1 Hugging Face ​

  • 功能: 开源的机器学习平台，托管超过320,000个模型和50,000个数据集
  • 地址: Hugging Face

九、开发库与工具 ​

  • LangChain: LLM应用开发入门工具
  • LlamaIndex: 数据框架，连接大型语言模型到自定义数据源
  • Promptflow: 微软开源的开发工具，简化基于LLM的应用开发周期

十、向量数据库 ​

十一、流程管理工具 ​

  • n8n: 自动化流程管理工具（强烈推荐）

十一、参考学习文章 ​

  • 大模型：2024开源项目汇总: 链接
  • 全栈学习资料: GitHub
  • AI+BI: 结合大语言模型实现对话式的智能报表系统 链接