AI 应用开发分为大模型应用层（Agent、RAG、AI 业务应用）、模型推理部署层、深度学习训练层三大类，下面整理主流框架，区分适用场景。
一、大模型应用开发框架（做 AI Agent、RAG、业务 AI 应用，最常用）
LangChain 生态最成熟，支持链式调用、RAG、Agent、工具调用，多模型兼容；适合快速搭建知识库问答、智能助手。Python 为主，也有 LangChain‑JS。缺点：版本迭代快，复杂场景性能开销大。
LlamaIndex（GPT‑Index） 主打数据索引与 RAG，对文档解析、分块、检索优化更强；优先面向知识库类应用，和 LangChain 可以组合使用。
Haystack 开源，侧重检索增强，支持多后端向量库，支持自定义流水线，适合企业级 RAG 系统。
AutoGen（微软） 多 Agent 协作框架，支持多个大模型角色对话、分工完成复杂任务；适合多智能体场景。
DSPy 以编程范式替代 Prompt 工程，自动优化提示词，适合构建可迭代、可评测的 LLM 应用。
Spring‑AI（Java） Java 生态大模型开发框架，SpringBoot 体系，适合后端 Java 团队开发 AI 业务服务，对接各类大模型 API、向量库。
Open‑Agent‑Framework / DeerFlow 国产 Agent 框架，工作流编排、工具调用、记忆管理，适配国产大模型，本地化部署友好。
二、模型推理 & 服务部署框架（把 LLM / 多模态模型跑起来，对外提供 API）
vLLM 高吞吐 LLM 推理引擎，PagedAttention 核心，单机支持高并发，生产部署首选。
Text Generation Inference(TGI) HuggingFace 官方推理服务，稳定成熟，企业广泛使用。
Ollama 极简本地模型运行工具，一行命令跑开源大模型，快速原型验证，不适合超高并发生产。
SGLang 新一代推理框架，兼顾吞吐与速度，支持多模态，Agent 调用场景性能优秀。
TensorRT‑LLM NVIDIA 推理加速框架，GPU 深度优化，追求极致性能。
三、深度学习训练框架（训练、微调模型）
PyTorch 科研与工业界主流，生态庞大，LLaMA、Qwen 等开源模型基于此开发。
TensorFlow 工业部署生态完善，现在大模型领域使用少于 PyTorch。
LLaMA‑Factory 一站式大模型微调框架，支持 LoRA、全量微调，适配绝大多数开源模型。
四、向量数据库配套框架
AI 应用必不可少，用于 RAG 向量检索 Chroma、FAISS、Milvus、Qdrant、PGVector（Postgres 插件）
选型简单建议
Python 快速原型、Agent：LangChain + vLLM
侧重知识库 RAG：LlamaIndex / Haystack
Java 后端业务 AI：Spring‑AI
多智能体协作：AutoGen
本地快速验证：Ollama
生产高并发推理：vLLM / SGLang
本文原创作者：易君召，详见：https://www.yijunzhao.cn/authors/yijunzhao，转载请注明出处。
原文链接
欢迎访问 小易撩挨踢