开源框架.MD

Tool and Library

推理框架

工具描述	链接
FlexFlow：模型部署推理框架	https://github.com/flexflow/FlexFlow
Medusa：针对采样解码的推理加速框架，可以和其他策略结合	https://github.com/FasterDecoding/Medusa
FlexGen: LLM推理 CPU Offload计算架构	https://github.com/FMInference/FlexGen
VLLM：超高速推理框架Vicuna，Arena背后的无名英雄，比HF快24倍，支持很多基座模型	https://github.com/vllm-project/vllm
Streamingllm: 新注意力池Attention方案，无需微调拓展模型推理长度，同时为推理提速	https://github.com/mit-han-lab/streaming-llm
llama2.c: llama2 纯C语言的推理框架	https://github.com/karpathy/llama2.c
Guidance: 大模型推理控制框架，适配各类interleave生成	https://github.com/guidance-ai/guidance
SGLang: prompt cache的告诉推理框架	https://github.com/sgl-project/sglang

指令微调，预训练，rlhf框架

工具描述	链接
LoRA：Low-Rank指令微调方案	https://github.com/tloen/alpaca-lora
peft：parameter-efficient prompt tunnging工具集	https://github.com/huggingface/peft
RL4LMs：AllenAI的RL工具	https://github.com/allenai/RL4LMs
RLLTE：港大，大疆等联合开源RLLTE开源学习框架	https://github.com/RLE-Foundation/rllte
trl：基于Transformer的强化训练框架	https://github.com/lvwerra/trl
trlx：分布式训练trl	https://github.com/CarperAI/trlx
北大开源河狸项目可复现RLHF，支持多数LLM，提供RLHF数据	https://github.com/PKU-Alignment/safe-rlhf
RL4LMs：AllenAI的RL工具	https://github.com/allenai/RL4LMs
LMFlow：港科大实验室开源的大模型微调框架，支持以上多数开源模型的指令微调和RLHF	https://github.com/OptimalScale/LMFlow
hugNLP:基于Huggingface开发继承Prompt技术，预训练和是指输入等多种方案	https://github.com/wjn1996/HugNLP
Deepspeed：针对RL训练和推理的整合优化	https://github.com/microsoft/DeepSpeed
Uerpy:预训练框架支持lm,mlm,unilm等	https://github.com/dbiir/UER-py
TecentPretrain: Uerpy的重构版本支持llama预训练	https://github.com/Tencent/TencentPretrain/tree/main
lamini: 整合指令数据生成，SFT，RLHF的工具库	https://github.com/lamini-ai/lamini/
Chain-of-thought-hub：模型推理能力评估平台	https://github.com/FranxYao/chain-of-thought-hub
EasyEdit：浙大开源支持多种模型，多种方案的模型知识精准编辑器	https://github.com/zjunlp/EasyEdit
OpenDelta：集成了各种增量微调方案的开源实现	https://github.com/thunlp/OpenDelta
Megablocks：MOE训练框架	https://github.com/stanford-futuredata/megablocks
Tutel：MOE训练框架	https://github.com/microsoft/tutel
LongLora: 长文本微调框架	https://github.com/dvlab-research/LongLoRA
LlamaGym：在线RL微调框架	https://github.com/KhoomeiK/LlamaGym
Megatron-LM：主流LLM预训练框架	https://github.com/NVIDIA/Megatron-LM
TradingGym：参考openai gym的股票交易强化学习模拟器	https://github.com/astrologos/tradinggym
TradeMaster: 量化交易RL训练框架	https://github.com/TradeMaster-NTU/TradeMaster
REFT：大模型表征微调框架	https://github.com/stanfordnlp/pyreft

Auto/Multi Agent

工具描述	链接
AutoGen：微软开源多Agent顶层框架	https://github.com/microsoft/autogen
CrewAI: 比chatDev流程定义更灵活的多智能体框架	https://github.com/joaomdmoura/CrewAI
ChatDev: 面壁智能开源多智能体协作的虚拟软件公司	https://github.com/OpenBMB/ChatDev
Generative Agents:斯坦福AI小镇的开源代码	https://github.com/joonspk-research/generative_agents
BabyAGI：自执行LLM Agent	https://github.com/yoheinakajima/babyagi
AutoGPT：自执行LLM Agent	https://github.com/Torantulino/Auto-GPT
AutoGPT-Plugins：提供众多Auo-GPT官方和第三方的插件	https://github.com/Significant-Gravitas/Auto-GPT-Plugins
XAgent: 面壁智能开源双循环AutoGPT	https://github.com/OpenBMB/XAgent
MetaGPT: 覆盖软件公司全生命流程，例如产品经理等各个职业的AutoGPT	https://github.com/geekan/MetaGPT
ResearchGPT: 论文写作领域的AutoGPT，融合论文拆解+网络爬虫	https://github.com/assafelovic/gpt-researcher
MiniAGI：自执行LLM Agent	https://github.com/muellerberndt/mini-agi
AL Legion： 自执行LLM Agent	https://github.com/eumemic/ai-legion
AgentVerse：多模型交互环境	https://github.com/OpenBMB/AgentVerse
AgentSims: 给定一个社会环境，评估LLM作为智能体的预定任务目标完成能力的沙盒环境	https://github.com/py499372727/AgentSims/
GPTRPG：RPG环境 AI Agent游戏化	https://github.com/dzoba/gptrpg
GPTeam：多智能体交互	https://github.com/101dotxyz/GPTeam
GPTEngineer：自动工具构建和代码生成	https://github.com/AntonOsika/gpt-engineer
WorkGPT：类似AutoGPT	https://github.com/team-openpm/workgpt
AI-Town: 虚拟世界模拟器	https://github.com/a16z-infra/ai-town
webarena:网络拟真环境，可用于自主智能体的测试，支持在线购物，论坛，代码仓库etc	https://github.com/web-arena-x/webarena
MiniWoB++：100+web交互操作的拟真环境	https://github.com/Farama-Foundation/miniwob-plusplus
VIRL:虚拟世界模拟器	https://github.com/VIRL-Platform/VIRL
AgentK: 多智能体协作，自我进化，自主生成新智能体的框架	https://github.com/mikekelly/AgentK/tree/master
Swarm：OpenAi开源的多智能体框架，包括Agent路由，个性化Agent定制	https://github.com/openai/swarm
TinyGroup: 多角色模拟框架	https://github.com/microsoft/TinyTroupe?tab=readme-ov-file

Agent工具框架类

工具描述	链接
OpenAgents: 开源版ChatGPT-Plus搭建框架	https://github.com/xlang-ai/OpenAgents
LangGraph：白盒话，可循环基于有向无环图的Agent工作流构建框架	https://langchain-ai.github.io/langgraph/
langchain：LLM Agent框架	https://github.com/hwchase17/langchain
llama index：LLM Agent框架	https://github.com/jerryjliu/llama_index
Langroid: LLM Agent框架	https://github.com/langroid/langroid
Ragas: 评估检索增强LLM效果的框架，基于大模型prompt评估事实性，召回相关性，召回内容质量，回答相关性等	https://github.com/explodinggradients/ragas#fire-quickstart
fastRAG：检索框架，包括多索引检索，KG构建等基础功能	https://github.com/IntelLabs/fastRAG/tree/main
langflow：把langchain等agent组件做成了可拖拽式的UI	https://github.com/logspace-ai/langflow
PhiData：把工具调用抽象成function call的Agent框架	https://github.com/phidatahq/phidata
Haystack: LLM Agent 框架，pipeline的设计模式个人感觉比langchain更灵活更简洁	https://github.com/deepset-ai/haystack
EdgeChain: 通过Jsonnet配置文件实现LLM Agent	https://github.com/arakoodev/EdgeChains/tree/main
semantic-kernel：整合大模型和编程语言的SDK	https://github.com/microsoft/semantic-kernel
BMTTools: 清华出品多工具调用开源库，提供微调数据和评估ToolBench	https://github.com/OpenBMB/BMTools
Jarvis: 大模型调用小模型框架，给小模型一个未来！	https://github.com/search?q=jarvis
LLM-ToolMaker:让LLM自己制造Agent	https://github.com/ctlllll/LLM-ToolMaker
Gorilla: LLM调用大量API	https://github.com/ShishirPatil/gorilla
Open-Interpreter：命令行聊天框架	https://github.com/KillianLucas/open-interpreter
AnythingLLM: langchain推出的支持本地部署开源模型的框架	https://github.com/Mintplex-Labs/anything-llm
PromptFlow：微软推出的大模型应用框架	https://github.com/microsoft/promptflow
Anakin：和Coze类似的Agent定制应用，插件支持较少但workflow使用起来更简洁	r
TaskingAI：API-Oriented的类似langchain的大模型应用框架	https://www.tasking.ai/
TypeChat：微软推出的Schema Engineering风格的应用框架	https://github.com/microsoft/TypeChat
DSPy：把稳定性低的prompt优化为参数化和模板化的提示技术	https://github.com/stanfordnlp/dspy
PipeCAT：加入语音的Agent框架	https://github.com/pipecat-ai/pipecat/tree/main
Khoj: 桌面Agent的个人助手可本地部署	https://docs.khoj.dev/
farfalle：本地搭载的RAG引擎	https://github.com/rashadphz/farfalle/tree/main
Verba：本地搭载的RAG引擎	https://github.com/weaviate/Verba
Vanna：本地搭载提供了从已有数据库构建NL2SQL所需RAG数据库的方案	https://github.com/vanna-ai/vanna
TaskWeaver: code-first 的Agent	https://github.com/microsoft/TaskWeaver
QMedia：多模态检索框架	https://github.com/QmiAI/Qmedia?tab=readme-ov-file
Mem0： 支持长短期多层记忆的Agent框架	https://github.com/mem0ai/mem0
Automa： Chrome浏览器自动化扩展，相同思路可以接入LLM来进行任务编辑	https://automa.wiki/
RD-Agent: 微软推出的Agent框架和一些demo，例如kaggle Agent	https://github.com/microsoft/RD-Agent
Browser-use:适配Langchain,基于playwright的web use 框架	https://github.com/browser-use/browser-use

Agent Bot [托图形化拉拽中间层]

应用	链接
Wordware.ai: 新的flow构建交互形式，像notion一样的magic命令行形式	https://www.wordware.ai/?utm_source=toolify
Coze：免费	https://www.coze.com/
Dify	https://dify.ai/zh
Anakin	https://app.anakin.ai/discover
FLowise	https://github.com/FlowiseAI/Flowise/blob/main/README-ZH.md
Microsoft Power Automate	https://www.microsoft.com/zh-cn/power-platform/products/power-automate
Mind Studio：有限使用	https://youai.ai/
QuestFlow：付费	https://www.questflow.ai/
WordWare.ai:	https://www.wordware.ai/?ref=aihub.cn
Zion：低代码平台也入局了	https://zion.functorz.com/userCenter/personal
TBOX：阿里版的Coze	https://tbox.alipay.com/pro-about

RAG，Agent配套工具

工具	描述
Alexandria	从Arix论文开始把整个互联网变成向量索引，可以免费下载
RapidAPI	统一这个世界的所有API，最大API Hub，有调用成功率，latency等，是真爱！
Composio	可以和langchain，crewAI等进行集成的工具API
PyTesseract	OCR解析服务
EasyOCR	确实使用很友好的OCR服务
surya	OCR服务
Vary	旷视多模态大模型pdf直接转Markdown
LLamaParse	LLamaIndex提供的PDF解析服务，每天免费1000篇
Jina-Cobert	Jian AI开源中英德，8192 Token长文本Embedding
BGE-M3	智源开源多语言，稀疏+稠密表征，8192 Token长文本Embedding
BCE	网易开源更适配RAG任务的Embedding模型
PreFLMR-VIT-G	剑桥开源多模态Retriever
openparse	文本解析分块开源服务，先分析文档的视觉布局再进行切分
layout-parser	准确度较高的开源OCR文档布局识别
AdvancedLiterateMachinery	阿里OCR团队的文档解析和图片理解
ragflow-deepdoc	ragflow提供的文档识别和解析能力
FireCrawl	爬取url并生成markdown的神器
Jina-Reader	把网页转换成模型可读的格式
spRAG	注入上下文表征，和自动组合上下文提高完整性
knowledge-graph	自动知识图谱构建工具
Marker-API	PDF转Markdwon服务
MinerU	文档识别，加入了Layout识别，Reading Order排序，公式识别，OCR文字识别的pipeline
InstaGraph	InstaGraph: 把内容直接转换成图谱
https://github.com/microsoft/markitdown	微软开源的多格式转换markdown

其他垂直领域Agent

工具描述	链接
GPT4v-ACT：基于JS DOM识别网页元素，服务于各类多模态webagent	https://github.com/ddupont808/GPT-4V-Act?tab=readme-ov-file
Deep-KE：基于LLM对数据进行智能解析实现知识抽取	https://github.com/zjunlp/DeepKE
IncarnaMind：多文档RAG方案，动态chunking的方案可以借鉴	https://github.com/junruxiong/IncarnaMind
Vectra：平台化的LLM Agent搭建方案，从索引构建，内容召回排序，到事实检查的LLM生成	https://vectara.com/tour-vectara/
Data-Copilot：时间序列等结构化数据分析领域的Agent解决方案	https://github.com/zwq2018/Data-Copilot
DB-GPT: 以数据库为基础的GPT实验项目，使用本地化的GPT大模型与您的数据和环境进行交互	https://db-gpt.readthedocs.io/projects/db-gpt-docs-zh-cn/zh_CN/latest/index.html
guardrails：降低模型幻觉的python框架，promp模板+validation+修正	https://github.com/shreyar/guardrails
guidance：微软新开源框架，同样是降低模型幻觉的框架，prompt+chain的升级版加入逐步生成和思维链路	https://github.com/guidance-ai/guidance
SolidGPT: 上传个人数据，通过命令交互创建项目PRD等	https://github.com/AI-Citizen/SolidGPT
HR-Agent: 类似HR和员工交互，支持多工具调用	https://github.com/stepanogil/autonomous-hr-chatbot
BambooAI：数据分析Agent	https://github.com/pgalko/BambooAI
AlphaCodium：通过Flow Engineering完成代码任务	https://github.com/Codium-ai/AlphaCodium
REOR: AI驱动的笔记软件	https://github.com/reorproject/reor
Vanna.AI: chat with sql database	https://vanna.ai/
ScrapeGraph：融合了图逻辑和LLM	https://scrapegraph-doc.onrender.com/
OpenAct：Adapt-AI推出了的和桌面GUI交互的Agent框架	https://github.com/OpenAdaptAI/OpenAdapt
LaVague：WebAgent框架，偏低层指令交互性把指令转换成Selenium代码去和网页交互	https://github.com/lavague-ai/LaVague/tree/main
Tarsier: webagent的辅助工具把网站转换成可交互元素序号和描述	https://github.com/reworkd/tarsier?tab=readme-ov-file
RecAI：微软推出的推荐领域LLM Agent	https://github.com/microsoft/RecAI
Skyvern: WebAgent框架	https://www.skyvern.com/
Translation Agent: 吴恩达开源的简单的翻译Agent，prompt也是用的XML格式	https://github.com/andrewyng/translation-agent/blob/main/src/translation_agent/utils.py
GPT-Computer-Assistant：和电脑直接进行交互的Agent基于Crewai	https://github.com/onuratakan/gpt-computer-assistant
WiseFlow：自动收集数据的爬虫任务	https://github.com/TeamWiseFlow/wiseflow/tree/master
LaVague：WebAgent框架	https://github.com/lavague-ai/LaVague
TransAgent:腾讯推出的多智能体翻译，可以在线体验	https://www.transagents.ai/
Chat2DB：NL2SQL	https://github.com/CodePhiliaX/Chat2DB

Prompt Engineer

• Weavel APE
• DSPY：类比Pydantic的标准化prompt和针对few-shot选择的调优
• PromptPerfect：提供多种模态，多模型的prompt一键优化插件
• LangGPT: 结构化Prompt编写模版