h2oGPT

h2oGPT

这个开源项目是你私人的文档内容分析、总结的 AI 助手，将你的文档（PDF、Word、图片、代码等）或数据库中的内容导入到该模型中。

通过问答的方式，让 AI 总结、查询你的个人文档。目前支持 Linux、Windows、Mac

查询和总结您的文档，或者只是使用 h2oGPT（一个 Apache V2 开源项目）与本地私有 GPT LLM 聊天。

任何文档（PDF，Excel，Word，图像，代码，文本，MarkDown等）的私人离线数据库
使用精确嵌入的持久数据库（Chroma、Weaviate 或内存中 FAISS）（讲师大型、全 MiniLM-L6-v2 等）
使用指令调优的LLM有效使用上下文（不需要LangChain的少数镜头方法）
并行汇总达到 80 个令牌/秒输出 13B LLaMa2
通过 UI 上传和查看文档（控制多个协作或临时集合）
具有所有模型流的 UI 或 CLI
烘烤同时针对多个模型的 UI 模式
支持多种型号（LLaMa2，Falcon，Vicuna，WizardLM，包括AutoGPTQ，4位/ 8位，LORA）
来自 HF 和 LLaMa.cpp GGML 模型的 GPU 支持，以及使用 HF、LLaMa.cpp 和 GPT4ALL 模型的 CPU 支持
Linux、Docker、MAC 和 Windows 支持
推理服务器支持（HF TGI服务器，vLLM，Gradio，ExLLaMa，OpenAI）
符合 OpenAI 标准的 Python 客户端 API，用于客户端-服务器控制
使用奖励模型评估绩效