跳到主要内容

快速开始

联通数字科技有限公司-元景网络安全大模型团队翻译

RAGFlow 是一个基于深度文档理解的开源 RAG（检索增强生成）引擎。与 LLM 集成时，它能够提供真实的问答能力，并有来自各种复杂格式数据的可靠引用支持。

本快速入门指南描述了一个从以下步骤的一般过程：

  • 启动本地 RAGFlow 服务器
  • 创建知识库
  • 干预文件解析
  • 基于您的数据集建立 AI 聊天
重要

我们正式支持 x86 CPU 和 Nvidia GPU，本文档提供了在 x86 平台上使用 Docker 部署 RAGFlow 的说明。虽然我们也在 ARM64 平台上测试 RAGFlow，但我们不维护 ARM 的 RAGFlow Docker 镜像。

如果您使用的是 ARM 平台，请按照此指南构建 RAGFlow Docker 镜像。

前提条件​

  • CPU ≥ 4 核（x86）
  • RAM ≥ 16 GB
  • 磁盘 ≥ 50 GB
  • Docker ≥ 24.0.0 & Docker Compose ≥ v2.26.1
  • gVisor：仅当您打算使用 RAGFlow 的代码执行器（沙盒）功能时才需要。
注意

如果您的本地机器（Windows、Mac 或 Linux）上未安装 Docker，请参阅 安装 Docker 引擎。

启动服务器​

本节提供在 Linux 上设置 RAGFlow 服务器的说明。如果您使用的是不同的操作系统，不用担心。大多数步骤都是相似的。

1. 确保 vm.max_map_count ≥ 262144：

vm.max_map_count。此值设置进程可以拥有的内存映射区域的最大数量。其默认值为 65530。虽然大多数应用程序需要少于一千个映射，但减少此值可能导致异常行为，并且当进程达到限制时系统会抛出内存不足错误。

RAGFlow v0.20.0 使用 Elasticsearch 或 Infinity 进行多重召回。正确设置 vm.max_map_count 值对 Elasticsearch 组件的正常运行至关重要。

1.1. 检查 vm.max_map_count 的值：

$ sysctl vm.max_map_count

1.2. 如果值不是，将 vm.max_map_count 重置为至少 262144 的值。

$ sudo sysctl -w vm.max_map_count=262144
警告

此更改会在系统重启后被重置。如果您忘记在下次启动服务器时更新该值，可能会出现 Can't connect to ES cluster 异常。

1.3. 为确保您的更改保持永久生效，请在 /etc/sysctl.conf 中相应地添加或更新 vm.max_map_count 值：

vm.max_map_count=262144

  1. 克隆仓库：

    $ git clone https://github.com/infiniflow/ragflow.git
    $ cd ragflow/docker
    $ git checkout -f v0.20.0

  2. 使用预构建的 Docker 镜像并启动服务器：

    注意

    下面的命令下载 RAGFlow Docker 镜像的 v0.20.0-slim 版本。请参考以下表格了解不同 RAGFlow 版本的描述。要下载不同于 v0.20.0-slim 的 RAGFlow 版本，请在使用 docker compose 启动服务器之前，在 docker/.env 中相应更新 RAGFLOW_IMAGE 变量。例如：为完整版 v0.20.0 设置 RAGFLOW_IMAGE=infiniflow/ragflow:v0.20.0。

    # 使用 CPU 进行嵌入和 DeepDoc 任务：
    $ docker compose -f docker-compose.yml up -d

    # 使用 GPU 加速嵌入和 DeepDoc 任务：
    # docker compose -f docker-compose-gpu.yml up -d
RAGFlow image tagImage size (GB)Has embedding models and Python packages?Stable?
v0.20.0≈9✔️Stable release
v0.20.0-slim≈2❌Stable release
nightly≈9✔️Unstable nightly build
nightly-slim≈2❌Unstable nightly build
重要

v0.20.0 和 nightly 中包含的嵌入模型有：

  • BAAI/bge-large-zh-v1.5
  • maidalun1020/bce-embedding-base_v1

这两个嵌入模型专门针对英语和中文进行了优化，所以如果您使用它们来嵌入其他语言的文档，性能会有所降低。

注意

显示的镜像大小是指下载的 Docker 镜像的大小，该镜像是压缩的。当 Docker 运行镜像时，它会解压，导致磁盘使用量显著增加。例如，精简版镜像在解压后将扩展到约 7 GB。

  1. 在服务器启动并运行后检查服务器状态：

    $ docker logs -f ragflow-server

    以下输出确认系统成功启动：

         ____   ___    ______ ______ __
        / __ \ /   |  / ____// ____// /____  _      __
       / /_/ // /| | / / __ / /_   / // __ \| | /| / /
      / _, _// ___ |/ /_/ // __/  / // /_/ /| |/ |/ /
     /_/ |_|/_/  |_|\____//_/    /_/ \____/ |__/|__/

     * Running on all addresses (0.0.0.0)
重要

如果您跳过此确认步骤并直接登录 RAGFlow，您的浏览器可能会提示 network anomaly 错误，因为此时您的 RAGFlow 可能尚未完全初始化。

  1. 在您的网络浏览器中，输入您服务器的 IP 地址并登录 RAGFlow。
警告

使用默认设置，您只需输入 http://IP_OF_YOUR_MACHINE（不带端口号），因为在使用默认配置时可以省略默认的 HTTP 服务端口 80。

配置 LLM​

RAGFlow 是一个 RAG 引擎，需要与 LLM 配合工作以提供有根据的、无幻觉的问答功能。RAGFlow 支持大多数主流 LLM。有关支持的模型的完整列表，请参阅支持的模型。

备注

RAGFlow 也支持使用 Ollama、Xinference 或 LocalAI 本地部署 LLM，但本快速入门指南不涵盖这部分内容。

要添加和配置 LLM：

  1. 点击页面右上角的您的登录标识 > 模型提供商：

    add llm

  2. 点击所需的 LLM 并相应更新 API 密钥（此例中为 DeepSeek-V2）：

    update api key

    您添加的模型显示如下：

    added available models

  3. 点击系统模型设置来选择默认模型：

    • 聊天模型，
    • 嵌入模型，
    • 图像转文本模型。

    system model settings

某些模型（如图像转文本模型 qwen-vl-max）是特定 LLM 的子模型。您可能需要更新您的 API 密钥来访问这些模型。

创建您的第一个知识库​

您可以在 RAGFlow 中上传文件到知识库并将它们解析为数据集。知识库实际上是数据集的集合。RAGFlow 中的问答可以基于特定的知识库或多个知识库。RAGFlow 支持的文件格式包括文档（PDF、DOC、DOCX、TXT、MD、MDX）、表格（CSV、XLSX、XLS）、图片（JPEG、JPG、PNG、TIF、GIF）和幻灯片（PPT、PPTX）。

要创建您的第一个知识库：

  1. 点击页面中上方的知识库标签 > 创建知识库。

  2. 输入您的知识库名称，并点击确定确认您的更改。

    您会被引导到您知识库的配置页面。

    knowledge base configuration

  3. RAGFlow 提供多种块模板，适应不同的文档布局和文件格式。为您的知识库选择嵌入模型和分块方法（模板）。

重要

一旦您选择了嵌入模型并使用它解析文件，您就不再允许更改它。明显的原因是我们必须确保特定知识库中的所有文件都使用相同的嵌入模型进行解析（确保它们在同一嵌入空间中进行比较）。

您会被引导到您知识库的数据集页面。

  1. 点击**+ 添加文件** > 本地文件开始将特定文件上传到知识库。

  2. 在上传的文件条目中，点击播放按钮开始文件解析：

    file parsing

    当文件解析完成时，其解析状态会变为 SUCCESS。

注意
  • 如果您的文件解析卡在 1% 以下，请参阅此常见问题。
  • 如果您的文件解析在接近完成时卡住，请参阅此常见问题。

干预文件解析​

RAGFlow 具有可见性和可解释性功能，允许您查看分块结果并在必要时进行干预。要做到这一点：

  1. 点击完成文件解析的文件以查看分块结果：

    您会被引导到分块页面：

    chunks

  2. 将鼠标悬停在每个快照上，可快速查看每个块。

  3. 双击分块文本来添加关键词或在必要时进行手动更改：

    update chunk

注意

您可以向文件块添加关键词，以提高其对包含这些关键词的查询的排名。此操作会增加其关键词权重，并可以提高其在搜索列表中的位置。

  1. 在检索测试中，在测试文本中提出一个快速问题来再次检查您的配置是否有效：

    正如您从以下内容中可以看到，RAGFlow 会回应带有真实引用的内容。

    retrieval test

设置 AI 聊天​

RAGFlow 中的对话基于特定的知识库或多个知识库。一旦您创建了知识库并完成了文件解析，就可以开始 AI 对话。

  1. 点击页面中上方的聊天标签 > 创建助手以显示您下一个对话的聊天配置对话框。

    RAGFlow 提供为每个对话选择不同聊天模型的灵活性，同时允许您在系统模型设置中设置默认模型。

  2. 更新助手设置：

    • 命名您的助手并指定您的知识库。
    • 空响应：
      • 如果您希望将 RAGFlow 的答案限制在您的知识库中，请在此处留下响应。然后当它没有检索到答案时，它会统一用您在此处设置的内容回应。
      • 如果您希望 RAGFlow 在没有从您的知识库中检索到答案时进行即兴发挥，请将其留空，这可能会导致幻觉。

  3. 更新提示引擎或在开始时保持不变。

  4. 更新模型设置。

  5. 现在，让我们开始表演：

    question1

    question2

注意

RAGFlow 还提供 HTTP 和 Python API，供您将 RAGFlow 的功能集成到您的应用程序中。请阅读以下文档以获取更多信息：