Zenow：告别云端泄露，本地化的 AI 知识助手

近日，Firefly 联合进迭时空发布了 K3 系列 RISC-V 产品矩阵，涵盖了核心板、行业主板、嵌入式主机和集群服务器等多种产品形态，这些产品均可支持高效落地端侧大模型私有化、低时延智能推理。本篇文章介绍的是基于 K3 Bianbu LXQT/GNOME 的 AI 解决方案——知了（Zenow）。

什么是知了（Zenow）？

知了（Zenow） 是一款由进迭时空本地运行的 AI 知识助手桌面应用，所有数据处理均在本地完成，充分保护您的隐私安全。支持多模型管理、智能对话、知识库问答等功能，具有以下核心特性：

隐私保护：所有数据本地处理，不上传云端；

多模型支持：可同时运行 LLM、Embed、Rerank 三类模型；

知识库问答：基于本地文档进行智能问答；

多轮对话：保持上下文记忆的连续对话。

如何安装 Zenow？

在终端中执行以下命令安装 Zenow 及其依赖：

sudoapt updatesudoapt install llama.cpp-tools-spacemit spacemit-onnxruntime python3-spacemit-ortsudoapt install zenow

如何启动 Zenow？

Zenow 启动流程视频演示：

启动 Zenow 具体步骤说明：

1. 启动应用

在左下角菜单，搜索 Zenow 或知了，点击启动

2. 下载大模型

首次使用需要下载 AI 模型（支持同时下载多个模型）

- 点击左侧导航栏的设置图标

- 在模型列表中选择需要的模型

- 点击模型名称开始下载

3. 启动模型及状态说明

下载完成后，再次点击模型名称启动：

● 红灯：模型未启动

● 黄灯：模型启动中

● 绿灯：模型已就绪

重要提示：为使用完整的知识库功能，建议至少下载并启动以下三类模型各一个：

LLM 模型：用于对话生成

Embed 模型：用于文本向量化

Rerank 模型：用于结果排序

本地 AI 大模型智能对话

Zenow启动后，确认聊天页面的大模型状态为绿灯，即可在输入框输入文本，开启新的 AI 对话。应用会自动创建对话会话，支持多轮连续对话，保持上下文记忆。

知识库管理功能

预置知识库使用演示：

知识库默认预置 SpacemiT 知识库，可以通过引用相关知识库，询问知识库内的相关问题，如 K3 的算力。

Zenow 知识库使用说明：

1. 创建知识库

- 点击左侧导航栏的知识库

- 点击新建知识库按钮

- 填写知识库名称和简介

- 可选择自定义头像

2. 导入文档

- 进入已创建的知识库

- 点击添加文档按钮

- 选择要上传的文件（支持按住 Ctrl 多选）

- 等待文档处理完成

- 如果文档未向量完离开该页面，会有弹窗，此时点击继续向量化耐心等待向量化完成

3. 基于知识库的对话

- 选择新建对话或者选择历史会话

- 在输入框中，引用需要使用的知识库

- 发起对话，AI 将基于知识库内容回答

常见问题解答

Q1：模型下载失败怎么办？

- 检查网络连接是否正常

- 确认磁盘空间是否充足

- 可以尝试重新下载

Q2：模型启动失败显示红灯？

- 检查系统资源是否充足（比如内存），30B 模型最好使用 32GB 及以上内存

Q3：知识库问答效果不好？

- 确保已启动 LLM、Embed、Rerank 三类模型

- 调整 RAG 参数

- 检查上传的文档内容是否相关

Q4：如何提升 AI 响应速度？

- 选择较小的模型（如：2B 而非 30B）

- 减少上下文窗口大小