133 lines
2.6 KiB
Markdown
133 lines
2.6 KiB
Markdown
|
# TXT版轻量NotebookLM
|
|||
|
|
|
|||
|
|
一个基于RAG（Retrieval-Augmented Generation）的轻量级TXT文档处理工具，支持上传、检索、生成一体化。
|
|||
|
|
|
|||
|
|
## 功能特性
|
|||
|
|
|
|||
|
|
- TXT批量处理和智能解析
|
|||
|
|
- FAISS向量化存储和检索
|
|||
|
|
- BM25+向量混合检索
|
|||
|
|
- 多风格文案生成
|
|||
|
|
- 幻觉检测机制
|
|||
|
|
- 异步任务队列（Celery+Redis）
|
|||
|
|
- 进度跟踪和增量更新
|
|||
|
|
- Markdown/DOCX导出功能
|
|||
|
|
|
|||
|
|
## 系统要求
|
|||
|
|
|
|||
|
|
- Python 3.8+
|
|||
|
|
- Redis服务
|
|||
|
|
- AI API密钥（OpenAI、Anthropic或通义千问）
|
|||
|
|
|
|||
|
|
## 安装步骤
|
|||
|
|
|
|||
|
|
1. 克隆项目：
|
|||
|
|
```bash
|
|||
|
|
git clone <repository-url>
|
|||
|
|
cd notebookls
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
2. 安装依赖：
|
|||
|
|
```bash
|
|||
|
|
pip install -r requirements.txt
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
3. 配置环境变量：
|
|||
|
|
```bash
|
|||
|
|
cp .env.example .env
|
|||
|
|
# 编辑.env文件，添加您的API密钥
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
4. 启动Redis服务（需要单独安装）
|
|||
|
|
|
|||
|
|
5. （推荐）使用一键启动脚本启动所有服务：
|
|||
|
|
```bash
|
|||
|
|
./start_all.sh # Linux/Mac
|
|||
|
|
start_all.bat # Windows
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
或者分别启动各个服务：
|
|||
|
|
|
|||
|
|
a. 启动Celery Worker：
|
|||
|
|
```bash
|
|||
|
|
./start_celery.sh # Linux/Mac
|
|||
|
|
start_celery.bat # Windows
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
b. 启动主应用：
|
|||
|
|
```bash
|
|||
|
|
./start.sh # Linux/Mac
|
|||
|
|
start.bat # Windows
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
## 多平台模型支持
|
|||
|
|
|
|||
|
|
本系统支持多种AI模型提供商，包括：
|
|||
|
|
|
|||
|
|
### OpenAI
|
|||
|
|
- 嵌入模型：`text-embedding-ada-002`
|
|||
|
|
- 生成模型：`gpt-3.5-turbo`, `gpt-4`
|
|||
|
|
|
|||
|
|
### Anthropic
|
|||
|
|
- 嵌入模型：`claude-2`
|
|||
|
|
- 生成模型：`claude-2`
|
|||
|
|
|
|||
|
|
### 通义千问
|
|||
|
|
- 嵌入模型：`text-embedding-v1`
|
|||
|
|
- 生成模型：`qwen-turbo`, `qwen-plus`
|
|||
|
|
|
|||
|
|
### 中转站支持
|
|||
|
|
系统支持通过中转站调用API，可以在配置中设置自定义API地址。
|
|||
|
|
|
|||
|
|
## 配置说明
|
|||
|
|
|
|||
|
|
在 `.env` 文件中配置以下参数：
|
|||
|
|
|
|||
|
|
```env
|
|||
|
|
# OpenAI API配置
|
|||
|
|
OPENAI_API_KEY=your_openai_api_key
|
|||
|
|
OPENAI_API_BASE=https://api.openai.com/v1
|
|||
|
|
|
|||
|
|
# Anthropic API配置
|
|||
|
|
ANTHROPIC_API_KEY=your_anthropic_api_key
|
|||
|
|
ANTHROPIC_API_BASE=https://api.anthropic.com/v1
|
|||
|
|
|
|||
|
|
# 通义千问API配置
|
|||
|
|
QWEN_API_KEY=your_qwen_api_key
|
|||
|
|
QWEN_API_BASE=https://dashscope.aliyuncs.com/api/v1
|
|||
|
|
|
|||
|
|
# 模型提供商配置
|
|||
|
|
EMBEDDING_PROVIDER=openai
|
|||
|
|
GENERATION_PROVIDER=openai
|
|||
|
|
|
|||
|
|
# 模型配置
|
|||
|
|
EMBEDDING_MODEL=text-embedding-ada-002
|
|||
|
|
GENERATION_MODEL=gpt-3.5-turbo
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
在设置页面中也可以动态修改这些配置。
|
|||
|
|
|
|||
|
|
## 使用方法
|
|||
|
|
|
|||
|
|
1. 访问 `http://localhost:8001`
|
|||
|
|
2. 上传TXT文件
|
|||
|
|
3. 输入查询或关键词
|
|||
|
|
4. 选择生成风格
|
|||
|
|
5. 点击生成按钮
|
|||
|
|
6. 查看和导出结果
|
|||
|
|
|
|||
|
|
## 技术架构
|
|||
|
|
|
|||
|
|
- 后端：FastAPI
|
|||
|
|
- 异步任务：Celery + Redis
|
|||
|
|
- 向量存储：FAISS
|
|||
|
|
- 前端：HTML + JavaScript
|
|||
|
|
- 文本处理：jieba分词
|
|||
|
|
|
|||
|
|
## 贡献指南
|
|||
|
|
|
|||
|
|
欢迎提交Issue和Pull Request来改进项目。
|
|||
|
|
|
|||
|
|
## 许可证
|
|||
|
|
|
|||
|
|
MIT License
|