447 lines
24 KiB
Markdown
447 lines
24 KiB
Markdown
# 测试用例
|
||
|
||
> 测试不是为了证明代码没问题，而是为了发现问题。
|
||
> 一个人没有 QA 团队，更需要系统化的测试来兜底。
|
||
|
||
---
|
||
|
||
## 一、测试策略
|
||
|
||
### 1.1 测试分层
|
||
|
||
| 层级 | 测试什么 | 工具 | 谁来做 |
|
||
|------|---------|------|--------|
|
||
| **单元测试** | 单个函数/方法的逻辑 | pytest（Python）/ Vitest（Vue） | 开发时写 |
|
||
| **接口测试** | API 接口入参出参 | curl / pytest | 接口写完后 |
|
||
| **功能测试** | 完整业务流程 | 手动操作 | 每个阶段结束 |
|
||
| **端到端测试** | 用户视角的完整流程 | 手动操作 | 上线前 |
|
||
|
||
### 1.2 一个人的务实选择
|
||
|
||
你是一个人、45 天 deadline，不可能每个都写自动化测试。建议：
|
||
|
||
| 测试类型 | 投入 | 建议 |
|
||
|----------|------|------|
|
||
| 单元测试 | 中 | **只测核心业务逻辑**（BaoDan 调用封装、消息加解密），不测 CRUD |
|
||
| 接口测试 | 低 | 用 curl 或 Postman 手动测，不写自动化 |
|
||
| 功能测试 | 必须 | 每个阶段结束时手动走一遍 |
|
||
| 端到端测试 | 必须 | 上线前用下面的测试用例表完整走一遍 |
|
||
|
||
---
|
||
|
||
## 二、功能测试用例
|
||
|
||
### 2.1 智能问答（M1）
|
||
|
||
#### 2.1.1 对话交互
|
||
|
||
| 用例编号 | 测试场景 | 操作步骤 | 预期结果 | 优先级 |
|
||
|---------|---------|---------|---------|--------|
|
||
| M1-01 | 正常提问 | 在对话框输入"重疾险等待期多少天"，发送 | AI 从知识库检索并回答，答案准确，有引用来源 | P0 |
|
||
| M1-02 | 连续对话 | 连续问 3 个相关问题 | AI 能理解上下文，回答前后连贯 | P0 |
|
||
| M1-03 | 新建对话 | 点击"新建对话"按钮 | 开始一个全新对话，之前的上下文不影响 | P1 |
|
||
| M1-04 | 历史对话 | 刷新页面，查看对话列表 | 之前的对话记录还在，点击可继续 | P1 |
|
||
| M1-05 | 发送空消息 | 不输入任何内容，点发送 | 发送按钮禁用或提示"请输入问题" | P1 |
|
||
|
||
#### 2.1.2 回复展示
|
||
|
||
| 用例编号 | 测试场景 | 操作步骤 | 预期结果 | 优先级 |
|
||
|---------|---------|---------|---------|--------|
|
||
| M1-06 | Markdown 渲染 | AI 回复包含表格、列表、加粗 | 正确渲染 Markdown 格式，表格对齐 | P0 |
|
||
| M1-07 | 引用来源展示 | AI 回答一个问题 | 回答下方显示引用的知识库文档名称 | P1 |
|
||
| M1-08 | 回复加载状态 | 发送问题后等待 AI 回复 | 显示"正在思考..."或打字动画 | P1 |
|
||
| M1-09 | 长文本回复 | 问一个需要长回答的问题 | 回复完整展示，不截断，可以滚动查看 | P1 |
|
||
|
||
#### 2.1.3 检索范围控制
|
||
|
||
| 用例编号 | 测试场景 | 操作步骤 | 预期结果 | 优先级 |
|
||
|---------|---------|---------|---------|--------|
|
||
| M1-10 | 选择知识库 | 在对话界面选择只搜索"寿险"知识库 | 回答只基于寿险相关内容 | P0 |
|
||
| M1-11 | 多知识库检索 | 不限定范围，提问通用问题 | 从所有知识库中检索最相关的内容 | P0 |
|
||
| M1-12 | 无匹配结果 | 提问一个知识库完全没有的内容 | AI 回答"当前知识库中未找到相关内容" | P0 |
|
||
|
||
#### 2.1.4 反馈纠错
|
||
|
||
| 用例编号 | 测试场景 | 操作步骤 | 预期结果 | 优先级 |
|
||
|---------|---------|---------|---------|--------|
|
||
| M1-13 | 点赞/点踩 | 对 AI 回复点击赞或踩 | 记录反馈（BaoDan 后台可见） | P2 |
|
||
|
||
---
|
||
|
||
### 2.2 产品推荐方案（M2）
|
||
|
||
#### 2.2.1 信息录入
|
||
|
||
| 用例编号 | 测试场景 | 操作步骤 | 预期结果 | 优先级 |
|
||
|---------|---------|---------|---------|--------|
|
||
| M2-01 | 正常填写表单 | 填写所有必填项，点击"生成方案" | 表单提交成功，进入生成等待页面 | P0 |
|
||
| M2-02 | 缺少必填项 | 不填年龄，点击"生成方案" | 提示"请填写年龄"，不提交 | P0 |
|
||
| M2-03 | 非法输入 | 年龄填 -1 或 999 | 提示"年龄应在 0-150 之间" | P0 |
|
||
| M2-04 | 年龄填文字 | 年龄填"abc" | 提示"请输入有效数字" | P1 |
|
||
| M2-05 | 预算为 0 | 年预算填 0 | 提示"请输入有效预算"或允许（说明不限预算） | P1 |
|
||
| M2-06 | 最少信息 | 只填必填项，选填项不填 | 能正常提交并生成方案 | P1 |
|
||
|
||
#### 2.2.2 AI 生成方案
|
||
|
||
| 用例编号 | 测试场景 | 操作步骤 | 预期结果 | 优先级 |
|
||
|---------|---------|---------|---------|--------|
|
||
| M2-07 | 正常生成 | 填写典型需求（30岁/男/年收入20万/预算5000） | 生成包含 2-3 个推荐方案的对比报告 | P0 |
|
||
| M2-08 | 生成过程等待 | 点击生成后等待 | 显示 loading 状态，有进度提示 | P0 |
|
||
| M2-09 | 生成超时 | 模拟 BaoDan 响应慢（>60秒） | 提示"生成超时，请重试"，不卡死 | P0 |
|
||
| M2-10 | 知识库无匹配 | 选择一个知识库中没有的险种组合 | 提示"未找到匹配的保险产品" | P1 |
|
||
| M2-11 | 极端需求 | 80岁老人/年收入500万/预算10万 | 能正常生成方案（即使推荐结果有限） | P2 |
|
||
|
||
#### 2.2.3 方案展示与编辑
|
||
|
||
| 用例编号 | 测试场景 | 操作步骤 | 预期结果 | 优先级 |
|
||
|---------|---------|---------|---------|--------|
|
||
| M2-12 | 方案预览 | 生成方案后查看 | Markdown 格式正确渲染，表格对齐 | P0 |
|
||
| M2-13 | 打印方案 | 点击"打印"按钮 | 打开浏览器打印预览，排版可读 | P1 |
|
||
| M2-14 | 重新生成 | 对结果不满意，点"重新生成" | 重新调用 AI 生成新方案 | P1 |
|
||
|
||
---
|
||
|
||
### 2.3 企微机器人（M4）
|
||
|
||
#### 2.3.1 单聊
|
||
|
||
| 用例编号 | 测试场景 | 操作步骤 | 预期结果 | 优先级 |
|
||
|---------|---------|---------|---------|--------|
|
||
| M4-01 | 正常问答 | 在企微私聊机器人发"车险理赔流程" | 收到 AI 回复，内容准确 | P0 |
|
||
| M4-02 | 连续对话 | 连续问 3 个问题 | 每次都收到回复，对话上下文保持 | P0 |
|
||
| M4-03 | 回复时间 | 发送问题后计时 | 10 秒内收到回复（BaoDan + 企微延迟） | P1 |
|
||
| M4-04 | 超长消息 | 发送 2000 字以上的问题 | 正常处理，不报错 | P2 |
|
||
|
||
#### 2.3.2 群聊
|
||
|
||
| 用例编号 | 测试场景 | 操作步骤 | 预期结果 | 优先级 |
|
||
|---------|---------|---------|---------|--------|
|
||
| M4-05 | 群内 @机器人 | 在群里 @机器人 问一个问题 | 机器人在群内回复，其他人可见 | P0 |
|
||
| M4-06 | 不 @不回复 | 在群里发消息但不 @机器人 | 机器人不回复 | P0 |
|
||
| M4-07 | 多人同时 @ | A 和 B 几乎同时 @机器人 问问题 | 两个人都收到各自的回复，不混淆 | P0 |
|
||
| M4-08 | 非文本消息 | 在群里 @机器人 发图片/表情 | 机器人回复"暂不支持该消息类型"或忽略 | P1 |
|
||
| M4-09 | 机器人被移出群 | 将机器人移出群聊 | 不报错，不再响应 | P2 |
|
||
|
||
#### 2.3.3 异常场景
|
||
|
||
| 用例编号 | 测试场景 | 操作步骤 | 预期结果 | 优先级 |
|
||
|---------|---------|---------|---------|--------|
|
||
| M4-10 | BaoDan 服务宕机 | 停止 BaoDan 服务，在企微发消息 | 收到友好提示"服务暂时不可用" | P0 |
|
||
| M4-11 | 网络超时 | 模拟网络延迟 | 企微不重试（避免重复回复） | P0 |
|
||
| M4-12 | 后端重启 | 重启 BaoDan 后端服务 | 重启后企微消息正常处理 | P1 |
|
||
|
||
---
|
||
|
||
### 2.4 企微 OAuth 登录（M5）
|
||
|
||
| 用例编号 | 测试场景 | 操作步骤 | 预期结果 | 优先级 |
|
||
|---------|---------|---------|---------|--------|
|
||
| M5-01 | 首次登录 | 访问系统，点击"企微登录" | 跳转企微授权页 → 授权 → 返回系统首页 | P0 |
|
||
| M5-02 | 已登录访问 | 登录后直接访问首页 | 直接进入系统，不弹登录 | P0 |
|
||
| M5-03 | Token 过期 | 登录后等 Token 过期 | 自动跳转到登录页 | P1 |
|
||
| M5-04 | 未授权用户 | 非公司企微用户尝试登录 | 提示"无权访问" | P1 |
|
||
| M5-05 | 多设备登录 | 手机和电脑同时登录 | 两处都能正常使用 | P2 |
|
||
|
||
---
|
||
|
||
### 2.5 知识库管理（M3）
|
||
|
||
| 用例编号 | 测试场景 | 操作步骤 | 预期结果 | 优先级 |
|
||
|---------|---------|---------|---------|--------|
|
||
| M3-01 | 上传文档 | 在 BaoDan 后台上传一个 MD 文件 | 上传成功，状态显示"处理中"→"已完成" | P0 |
|
||
| M3-02 | 批量上传 | 一次上传 10 个 MD 文件 | 全部上传成功，逐个完成向量化 | P0 |
|
||
| M3-03 | 处理状态监控 | 上传后查看知识库 | 显示每个文档的处理进度和状态 | P1 |
|
||
| M3-04 | 召回测试 | 在 BaoDan 后台测试检索 | 输入问题，返回相关段落 | P0 |
|
||
| M3-05 | 删除文档 | 删除知识库中的一个文档 | 删除成功，后续检索不再包含该文档内容 | P1 |
|
||
| M3-06 | 上传大文件 | 上传一个 50MB 的 MD 文件 | 正常处理，不超时 | P2 |
|
||
|
||
---
|
||
|
||
### 2.6 系统配置（M6）
|
||
|
||
| 用例编号 | 测试场景 | 操作步骤 | 预期结果 | 优先级 |
|
||
|---------|---------|---------|---------|--------|
|
||
| M6-01 | 切换 LLM 模型 | 在 BaoDan 后台切换对话模型 | 新对话使用新模型 | P1 |
|
||
| M6-02 | 修改 Prompt | 在 BaoDan 后台修改系统提示词 | 新对话使用新 Prompt | P0 |
|
||
| M6-03 | Prompt 版本回退 | 修改 Prompt 后想恢复 | BaoDan 支持版本历史（如果有的话）或手动备份 | P2 |
|
||
|
||
---
|
||
|
||
### 2.7 数据统计（M7）
|
||
|
||
| 用例编号 | 测试场景 | 操作步骤 | 预期结果 | 优先级 |
|
||
|---------|---------|---------|---------|--------|
|
||
| M7-01 | 使用概览 | 进入数据统计页 | 显示今日问答数、活跃用户、命中率等核心指标 | P0 |
|
||
| M7-02 | 趋势折线图 | 选择"近7天"查看问答趋势 | 折线图正确显示每日数据点 | P0 |
|
||
| M7-03 | 切换指标 | 在趋势图切换"问答量/活跃用户/命中率" | 图表刷新，数据正确 | P1 |
|
||
| M7-04 | 知识库健康度 | 查看热门问题 TOP20 | 按频次降序排列，数据正确 | P1 |
|
||
| M7-05 | 未命中问题 | 查看未命中问题列表 | 列出知识库无法回答的问题，可标记已处理 | P1 |
|
||
| M7-06 | Token 成本 | 查看成本监控页 | 显示总 Token、总费用、按模型分类 | P0 |
|
||
| M7-07 | 空数据状态 | 新系统无任何数据时查看统计 | 各图表显示空状态或 0，不报错 | P1 |
|
||
|
||
---
|
||
|
||
### 2.8 接口鉴权测试
|
||
|
||
| 用例编号 | 测试场景 | 操作步骤 | 预期结果 | 优先级 |
|
||
|---------|---------|---------|---------|--------|
|
||
| A-01 | 无 Token 访问受保护接口 | 不带 Authorization 访问 /api/chat/sessions | 返回 401 未授权 | P0 |
|
||
| A-02 | 过期 Token | 使用过期的 JWT 访问接口 | 返回 1003 Token 已过期 | P0 |
|
||
| A-03 | 伪造 Token | 使用随机字符串作为 Token | 返回 1002 Token 无效 | P0 |
|
||
| A-04 | 注销后使用旧 Token | 调用 logout 后再用旧 Token | 返回 1002 Token 已失效 | P0 |
|
||
| A-05 | 销售访问管理接口 | 用 sales 角色调用 /admin/users | 返回 1004 权限不足 | P0 |
|
||
| A-06 | 管理员访问超管接口 | 用 admin 角色调用 /admin/llm-configs | 返回 1004 权限不足 | P1 |
|
||
| A-07 | 客户角色权限 | 用 customer 角色调用 /admin/logs/chat | 返回 1004 权限不足 | P1 |
|
||
| A-08 | Token 刷新 | 用旧 Token 调用 refresh-token | 返回新 Token | P0 |
|
||
|
||
---
|
||
|
||
### 2.9 API 接口功能测试
|
||
|
||
#### 认证接口（A1）
|
||
|
||
| 用例编号 | 测试场景 | 请求 | 预期响应 | 优先级 |
|
||
|---------|---------|------|---------|--------|
|
||
| API-01 | 账密登录成功 | POST /auth/password-login, 正确账号密码 | code=0, 返回 token + expires_in | P0 |
|
||
| API-02 | 账密登录失败 | POST /auth/password-login, 错误密码 | code=1002, message="用户名或密码错误" | P0 |
|
||
| API-03 | 缺少参数 | POST /auth/password-login, 无 username | code=1001 | P1 |
|
||
| API-04 | 刷新 Token | POST /auth/refresh-token, 带有效旧 Token | 返回新 token | P0 |
|
||
| API-05 | 退出登录 | POST /auth/logout | code=0, 后续旧 Token 失效 | P0 |
|
||
|
||
#### 对话接口（A2）
|
||
|
||
| 用例编号 | 测试场景 | 请求 | 预期响应 | 优先级 |
|
||
|---------|---------|------|---------|--------|
|
||
| API-06 | 发送消息 SSE | POST /chat/message, message="重疾险等待期" | Content-Type: text/event-stream, 包含 delta/source/done 事件 | P0 |
|
||
| API-07 | 空消息 | POST /chat/message, message="" | code=1001, message="请输入问题内容" | P1 |
|
||
| API-08 | 获取会话列表 | GET /chat/sessions?page=1 | 返回 total + items 数组 | P0 |
|
||
| API-09 | 创建会话 | POST /chat/sessions | 返回 session_id | P0 |
|
||
| API-10 | 删除会话 | DELETE /chat/sessions/{id} | code=0, 会话被软删除 | P1 |
|
||
| API-11 | 提交反馈 | POST /chat/messages/{id}/feedback, rating="helpful" | code=0 | P1 |
|
||
| API-12 | 无效评分 | POST /chat/messages/{id}/feedback, rating="ok" | code=1001, message="评分值无效" | P1 |
|
||
|
||
#### 推荐接口（A3）
|
||
|
||
| 用例编号 | 测试场景 | 请求 | 预期响应 | 优先级 |
|
||
|---------|---------|------|---------|--------|
|
||
| API-13 | 生成推荐 | POST /recommend/generate, 完整参数 | 返回 task_id + status="processing" | P0 |
|
||
| API-14 | 缺少必填参数 | POST /recommend/generate, 无 age | code=1001 | P1 |
|
||
| API-15 | 查询状态 | GET /recommend/generate/{task_id} | 返回 status: processing/done/failed | P0 |
|
||
| API-16 | 方案导出 | POST /recommend/{id}/export, format="pdf" | 返回 download_url | P1 |
|
||
| API-17 | 无效导出格式 | POST /recommend/{id}/export, format="mp4" | code=1001, message="不支持的导出格式" | P1 |
|
||
| API-18 | 生成分享链接 | POST /recommend/{id}/share, expire_hours=72 | 返回 share_url | P1 |
|
||
|
||
#### 知识库接口（A4）
|
||
|
||
| 用例编号 | 测试场景 | 请求 | 预期响应 | 优先级 |
|
||
|---------|---------|------|---------|--------|
|
||
| API-19 | 上传文档 | POST /kb/documents/upload, multipart | 返回 upload_id + documents 数组 | P0 |
|
||
| API-20 | 文档列表 | GET /kb/documents?page=1 | 返回 total + items | P0 |
|
||
| API-21 | 文档状态 | GET /kb/documents/{id}/status | 返回 pipeline 各阶段状态 | P1 |
|
||
| API-22 | 更新元数据 | PATCH /kb/documents/{id}, {tags:[...]} | code=0 | P1 |
|
||
| API-23 | 删除文档 | DELETE /kb/documents/{id} | code=0, 文档下线 | P1 |
|
||
|
||
#### 管理接口（A5+A6）
|
||
|
||
| 用例编号 | 测试场景 | 请求 | 预期响应 | 优先级 |
|
||
|---------|---------|------|---------|--------|
|
||
| API-24 | 用户列表 | GET /admin/users?page=1 | 返回 total + items | P0 |
|
||
| API-25 | 新增用户 | POST /admin/users, {username,wecom_userid,role} | 返回 id | P0 |
|
||
| API-26 | 角色列表 | GET /admin/roles | 返回 5 个内置角色（含客户） | P0 |
|
||
| API-27 | LLM 连通性测试 | POST /admin/llm-configs/{id}/ping | 返回 reachable + latency_ms | P1 |
|
||
| API-28 | Prompt 测试 | POST /admin/prompts/test, test_query="..." | 返回 response + token_usage | P1 |
|
||
|
||
#### 统计接口（A7+A8）
|
||
|
||
| 用例编号 | 测试场景 | 请求 | 预期响应 | 优先级 |
|
||
|---------|---------|------|---------|--------|
|
||
| API-29 | 问答日志查询 | GET /admin/logs/chat?page=1 | 返回分页数据 | P0 |
|
||
| API-30 | 导出 CSV | GET /admin/logs/chat/export | Content-Type: text/csv | P1 |
|
||
| API-31 | 系统日志 | GET /admin/logs/system | 返回操作日志列表 | P1 |
|
||
| API-32 | 使用概览 | GET /stats/overview | 返回 today_chats 等指标 | P0 |
|
||
| API-33 | 趋势数据 | GET /stats/trend?metric=chat_count | 返回 date+value 数组 | P1 |
|
||
| API-34 | 知识库健康度 | GET /stats/kb-health?days=7 | 返回 hot_questions + missed_questions | P1 |
|
||
| API-35 | Token 消耗 | GET /stats/token-cost | 返回 total_tokens + by_model | P1 |
|
||
|
||
---
|
||
|
||
## 三、边界测试用例
|
||
|
||
### 3.1 输入边界
|
||
|
||
| 用例编号 | 测试场景 | 输入 | 预期结果 |
|
||
|---------|---------|------|---------|
|
||
| B-01 | 空字符串 | 对话输入 "" | 不发送或提示输入 |
|
||
| B-02 | 纯空格 | 对话输入 " " | 不发送或提示输入 |
|
||
| B-03 | 超长文本 | 对话输入 10000 字 | 正常处理，不崩溃 |
|
||
| B-04 | 特殊字符 | 输入 `<>{}[]` 等特殊字符 | 不报错，正常处理 |
|
||
| B-05 | SQL 注入 | 输入 `'; DROP TABLE users;--` | 不影响系统（BaoDan/FastAPI 自带防护） |
|
||
| B-06 | XSS 注入 | 输入 `<script>alert(1)</script>` | 不执行脚本，正常显示文本 |
|
||
| B-07 | Emoji | 输入包含 emoji 的消息 | 正常显示 🎉 |
|
||
| B-08 | 中英混合 | "请问 car insurance 的理赔 process" | 正常回答 |
|
||
| B-09 | 年龄边界 0 | 年龄填 0 | 提示年龄无效 |
|
||
| B-10 | 年龄边界 150 | 年龄填 150 | 提示年龄无效 |
|
||
| B-11 | 预算超大 | 年预算填 99999999 | 正常处理（大额预算不是错误） |
|
||
| B-12 | 表单全选 | 关注险种全选 | 正常处理 |
|
||
|
||
### 3.2 并发边界
|
||
|
||
| 用例编号 | 测试场景 | 操作 | 预期结果 |
|
||
|---------|---------|------|---------|
|
||
| B-13 | 两人同时提问 | A 和 B 几乎同时发消息 | 各自收到正确回复 |
|
||
| B-14 | 快速连续发送 | 1 秒内发 5 条消息 | 每条都有回复，不丢失 |
|
||
| B-15 | 生成方案时发对话 | 方案生成中，去发起对话 | 对话正常，方案也在后台继续生成 |
|
||
|
||
---
|
||
|
||
## 四、异常场景测试用例
|
||
|
||
### 4.1 外部服务异常
|
||
|
||
| 用例编号 | 测试场景 | 模拟方式 | 预期结果 | 恢复方式 |
|
||
|---------|---------|---------|---------|---------|
|
||
| E-01 | BaoDan API 不可达 | 停止 BaoDan 服务 | 后端返回"服务暂时不可用" | 重启 BaoDan 后自动恢复 |
|
||
| E-02 | DeepSeek API Key 过期 | 使用错误的 Key | BaoDan 返回错误，用户看到友好提示 | 更换 Key 后恢复 |
|
||
| E-03 | DeepSeek API 限速 | 短时间大量请求 | 返回"请求过于频繁" | 等待限速解除 |
|
||
| E-04 | 企微 API 不可达 | 模拟网络断开 | 后端日志记录错误，不崩溃 | 网络恢复后自动恢复 |
|
||
| E-05 | 企微 Token 过期 | 等 2 小时 Token 失效 | 自动刷新 Token（代码已处理） | 自动恢复 |
|
||
| E-06 | PostgreSQL 连接断开 | 重启数据库服务 | 后端报错日志，不崩溃 | 数据库恢复后自动重连 |
|
||
| E-07 | Redis 连接断开 | 重启 Redis | Celery 暂停，重启后恢复 | 自动恢复 |
|
||
| E-08 | 磁盘空间满 | 模拟磁盘满 | 上传文档失败，其他功能正常 | 清理磁盘后恢复 |
|
||
|
||
### 4.2 用户操作异常
|
||
|
||
| 用例编号 | 测试场景 | 操作 | 预期结果 |
|
||
|---------|---------|------|---------|
|
||
| E-09 | 页面刷新 | 对话中按 F5 刷新 | 刷新后对话记录还在（BaoDan 保存） |
|
||
| E-10 | 断网重连 | 手机进地铁断网，出来后恢复 | 自动重连，可以继续对话 |
|
||
| E-11 | 多标签页打开 | 同时开 3 个标签页访问系统 | 各自独立使用，不冲突 |
|
||
| E-12 | 浏览器后退 | 对话中点浏览器后退 | 不报错，回到上一页（不是空页面） |
|
||
|
||
---
|
||
|
||
## 五、测试执行记录表
|
||
|
||
每次测试时填写这张表：
|
||
|
||
```markdown
|
||
## 测试执行记录
|
||
|
||
### 测试日期：2026-XX-XX
|
||
### 测试阶段：阶段X（Day XX - Day XX）
|
||
### 测试环境：开发环境 / 测试环境 / 生产环境
|
||
|
||
| 用例编号 | 测试结果 | 备注 |
|
||
|---------|---------|------|
|
||
| M1-01 | ✅ 通过 | |
|
||
| M1-02 | ❌ 失败 | 连续对话第3轮回答重复，需要检查 conversation_id |
|
||
| M1-03 | ✅ 通过 | |
|
||
| ... | ... | ... |
|
||
|
||
### 通过率：XX/XX = XX%
|
||
### 阻塞性问题：X 个
|
||
### 非阻塞性问题：X 个
|
||
```
|
||
|
||
---
|
||
|
||
## 六、上线前 Checklist
|
||
|
||
上线前必须逐项确认：
|
||
|
||
### 功能确认
|
||
- [ ] 问答功能：30 个测试问题，通过率 > 85%
|
||
- [ ] 产品推荐：10 组测试数据，方案质量可接受
|
||
- [ ] 企微单聊：正常问答不出错
|
||
- [ ] 企微群聊：多人 @ 不冲突
|
||
- [ ] 企微登录：完整流程走通
|
||
- [ ] H5 适配：手机端可正常使用
|
||
|
||
### 安全确认
|
||
- [ ] `.env` 文件没有暴露在公网
|
||
- [ ] API Key 没有写在前端代码里
|
||
- [ ] 企微回调做了签名校验
|
||
- [ ] HTTPS 已配置
|
||
- [ ] 输入有过滤（XSS/SQL 注入防护）
|
||
|
||
### 稳定性确认
|
||
- [ ] BaoDan 服务连续运行 24 小时不崩溃
|
||
- [ ] 后端服务连续运行 24 小时不崩溃
|
||
- [ ] 10 人同时使用，响应时间 < 30 秒
|
||
- [ ] 磁盘空间充足（> 20% 剩余）
|
||
- [ ] 日志在正常写入
|
||
|
||
### 文档确认
|
||
- [ ] 部署文档完整，按文档能重新部署
|
||
- [ ] 接口文档与实际接口一致
|
||
- [ ] CHANGELOG 已更新
|
||
- [ ] 企微应用配置步骤有记录
|
||
|
||
---
|
||
|
||
## 七、BaoDan 特有测试用例
|
||
|
||
### 7.1 知识库入库测试
|
||
|
||
| 用例编号 | 测试场景 | 操作步骤 | 预期结果 | 优先级 |
|
||
|---------|---------|---------|---------|:---:|
|
||
| D-01 | 单文件 MD 上传 | 上传一个 100 行的 MD 文件 | 状态：processing -> completed，可被检索 | P0 |
|
||
| D-02 | 批量上传 | 一次上传 20 个 MD 文件 | 全部处理完成，无遗漏 | P0 |
|
||
| D-03 | 大文件上传 | 上传一个 50MB 的 MD 文件 | 正常处理，不超时 | P1 |
|
||
| D-04 | 格式错误文件 | 上传一个非 MD/Word/TXT 文件 | 提示格式不支持，不入库 | P1 |
|
||
| D-05 | 空文件上传 | 上传一个 0 字节的 MD 文件 | 提示文件为空，不入库 | P1 |
|
||
| D-06 | 分段质量验证 | 上传包含多级标题的 MD，检查分段 | 按 `##` 或 `###` 切分，每段 500-800 tokens | P0 |
|
||
| D-07 | 重复文档上传 | 同一文件上传两次 | 生成两个独立文档记录 | P1 |
|
||
| D-08 | 向量化验证 | 上传完成后，用召回测试搜索 | 能搜到刚上传的文档内容 | P0 |
|
||
|
||
### 7.2 检索质量测试
|
||
|
||
| 用例编号 | 测试场景 | 操作步骤 | 预期结果 | 优先级 |
|
||
|---------|---------|---------|---------|:---:|
|
||
| D-09 | 精确匹配 | 搜索"等待期" | 返回包含"等待期"的文档段落，score > 0.8 | P0 |
|
||
| D-10 | 语义匹配 | 搜索"买了保险多久能赔" | 返回"等待期"相关段落（同义词） | P0 |
|
||
| D-11 | 跨库检索 | 不限险种搜索"理赔流程" | 从通用知识库返回结果 | P0 |
|
||
| D-12 | 库内检索 | 限定"重疾险"搜索 | 只返回重疾险相关结果 | P0 |
|
||
| D-13 | 无结果场景 | 搜索知识库完全没有的内容 | 返回空结果，不报错 | P0 |
|
||
| D-14 | TopK 验证 | 搜索热门话题 | 返回 Top-K 条结果，数量正确 | P1 |
|
||
|
||
### 7.3 BaoDan API 联调测试
|
||
|
||
| 用例编号 | 测试场景 | 操作步骤 | 预期结果 | 优先级 |
|
||
|---------|---------|---------|---------|:---:|
|
||
| D-15 | Chat API 正常调用 | 后端调 BaoDan Chat API | 返回 answer + conversation_id | P0 |
|
||
| D-16 | Chat API 带上下文 | 传入上次的 conversation_id | AI 能理解上下文 | P0 |
|
||
| D-17 | Chat API 超时 | 模拟 BaoDan 响应慢 | 60 秒后抛出超时异常，不阻塞 | P0 |
|
||
| D-18 | Chat API Key 无效 | 使用错误的 API Key | 返回 401，抛出 BaoDanAPIError | P1 |
|
||
| D-19 | Workflow API 正常调用 | 后端调 BaoDan Workflow API | 返回推荐方案 Markdown | P0 |
|
||
| D-20 | Workflow API 超时 | 模拟 Workflow 执行慢 | 120 秒后抛出超时异常 | P0 |
|
||
| D-21 | Workflow 输入参数错误 | 传入缺少必填项的参数 | Workflow 返回错误，不崩溃 | P1 |
|
||
|
||
### 7.4 BaoDan 后台管理测试
|
||
|
||
| 用例编号 | 测试场景 | 操作步骤 | 预期结果 | 优先级 |
|
||
|---------|---------|---------|---------|:---:|
|
||
| D-22 | 模型切换 | 在 BaoDan 后台切换 LLM 模型 | 新对话使用新模型 | P1 |
|
||
| D-23 | Prompt 修改 | 修改系统提示词 | 新对话使用新 Prompt | P0 |
|
||
| D-24 | 知识库删除文档 | 删除一个文档 | 后续搜索不再返回该文档内容 | P1 |
|
||
| D-25 | 召回测试 | 在 BaoDan 后台使用召回测试功能 | 输入问题，返回相关段落及分数 | P1 |
|
||
|
||
### 7.5 Workflow 端到端测试
|
||
|
||
| 用例编号 | 测试场景 | 输入数据 | 预期输出 | 优先级 |
|
||
|---------|---------|---------|---------|:---:|
|
||
| D-26 | 典型推荐 | 35岁/男/年收入30万/月预算2000/重疾+医疗+意外 | 三套方案，总保费不超过24000 | P0 |
|
||
| D-27 | 极低预算 | 25岁/月预算500/重疾险 | 提示预算不足以购买推荐产品 | P1 |
|
||
| D-28 | 极高年龄 | 70岁/重疾险 | 提示年龄超出可投保范围或推荐有限 | P1 |
|
||
| D-29 | 单险种 | 仅选择意外险 | 只推荐意外险产品，不推荐其他 | P1 |
|
||
| D-30 | 无匹配 | 选择一个知识库中没有的险种组合 | 提示未找到匹配产品 | P1 |
|
||
|
||
### 7.6 BaoDan 故障恢复测试
|
||
|
||
| 用例编号 | 测试场景 | 操作步骤 | 预期结果 | 优先级 |
|
||
|---------|---------|---------|---------|:---:|
|
||
| D-31 | BaoDan 服务重启 | 重启 BaoDan Docker 容器 | 重启后所有功能恢复正常 | P0 |
|
||
| D-32 | 数据库断连恢复 | 临时停止 PostgreSQL | BaoDan 报错，恢复后自动重连 | P1 |
|
||
| D-33 | Redis 断连恢复 | 临时停止 Redis | Celery 暂停，恢复后自动恢复 | P1 |
|
||
| D-34 | 知识库数据保留 | BaoDan 重启后检查知识库 | 之前上传的文档和向量数据完整保留 | P0 |
|