- 目的
- 测试的本质: 反馈
- 测试演进
- 平台建设
- 质量监控
- 线上监控报警、资损演练、红蓝对抗、线上引流
- 基于风险的测试全方位深入
- 智能化提速: 判断测试范围、测试用例范围
- API生成测试框架和代码
- 专项测试平台使测试结果 可持续沉淀
- 可视化质量看板
- 赋能
- 质量反馈
- 代码门禁的结果: 代码是否可接受
- 功能回归结果: 是否推进到预发布
- 预发布和灰度验证结果: 是否上线
- 反馈能力:缩短反馈时间,降低成本,提高可信度
- 缩短反馈弧
- 提升稳定性
- 高频:持续打包,发布,证书和密钥更新,容灾演练,缩短反馈弧,变主动验证为被动
- 隔离
- TiP(Testing in Production)
- 用完即抛
- 不自动重跑
- 提升有效性
- 提升充分性
- 从测到不测
- 防错: Poka-yoke
- 第一时间校验输入值
- 线上线下权限隔离
- 视觉辨识度
- 代码写错:易混淆的类和方法
- 事情没按正确的方式做
- 静态代码分析和Bug自动识别
- 规范
- 用例规范,测试方案规范,自动化代码规范,工单处理标准,提测准人/出标准,Bug规范
- 稳定
- 线上异常监控,PPE环境监控,发布接管,线上问题对接,线上告警,自动巡检
- 度量
- 线上:发布次数,紧急发布/回滚,工单预警数,生产冒烟数,线上工单数,复盘数
- 线下:代码质量数据,缺陷修复效率,Bug打回数据,自动化通过率,项目进度度量,Story owner度量
- 方法
- 内容范围
- 提效
- API测试自动化
- 自动生成框架
- 底层代码生成
- 核心层
- 逻辑封装层: 自动获取接口信息,建立模板机制,数据解析器,建立自动触发机制
- 用例层: 用例自动转化代码(XMind SDK)
- 冒烟代码生成
- 场景化改造
- Journey模式:用户角色为中心
- 方案:梳理场景需求,实例化故事场景,转化为自动化验收代码
- 框架设计: Actor
- 复用基础层、API层: 公共基础层引入Actor为中心的设计模式
- 组件层对基础层Actor写业务测试逻辑代码: 主要调用API层
- 用例层不变
- FSM场景化代码,动态组合
- FSM生成自动化用例
- 步骤
- 业务建模
- 动态绘制流程图: Graphviz
- 构建FSM转化器
- 用例组合
- UI自动化,Doom引流
- 赋能:测试用例开放,代码质量度量,story_QA,测试工具&平台开放,自由组装case场景,精准推荐
- 数据工厂
- 持续集成
- 代码质量
- 属性:清晰度,可维护性,注释,重构,充分测试,可扩展,效率
- 内容:代码规范,持续集成,度量
- 建设步骤:标准化,数据化,流程化
- Story QA
- 项目经理
- 作用:培养大家的全局视野,锻炼大家的软性能力
- 职责:记录技术方案,站会,汇报,验收,把控风险,协调,跟踪
- 度量体系: 各维度打分
- 工具化制度化
- 探索