• 目的
    • 测试的本质: 反馈
      • 测试演进
        • 平台建设
          • 自动化回归、造数
        • 质量监控
          • 线上监控报警、资损演练、红蓝对抗、线上引流
          • 基于风险的测试全方位深入
          • 智能化提速: 判断测试范围、测试用例范围
          • API生成测试框架和代码
          • 专项测试平台使测试结果 可持续沉淀
          • 可视化质量看板
        • 赋能
          • 测试工具全员可运行
      • 质量反馈
        • 代码门禁的结果: 代码是否可接受
        • 功能回归结果: 是否推进到预发布
        • 预发布和灰度验证结果: 是否上线
      • 反馈能力:缩短反馈时间,降低成本,提高可信度
    • 缩短反馈弧
      • 方面
        • 反馈前置等待时间
        • 反馈本身耗时
      • 方法
        • 持续集成
    • 提升稳定性
      • 高频:持续打包,发布,证书和密钥更新,容灾演练,缩短反馈弧,变主动验证为被动
      • 隔离
        • TiP(Testing in Production)
        • 用完即抛
        • 不自动重跑
    • 提升有效性
      • 防止注水
      • 测试测试代码
      • 变异测试和Bug注入
    • 提升充分性
      • 用例自动生成
      • 业务覆盖率
    • 从测到不测
      • 防错: Poka-yoke
        • 第一时间校验输入值
        • 线上线下权限隔离
        • 视觉辨识度
        • 代码写错:易混淆的类和方法
        • 事情没按正确的方式做
      • 静态代码分析和Bug自动识别
  • 规范
    • 用例规范,测试方案规范,自动化代码规范,工单处理标准,提测准人/出标准,Bug规范
  • 稳定
    • 线上异常监控,PPE环境监控,发布接管,线上问题对接,线上告警,自动巡检
  • 度量
    • 线上:发布次数,紧急发布/回滚,工单预警数,生产冒烟数,线上工单数,复盘数
    • 线下:代码质量数据,缺陷修复效率,Bug打回数据,自动化通过率,项目进度度量,Story owner度量
  • 方法
  • 内容范围
  • 提效
    • API测试自动化
    • 自动生成框架
      • 底层代码生成
        • 核心层
        • 逻辑封装层: 自动获取接口信息,建立模板机制,数据解析器,建立自动触发机制
        • 用例层: 用例自动转化代码(XMind SDK)
      • 冒烟代码生成
        • 步骤: 获取接口信息,拼装请求并验证
    • 场景化改造
      • Journey模式:用户角色为中心
      • 方案:梳理场景需求,实例化故事场景,转化为自动化验收代码
      • 框架设计: Actor
        • 复用基础层、API层: 公共基础层引入Actor为中心的设计模式
        • 组件层对基础层Actor写业务测试逻辑代码: 主要调用API层
        • 用例层不变
    • FSM场景化代码,动态组合
      • FSM生成自动化用例
      • 步骤
        • 业务建模
        • 动态绘制流程图: Graphviz
        • 构建FSM转化器
          • 解析器: 节点函数,解析多叉树与节点内容
        • 用例组合
    • UI自动化,Doom引流
  • 赋能:测试用例开放,代码质量度量,story_QA,测试工具&平台开放,自由组装case场景,精准推荐
    • 数据工厂
    • 持续集成
    • 代码质量
      • 属性:清晰度,可维护性,注释,重构,充分测试,可扩展,效率
      • 内容:代码规范,持续集成,度量
      • 建设步骤:标准化,数据化,流程化
    • Story QA
      • 项目经理
        • 作用:培养大家的全局视野,锻炼大家的软性能力
        • 职责:记录技术方案,站会,汇报,验收,把控风险,协调,跟踪
      • 度量体系: 各维度打分
      • 工具化制度化
        • 奖惩:级别,措施
  • 探索