甄品速览丨如何在快速迭代中保持产品的稳定性？

基线测试——对产品所覆盖的各类业务场景进行的端到端的可用性测试，通常通过自动化为主人工为辅的手段实现，包括了每日运行的精简版基线和发布窗口期的完整版基线。

01
基线测试的难点

基线测试的原理并不复杂，但要想切实发挥其作用，还是会面临诸多难点：

1.测试覆盖度很难度量

因客户所属行业、组织形态、管理模式和业务类型等要素的天然差异性，客户对SaaS产品存在海量的应用场景，为了满足不同场景，通常产品都会提供各种灵活的配置项。以甄云数字化采购平台寻源套件为例：大小共计400多个配置项，如果对这些配置进行排列组合将会得到一个天文数字的测试流程清单，考虑到人力及时间成本这种穷举性的测试几乎是不可能的，这就需要有科学的测试用例设计方法作为支撑。

2.用例维护工作复杂

一般情况下，随着企业业务的不断拓展及使用场景的增加，业务功能也在随之不断迭代更新且需求多，每个迭代的用例维护都需要考虑所有需求对原有功能的影响(影响了哪些场景、哪些功能、哪些用例，影响的是用例步骤，还是验证结果等等)，基线用例维护工作非常复杂。同样以甄云数字化采购平台寻源业务为例：每个迭代有200多个需求变更，涉及300多个配置项，因此需要有完备的测试用例生命周期管理体系，保证基线用例永远是最新的。

3.测试效率质量很难保障

通常执行一次全量基线需要投入巨大的人力及时间成本，以甄云数字化采购平台为例：执行一次全量测试（近1000条端到端流程用例），如果完全依靠人工的话，需要400多人天，不仅无法满足迭代测试的快速兑现要求，测试质量也会因为人员素质带来不可控变量，因此势必要找到自动化的解决途径。

02

甄云数字化采购平台基线测试是怎么做的

1.科学的方法论构建初始基线

甄云与亚马逊公司联合完成了SaaS产品基线用例设计的方法论研发，在该方法论下：一方面以业务场景为导向覆盖所有配置，通过配置组合驱动各业务场景流程，另一方面分析历史存量客户使用场景，并归纳提炼出经典场景纳入基线，最终以相对经济的总用例数量，覆盖了所有常用场景组合。以寻源业务为例：我们通过近100条端到端用例覆盖了所有业务场景及配置项，其中20条端到端用例对客户经典场景进行了100%覆盖。

2.完备的基线用例生命周期管理体系

保持基线用例的持续优化，需要依赖全公司的集体力量。一方面我们分析迭代需求，对每个版本内迭代需求对基线的影响，按需将迭代功能纳入基线用例管理。例如：对于某需求，增加了一个配置项，我们将这个配置项增加到5条基线用例中，并增加了60多个验证点。另一方面，对每天的线上bug进行分析，评估基线覆盖情况，及时将线上bug补充到基线不断完善基线用例覆盖度。最后，还要在新功能研发时，同步完成相关基线测试用例的落地。

3.高效的自动化测试工具和平台

甄云拥有一支数十人的自动化测试团队，以及独立研发的自动化测试平台，从而实现自动化检测，并通过可视化平台高效处理自动化任务，包括：持续集成、实时监控（自动化执行情况）、快速查看（测试报告）、高效分析（测试结果）、准确评估（产品基线质量）。例如：每天晚上hotfix发布窗口自动检测核心业务场景可用性，15分钟出验证结果，可快速评估hotfix对核心业务场景的影响。每月正式发版窗口自动检测全量基线质量，1小时出验证结果，发版当晚可进行3次以上全量基线验证。

以上是甄云科技对基线测试的实践分享，在稳定性方面的其他保障措施，敬请期待下次更新。