版权所有 © 2023 openEuler社区 您对“本文档”的复制、使用、修改及分发受知识共享(Creative Commons)署名—相同方式共享4.0国际公共许可协议(以下简称“CC BY-SA 4.0”)的约束。为了方便用户理解，您可以通过访问<https://creativecommons.org/licenses/by-sa/4.0/>了解CC BY-SA 4.0的概要 (但不是替代)。CC BY-SA 4.0的完整协议内容您可以访问如下网址获取：<https://creativecommons.org/licenses/by-sa/4.0/legalcode>。 修订记录 | 日期 | 修订版本 | 修改 章节 | 修改描述 | 作者 | |----------|----------|------------|----------------------|---------| | 2023-9-7 | 1.0.0 | | 初稿 | KevinMX | | 2023-9-8 | 1.1.0 | | 修订发布内容及测试策略 | KevinMX | 目 录 1 概述 > 1.1 版本背景 > 1.2 需求范围 2 风险 3 测试分析设计策略 > 3.1 继承feature/组件测试设计策略 > 3.2 专项测试策略 4 测试执行策略 5 附件 **Keywords 关键词**： openEuler RISC-V 创新版本 测试策略 Abstract 摘要： 本文是 openEuler 23.09 RISC-V 版本的整体测试策略，用于指导该版本测试活动的开展。 缩略语清单： | 缩略语 | 英文全名 | 中文解释 | |--------|--------------------------------------|------------| | OS | Operation System | 操作系统 | # 概述 openEuler 是一款开源操作系统。当前 openEuler 内核源于 Linux，支持鲲鹏、RISC-V 及其它多种架构处理器，能够充分释放计算芯片的潜能，是面向全球开源贡献者构建的高效、稳定、安全的开源操作系统，适用于数据库、大数据、云计算、人工智能等应用场景。 本文主要描述 openEuler 23.09 RISC-V 版本的总体测试策略。其按照社区开发模式进行运作，结合社区 release-manager 团队制定的版本计划规划相应的测试活动。整体测试策略覆盖需求、继承需求的测试分析与执行，明确各个测试周期的测试策略及出入口标准，并指导后续测试活动。 ## 版本背景 - openEuler 23.09 RISC-V 创新版本发布 - 本次发布范围为 BaseOS 仓库 - 内核版本：Linux kernel 6.4 ## 需求范围 本次发布的 openEuler 23.09 RISC-V 创新版本为 RISC-V 第一个正式发布的代码同源异构镜像。 BaseOS 软件包发布范围见 [https://gitee.com/openeuler/RISC-V/blob/master/release/openEuler-23.09/baseos_list](https://gitee.com/openeuler/RISC-V/blob/master/release/openEuler-23.09/baseos_list) # 风险 | 问题类型 | 问题描述 | 问题等级 | 应对措施 | 责任人 | 状态 | | -------- | -------- | -------- | -------- | ------ | ---- | | | | | | | | # 测试分析设计策略 ## 继承feature/组件测试设计策略 从历史版本继承的功能特性的测试策略如下： | feature | 策略 | | ------------------------ | --------------------------------------------------------------------- | | 内核 | 适配内核到 Linux kernel 6.4，继承已有测试能力，采用开源测试套LTP/mmtest等进行内核基本功能的测试保障；通过开源性能测试工具对内核性能进行验证 | | GCC 编译器 | 继承已有测试能力，通过 dejagnu 等测试套对 gcc 相关功能进行验证 | | 操作系统基础底座(BaseOS) | 继承已有测试能力，通过 mugen 自动化测试对发布范围内所有软件包进行验证 | ## 专项测试策略 ### 安全测试 根据先前沟通，RISC-V 版本安全测试暂时移除。 ### 可靠性测试 可靠性测试是本次版本测试中重点考虑的测试活动，在各类资源异常、抢占竞争、压力、故障等背景下，通过功能的并发与反复操作进行长时间的测试；过程中通过监控系统资源、进程运行等状态，及时发现系统和特性隐藏的问题并解决。 本次可靠性测试从关键特性、重要组件、新增特性的可靠性指标和系统级可靠性进行分析和设计，以保证特性和系统在各类异常、故障及压力背景下的持续提供服务的能力。 | 测试类型 | 具体测试内容 | |----------|-----------------------------------------------------------------------------------------------------------------------------------------------| | 操作系统长稳 | 基于QEMU的系统在各种压力背景下，通过构造资源类和服务类等异常，随机执行 LTP、系统管理操作等测试；过程中关注系统重要进程和服务，日志等异常情况；稳定性测试时长充分 | ### 性能测试 创新版本，不涉及性能规格。 ### 兼容性测试 #### 南向兼容性 本次发布的 openEuler 23.09 RISC-V 版本为 QEMU 镜像，暂不涉及南向兼容性测试。 #### 北向兼容性 本次发布的 openEuler 23.09 RISC-V 版本为 QEMU 镜像，暂不涉及北向兼容性测试。 ### 软件包管理专项测试 - 检查发布软件包依赖情况 - 检查发布软件包安装情况与冲突情况 ### 资料测试 资料测试主要是对版本交付的资料进行测试，重点保证各个资料描述的清晰性和功能的正确性，此外，openEuler 作为一个开源社区，在对提供的中文资料进行测试外，也对英文文档进行了重点测试。资料交付清单如下： | **手册名称** | **覆盖策略** | **中英文测试策略** | | -------------- | ---------------------------- | ------------------ | | 安装指南 | 文档描述与版本的行为是否一致 | 英文描述的准确性 | | 管理员指南 | 文档描述与版本的行为是否一致 | 英文描述的准确性 | # 测试执行策略 openEuler 23.09 RISC-V 版本按照社区 release-manger 团队既定的版本计划，共有5轮测试，按照社区研发模式，所有的需求已在拉分支前完成合入，因此本次版本测试采取 1+3+1 的测试方式，即 Round 1 发布的 beta 版本可提供外部开发者基本功能及测试条件，Round 2~4 全量保障本次版本发布所有特性(新增&继承)以及其他 DFX 能力，Round 5 进行回归测试。 ### 测试计划 openEuler 23.09 RISC-V 版本按照社区开发模式进行运作，结合社区 release-manager 团队制定的版本计划规划相应的测试活动。 | 测试阶段 | 起始时间 | 结束时间 | Days | Note | |---------------------------------------------------------------------------------------------|------------|-----------|------|-----------------------------------------------------| | Test round 1 | 2023/8/24 | 2023/8/25 | 5 | 版本启动测试 | | Test round 2 | 2023/8/28 | 2023/9/1 | 5 | | | Test round 3 | 2023/9/4 | 2023/9/8 | 5 | | | Test round 4 | 2023/9/11 | 2023/9/15 | 5 | | | Test round 5 | 2023/9/18 | 2023/9/22 | 5 | | | Release | 2023/9/28 | 2023/9/28 | 1 | | ### 测试重点 ### Round 1 - 功能测试 - mugen BaseOS - LTP - 验证 BaseOS 的特性，以确保其合入 - 编译器测试 - AnghaBench - csmith - dejagnu - yarpgen - 内核测试 - trinity ### Round 2 - 功能测试 - mugen BaseOS - 验证 BaseOS 的特性，以确保其合入 - 长稳测试 - LTP Stress ### Round 3 - 功能测试 - mugen BaseOS - 验证 BaseOS 的特性，以确保其合入 - 长稳测试 - LTP Stress - 文档测试 - 对已提供的安装文档和部分操作文档进行验证 - 问题单回归 ### Round 4 - 功能测试 - mugen BaseOS - 验证 BaseOS 的特性，以确保其合入 - 问题单回归 - 长稳测试 - LTP Stress - 文档测试 - 对已提供的安装文档和部分操作文档进行验证 ### Round 5 - 功能测试 - mugen BaseOS - 验证 BaseOS 的特性，以确保其合入 - 问题单全量回归 - 文档测试 - 对已提供的安装文档和部分操作文档进行验证 ### 入口标准 1. 上个阶段无 block 问题遗留。 2. 转测版本的冒烟无阻塞性问题。 3. 满足各阶段版本转测检查项。 ### 出口标准 1. 策略规划的测试活动涉及的测试用例已执行完毕。 2. 发布特性满足版本规划目标。 3. 版本无阻塞问题遗留，其它严重问题有相应规避措施或说明。 # 附件 - 详细测试报告：https://gitee.com/yunxiangluo/open-euler-risc-v-23.09-test - openEuler RISC-V 23.09 BaseOS 软件包发布列表：https://gitee.com/openeuler/RISC-V/tree/master/release/openEuler-23.09/baseos_list