OpenHarmony-XTS测试OpenHarmony-XTS测试环境搭建测试准备开始运行PS关于使用AGENT解决OpenHarmony-XTS测试针对OpenHarmony版本进行XTS测试使用记录。windows环境。以acts套件为例。环境搭建获取测试套件两种方法1官网下载https://www.openharmony.cn/certification/document/xts/2版本中获取out/产品/suites/acts/acts#ls config run.bat run.sh sign testcases tools需要自己进行编译test/xts/act# ./build.sh system_sizestandard target_archriscv64 product_name产品关于资源文件1 测试过程中需要用到一些资源文件一般放置于测试工程的resource目录下resource跟其他测试文件位于同一目录。2 资源文件不会在编译工程中生成需要从官网下载且需要对应版本。https://www.openharmony.cn/systematic?tabxts3 部分文件需要自己重新编译比如E:\XTS\dcts\resource\data\64bit\dsoftbusTest,E:\XTS\dcts\resource\data\64bit\socketdsoftbusTest。4 缺少资源文件会导致部分测试项失败比如ActsToolChainTest。版本打开配置然后编译产品烧录至设备device/board/组织/产品/cfg/default.paraconst.security.developermode.state1或者const.security.developermode.statetruewindows下安装HDC配置环境变量并连接待测设备HDC下载https://ci.openharmony.cn/workbench/cicd/codecontrol/listwindows下配置测试需要的相应环境参考https://www.openharmony.cn/certification/document/guid注意安装python3时不要使用3.13版本他里面没有telnetlib运行测试脚本时会报错。设备可能用到的配置//UBOOT固定macenvdefault-a setenv ethaddr94:47:B0:18:64:F3 saveenv reset//设置电源模式power-shell setmode602//HDC配置param set persist.hdc.mode.tcp enable//串口设置打印echo0417/proc/sys/kernel/printk测试准备待测设备保持屏幕常亮使用上面的power-shell setmode 602命令等方法连接wifi或者ETH有线网打开蓝牙。有些测试项如camera会向用户申请权限需要用户手动点击同意该测试项才能继续运行否则可能会超时导致测试结果为失败或者blocked。双击打开run.bat或者在power shell中手动运行./run.bat。该脚本会安装tools目录下的一些xdevice。运行过程中有可能报错一般是windows环境报错根据报错解决即可。有时会有权限问题请使用管理员权限运行run.bat或者power shell。Please install setuptools first!pip install --upgrade setuptools新版本的setuptools不默认包含easy_install 卸载setuptools然后进行指定版本安装PS C:\Program Files cd .\Python312\ScriptsPS C:\Program Files\Python312\Scripts pip.exe install --upgrade setuptoolsRequirement already satisfied: setuptools in c:\program files\python312\lib\site-packages (77.0.3)PS C:\Program Files\Python312\ScriptsPS C:\Program Files\Python312\Scripts python -m ensurepip --upgradeLooking in links: c:\Users\刘赛\AppData\Local\Temp\tmp74la7bbuRequirement already satisfied: pip in c:\program files\python312\lib\site-packages (25.0.1)PS C:\Program Files\Python312\Scripts python -m pip install --upgrade pipRequirement already satisfied: pip in c:\program files\python312\lib\site-packages (25.0.1)PS C:\Program Files\Python312\Scripts pip list | findstr setuptoolssetuptools 77.0.3PS C:\Program Files\Python312\Scriptspython -m easy_install --helpC:\Program Files\Python312\python.exe: No module named easy_installPS C:\Program Files\Python312\Scriptspip uninstall setuptools -yFound existing installation: setuptools 77.0.3Uninstalling setuptools-77.0.3:Successfully uninstalled setuptools-77.0.3PS C:\Program Files\Python312\Scriptspip install setuptools19.2Collecting setuptools19.2Downloading setuptools-19.2-py2.py3-none-any.whl.metadata (11 kB)Downloading setuptools-19.2-py2.py3-none-any.whl (463 kB)Installing collected packages: setuptoolsSuccessfully installed setuptools-19.2PS C:\Program Files\Python312\Scriptspython -m easy_install --helpTraceback (most recent call last):File “”, line 198, in _run_module_as_mainFile “”, line 88, inrun_codeFile “C:\Program Files\Python312\Lib\site-packages\easy_install.py”, line 4, infrom setuptools.command.easy_install import mainFile C:\Program Files\Python312\Lib\site-packages\setuptools_init.py, line 5, inimport distutils.coreModuleNotFoundError: No module named ‘distutils’PS C:\Program Files\Python312\Scripts依然不可用查了下python3.12与大于68.0.0版本的setupstools兼容然而在58.0.0中setupstools已经移除easy_install,所以建议回退python版本。。。或者建议测试工具维护方更新测试脚本卸载python3.12安装py3.7.8https://www.python.org/downloads/windows/权限问题报错偶尔会有运行一段时间后关机打开再运行就会报一些莫名其妙的错误导致run.bat运行失败暂时没有找到好的解决方法删掉换个新的就能解决。正常可运行的界面如下退出使用quit命令。如测试未完成手动使用ctrlc等命令强行退出建议重新退出再次运行run.bat。关于DCTS组网需要准备测试盒子测试盒子安装Dcct以及诸多测试服务端HAP,待测设备安装Dcct两设备位于同一网络两边打开Dcct进行配对。该Hap第一次打开时需要给权限他要的全同意即可。1 选择网络连接方式2 发现对端设备两边打开配备发现后从任意一侧测试盒子或者待测设备发起即可3发起连接至已连接状态跟连蓝牙流程基本一样开始运行全量执行run acts模块执行run -l ActsToolChainTest指定执行run -l ActsAceWebEnhancedTestTwo -ta class:WebViewEnumAndSetWebControllerTest#testCacheMode004其他的遇到后进行补充可以使用run --help自行查看。输出结果位于reports文件夹对应的运行时间子文件夹下打开文件夹中的html查看测试结果打开log可以针对failed或者blocked的用例进行初步定位。在OH版本中对问题进行修复编译新的版本重新烧录后再进行测试即可。修改测试套件代码位于test/xts/acts目录grep对应的测试用例名即可修改后重新编译并将out/产品/suites/acts/acts/testcases 目录对应的.moduleInfo、.hap、.json文件拷贝至testcases后重新run即可。out/产品/suites/acts/acts# lsconfig run.bat run.sh sign testcases toolstest/xts/act# ./build.sh system_sizestandard target_archriscv64 product_name产品PS有些测试失败是测试用例本身编写的问题导致。比如web连接百度、京东等网页请求相关信息不同时间响应可能会发生改变。比如版本更新导致的一些请求权限如ohos.permission.READ_PASTEBOARD失败。还有一些问题有些用例单跑能过但全量运行就会报错比如DCTS中需要用到组网待测盒子的用例原因应该是全量run dcts过程中部分用例是并行测试的两个用例同时抢占待测盒子softbus_server资源导致另外DCTS测试项失败基本原因都在foundation/communication/dsoftbus仓库。关于使用AGENT解决告诉AGENT环境1你需要修复的 XTS-FAILED-MODULE名称比如ActsToolChainTest2被测镜像源码位置3上次测试失败的日志路径4设备串口连接方式5HDC的连接方式告诉AGENT环境如何做1要求他分析定位问题原因2修改源码3编译产物4通过HDC推送至设备5重启设备或者相关服务6进行回归测试7迭代以上问题一般情况下他会自己这么做8观察以上流程及时调整修复AGENT可能会跑偏时间久9测试成功后生成PATCH并推送至对应代码仓的对应分支给commit信息。注意还需要分析生成的patch是否真的有问题或者会不会影响实际的功能一般来说都没有大问题。还挺花费时间和TOKEN的根据为你的复杂程度解决一个module预计5刀至几十刀时间个把小时至一天不等取决于你设备性能以及模型的能力基本所有问题都可以通过AGENT解决。
