微信号：ccjun91添加微信群,试用软件
复制微信号
免费鱼类质量团队一直致力于向用户提供高质量的应用程序。目前，随着人工智能技术的不断发展，张量流成为研究热点，这也给测试方法带来了更多的可能性。接下来，本文介绍了人工智能在自由鱼测试中的一些实践：如何应用人工智能技术通过图片发现缺陷
在不了解业务的情况下可以发现的缺陷主要包括页面整体空白、部分控件显示异常和文本异常。对于整个空白图片，我们发现它们的共同特点是明显的：大面积空白或中心区域错误报告，因此我们选择使用张量流建立的简单c n模型来识别正常图片和异常图片。对于含有文本异常等乱码的图片，通过光学字符识别建立简单的汉字识别模型，识别图片中的文本内容，判断是否存在乱码。
训练上述模型的样本来自缺陷历史截图和模拟正面数据样本。
初始模型在训练期间样本有限，但随着应用程序的不断更新和迭代，以及图像检测样本数量的逐渐增加，一些新页面将被错误分类。为了解决这种虚警问题，迫切需要加入模型再培训。
显然，启动模型再培训并用人肉替换旧模型的成本太高，因此在前端实现了检查要再培训的图片的入口。通过jenkins计时任务，读取所有再培训图片并执行再培训脚本，并用新生成的模型替换旧模型。经过几轮自动迭代，模型识别的精度得到了极大的提高。
有些截图可能有很大的空白区域，但从商业角度来看，这样的图像是正确的，比如搜索中间页面。如果不处理，就会被视为异常图片，每次都会报告，浪费大家的检查时间。如果将其纳入再培训模型，则存在模型无法收敛的风险。为了解决这类图片，需要维护一个图片库。模型识别为异常的图片将与图片库中的图片进行比较。如果与图片库中任何一张图片的相似性超过设定的阈值，则认为可以忽略该图片而不进行报告。
目前，遍历截图任务将访问同一页面至少两次，以确保获取页面上的所有元素；同时遍历时，为了方便页面上下文分析，单击的元素将被标记为红色框。这带来了一个问题：在要识别的图像集中，同一页上会有多个重复的屏幕截图，同一页上的不同位置可能会有红框标记。人工检查大量重复的图片不可避免地会导致视觉疲劳，因此在重复数据消除后显示结果可以极大地提高人工筛选的效率，降低成本。
当图像数量较大且不确定这次遍历了多少不同的页面时，可以使用分层聚类算法来解决这个问题。本文采用自下而上的聚类方法，即先将每个屏幕截图视为一个聚类，然后找到距离最小的两个聚类进行合并，然后继续重复到预期的聚类或满足其他终止条件。
1）计算图片之间的距离
首先将图片转换为w*h*3维向量，并将向量之间的欧几里德距离作为图片之间的距离。图片越相似，距离就越小。
为了完成通过一次应用程序遍历获得的n个图片的聚类，首先根据上述方法处理单个图片，然后将其拼接成n*（w*h*3）矩阵作为样本集。
2）计算簇间距离的方法
单个：两个簇中最近的两个样本之间的距离作为簇之间的距离
完成：两个簇中最远的两个样本之间的距离作为簇之间的距离
平均值：由两个簇之间两个样本距离的平均值确定，解决了单个异常样本对结果的影响，但计算量相对较大
沃德：偏差平方和的计算公式很复杂。具体计算公式及其他计算方法请参见计算簇间距离的方法。
经过尝试，发现ward效果更好，因此最终选择ward作为计算簇间距离的方法。
执行上述语句后，集群完成。
3）临界距离选择
该值直接影响聚类的效果。如果临界距离太小，一些相似的图片就不能聚集到一个类中。如果临界距离太大，不同页面上的图片将聚集在一起。因此，如何选择合适的距离是非常重要的。
实验表明，如果通过页面异常模型将图像识别为异常图像，则这些图像之间的相似度越高，为了不错误地对不同的异常页面进行聚类，将识别为异常和正常的图像分别进行聚类，并将异常类的临界距离设置得更小。
目前，该工具对整个页面异常具有良好的识别效果，文本异常的识别精度也在不断丰富样本的过程中得到提高。
接下来，我们将集成LABELIMG工具，用张量流建立固态磁盘模型，以识别异常控制的图片。此外，还存在元素/文本布局混乱等问题。页面识别和页面操作预期结果识别也在不断尝试。使用图像处理和错误识别技术作为质量保证的方法，我们将继续探索。
没有供应的闲置鱼类的做法是什么？如何做到这一点？游手好闲的鱼没有货源。闲置市场规模超过万亿。
