你无法想象实现人工智能的自动测试工具有多么容易!(基础)

频道:闲鱼技术 日期: 浏览:215
作者:自由鱼技术-金纳

微信号:ccjun91
添加微信群,试用软件
复制微信号

免费鱼类质量团队一直致力于向用户提供高质量的应用程序。目前,随着人工智能技术的不断发展,张量流成为研究热点,这也给测试方法带来了更多的可能性。接下来,本文介绍了人工智能在自由鱼测试中的一些实践:如何应用人工智能技术通过图片发现缺陷

在不了解业务的情况下可以发现的缺陷主要包括页面整体空白、部分控件显示异常和文本异常。对于整个空白图片,我们发现它们的共同特点是明显的:大面积空白或中心区域错误报告,因此我们选择使用张量流建立的简单c n模型来识别正常图片和异常图片。对于含有文本异常等乱码的图片,通过光学字符识别建立简单的汉字识别模型,识别图片中的文本内容,判断是否存在乱码。

 

训练上述模型的样本来自缺陷历史截图和模拟正面数据样本。

初始模型在训练期间样本有限,但随着应用程序的不断更新和迭代,以及图像检测样本数量的逐渐增加,一些新页面将被错误分类。为了解决这种虚警问题,迫切需要加入模型再培训。

显然,启动模型再培训并用人肉替换旧模型的成本太高,因此在前端实现了检查要再培训的图片的入口。通过jenkins计时任务,读取所有再培训图片并执行再培训脚本,并用新生成的模型替换旧模型。经过几轮自动迭代,模型识别的精度得到了极大的提高。

有些截图可能有很大的空白区域,但从商业角度来看,这样的图像是正确的,比如搜索中间页面。如果不处理,就会被视为异常图片,每次都会报告,浪费大家的检查时间。如果将其纳入再培训模型,则存在模型无法收敛的风险。为了解决这类图片,需要维护一个图片库。模型识别为异常的图片将与图片库中的图片进行比较。如果与图片库中任何一张图片的相似性超过设定的阈值,则认为可以忽略该图片而不进行报告。

目前,遍历截图任务将访问同一页面至少两次,以确保获取页面上的所有元素;同时遍历时,为了方便页面上下文分析,单击的元素将被标记为红色框。这带来了一个问题:在要识别的图像集中,同一页上会有多个重复的屏幕截图,同一页上的不同位置可能会有红框标记。人工检查大量重复的图片不可避免地会导致视觉疲劳,因此在重复数据消除后显示结果可以极大地提高人工筛选的效率,降低成本。

当图像数量较大且不确定这次遍历了多少不同的页面时,可以使用分层聚类算法来解决这个问题。本文采用自下而上的聚类方法,即先将每个屏幕截图视为一个聚类,然后找到距离最小的两个聚类进行合并,然后继续重复到预期的聚类或满足其他终止条件。

1)计算图片之间的距离

首先将图片转换为w*h*3维向量,并将向量之间的欧几里德距离作为图片之间的距离。图片越相似,距离就越小。

为了完成通过一次应用程序遍历获得的n个图片的聚类,首先根据上述方法处理单个图片,然后将其拼接成n*(w*h*3)矩阵作为样本集。

2)计算簇间距离的方法

单个:两个簇中最近的两个样本之间的距离作为簇之间的距离

完成:两个簇中最远的两个样本之间的距离作为簇之间的距离

平均值:由两个簇之间两个样本距离的平均值确定,解决了单个异常样本对结果的影响,但计算量相对较大

沃德:偏差平方和的计算公式很复杂。具体计算公式及其他计算方法请参见计算簇间距离的方法。

经过尝试,发现ward效果更好,因此最终选择ward作为计算簇间距离的方法。

执行上述语句后,集群完成。

3)临界距离选择

该值直接影响聚类的效果。如果临界距离太小,一些相似的图片就不能聚集到一个类中。如果临界距离太大,不同页面上的图片将聚集在一起。因此,如何选择合适的距离是非常重要的。

实验表明,如果通过页面异常模型将图像识别为异常图像,则这些图像之间的相似度越高,为了不错误地对不同的异常页面进行聚类,将识别为异常和正常的图像分别进行聚类,并将异常类的临界距离设置得更小。

目前,该工具对整个页面异常具有良好的识别效果,文本异常的识别精度也在不断丰富样本的过程中得到提高。

接下来,我们将集成LABELIMG工具,用张量流建立固态磁盘模型,以识别异常控制的图片。此外,还存在元素/文本布局混乱等问题。页面识别和页面操作预期结果识别也在不断尝试。使用图像处理和错误识别技术作为质量保证的方法,我们将继续探索。

没有供应的闲置鱼类的做法是什么?如何做到这一点?游手好闲的鱼没有货源。闲置市场规模超过万亿。二手电子商务迎来了循环经济的红利。“校园圈”真的能成为游鱼生长的第二个引擎吗?如果闲置的鱼被恶意退回怎么办?开店时如何提高闲置鱼的暴露率?

复制成功

微信号: ccjun91
添加微信群,试用软件

我知道了
添加微信

微信号: ccjun91
添加微信群,试用软件

一键复制加过了
18749471747
微信号:ccjun91添加微信
ccjun91