你无法想象实现人工智能自动化测试工具有多么容易!(基础)

频道:闲鱼技术 日期: 浏览:472
作者:自由鱼技术-金纳

微信号:ccjun91
添加微信群,试用软件
复制微信号

免费鱼类质量团队一直致力于为用户提供高质量的a p。目前,随着人工智能技术的不断发展,测试方法也越来越有可能。接下来,本文介绍了人工智能在自由鱼测试中的一个小实践:如何使用人工智能技术通过图片找到BUG。

在不了解业务的情况下可以发现的BUG主要包括整体页面空白、部分控件显示异常和文本异常。对于整体空白图片,我们发现它们的共同特征是明显的:大面积空白或中心区域错误报告,因此选择由Te n s o r f ow建立的简单cnn模型来识别正常图片和异常图片。对于含有文本异常等乱码的图片,利用ocrlsm建立简单的汉字识别模型,识别图片中的文本内容,判断是否存在乱码。

用于训练上述模型的样本来自BUG的历史截图和MO c k的正数据样本。

初始模型在训练期间样本有限,但随着p的不断更新和迭代,以及图像检测样本数量的逐渐增加,一些新页面将被错误分类。为了解决这种虚警问题,迫切需要加入模型再培训。

显然,启动模型再培训并用人肉替换旧模型的成本太高,因此在前端实现了检查要再培训的图片的入口。通过j e n k i ns计时任务,读取所有再培训图片并执行再培训脚本,并用新生成的模型替换旧模型。经过几轮自动迭代,模型识别的精度得到了极大的提高。

有些截图可能有很大的空白区域,但从商业角度来看,这样的图像是正确的,比如搜索中间页面。如果不处理这类图片,它将被识别为异常图片,并每次报告,浪费每个人的时间。如果将其纳入再培训模型,将导致模型不收敛的风险。为了解决这类图片,需要维护一个图片库。模型识别为异常的图片将与图片库中的图片进行比较。如果与图片库中任何一张图片的相似性超过设定的阈值,则认为可以忽略该图片而不进行报告。

目前,遍历截图任务将访问同一页面至少两次,以确保获取页面上的所有元素;同时遍历时,为了方便页面上下文分析,单击的元素将被标记为红色框。这带来了一个问题:在要识别的图像集中,同一页上会有多个重复的屏幕截图,同一页上的不同位置可能会有红框标记。人工检查大量重复的图片不可避免地会导致视觉疲劳,因此在重复数据消除后显示结果可以极大地提高人工筛选的效率,降低成本。

当图像数量较大且不确定这次遍历了多少不同的页面时,可以使用分层聚类算法来解决这个问题。本文采用自下而上的聚类方法,即先将每个屏幕截图视为一个聚类,然后找到距离最小的两个聚类进行合并,然后继续重复到预期的聚类或满足其他终止条件。

1)计算图片之间的距离

首先将图片转换为w*h*3维向量,并将向量之间的欧几里德距离作为图片之间的距离。图片越相似,距离就越小。

为了完成从p遍历获得的n个图片的聚类,应根据上述方法处理单个图片,然后将其拼接成n*(w*h*3)矩阵作为样本集。

2)计算簇间距离的方法

s i n g l e:两个簇中最近的两个样本之间的距离被视为这些簇之间的距离

c o m p l e t e:两个簇中最远的两个样本之间的距离被视为簇之间的距离

a v e r a g e:由两个簇之间两个样本之间距离的平均值确定。它解决了单个异常样本对结果的影响,但计算量相对较大

w a r d:偏差的平方和。计算公式很复杂。要了解具体的计算公式和其他计算方法,请参见计算簇间距离的方法。

经过尝试,发现w a r d的效果更好,因此最终选择w a r d作为计算簇间距离的方法。

后办案的以上声明,豫的完成.

3)临界距离的选择

该值直接影响聚类的效果。如果临界距离太小,一些相似的图片就不能聚集到一个类中。如果临界距离太大,不同页面上的图片将聚集在一起。因此,如何选择合适的距离是非常重要的。

实验表明,如果通过页面异常模型将图像识别为异常图像,则这些图像之间的相似度越高,为了不错误地对不同的异常页面进行聚类,将识别为异常和正常的图像分别进行聚类,并将异常类的临界距离设置得更小。

目前,该工具对整个页面异常具有良好的识别效果,文本异常的识别精度也在不断丰富样本的过程中得到提高。

接下来,我们将集成LABELIMG工具,并使用TNSORFOW构建sd模型,以识别异常对照的图片。此外,还存在元素/文本布局混乱等问题。

 

页面识别和页面操作预期结果识别也在不断尝试。使用图像处理和错误识别技术作为质量保证的方法,我们将继续探索。

没有供应的闲置鱼类的做法是什么?如何做到这一点?游手好闲的鱼没有货源。闲置市场规模超过万亿。二手电子商务迎来了循环经济的红利。“校园圈”真的能成为游鱼生长的第二个引擎吗?如果闲置的鱼被恶意退回怎么办?开店时如何提高闲置鱼的暴露率?

复制成功

微信号: ccjun91
添加微信群,试用软件

我知道了
添加微信

微信号: ccjun91
添加微信群,试用软件

一键复制加过了
18749471747
微信号:ccjun91添加微信
ccjun91