期刊首页 优先出版 当期阅读 过刊浏览 作者中心 关于期刊 English

《信息与电子工程前沿(英文)》 >> 2023年 第24卷 第3期 doi: 10.1631/FITEE.2200099

UI图层合并器:基于计算机视觉与边界先验的UI图层合并方法

1浙江大学软件学院,中国杭州市,310027;2浙江大学计算机科学与技术学院,中国杭州市,310027;3阿里巴巴-浙江大学前沿技术联合研究中心,中国杭州市,310027;4阿里巴巴集团,中国杭州市,311121;5浙江-新加坡人工智能与创新设计联合实验室,中国杭州市,310027

收稿日期: 2022-03-15 录用日期: 2023-03-25 发布日期: 2023-03-25

下一篇 上一篇

摘要

随着互联网行业图形用户界面(GUI)开发工作量的快速增长,国内外学者试图从GUI图片生成可维护的前端代码。该任务更适合从包含有用户界面元数据的UI设计稿来实现代码生成。然而,碎片图层不可避免地会出现在UI设计稿中,这大大降低了生成代码的质量。目前尚未有自动化GUI技术来检测并合并碎片图层以提高生成代码的可维护性。本文提出UI图层合并器(UILM),一种基于计算机视觉的方法,可以自动检测并合并碎片图层为完整的UI组件。本文提出的UILM包含合并区域检测器和碎片图层合并算法。合并区域检测器结合边界先验知识来准确地检测出UI组件的边界。基于此,碎片图层合并算法可以搜索出边界内的相关碎片层并将其合并为整体。此外,我们提出一种动态数据增强算法来提高合并区域检测器的性能。我们还构建了用于训练合并区域检测器和测试UILM的大规模UI数据集。实验结果表明,本文提出的方法在合并区域检测方面优于最佳基线,并达到了有效的图层合并准确率。最后,对真实应用程序的用户研究也证实了本文方法的有效性。

相关研究