Design-Net:大规模平面设计数据集

design-net_shejiai_1.png

34年前,WordNet 教会了机器看懂文字背后的语义
10年前,ImageNet 教会了机器看懂图片背后的内容
今天,DesignNet 将慢慢教会机器看懂设计背后的故事,情感和意义
人类赋予机器无限运算力,机器回馈人类无限想象力

欢迎访问大规模平面设计数据集DesignNet

• 超过 20 万张平面设计作品图文件
• 设计图包含的 100 万个设计元素标签数据(包括风格标签、情感标签等)
• 近 1000 套结构化平面设计框架/排版数据的抽象和提炼
• 近 10 万条设计作品评分数据

DesignNet:设计数据集

随着人工智能技术的飞速发展,各行各业开始尝试应用其辅助减少重复性的劳动,提升效率。设计行业也不例外,各个环节中都存在巨大的自动化、智能化的优化空间。然而在尝试应用人工智能技术时,一个巨大的挑战就是计算机缺乏对交互界面中视觉图像的“理解”。视觉图像作为非结构化数据,因为缺乏结构化、可视化的相应方法,无法高效地挖掘出有效信息,变成了“沉默的资产”。只有通过对界面设计中视觉图像进行高度结构化的内容描述,将视觉数据转化为结构化的数据模型,才能实现计算机对视觉数据理解与分析,从而充分发挥设计数据的价值。

设计视觉数据的结构化,是指计算机从界面设计视觉图像中自动提取结构化的内容属性。利用模式识别、深度学习等技术手段,结合界面设计领域的专业知识,将设计图像的底层特征与高级语义描述相结合,组织成可供计算机处理和理解的结构化数据,从而实现对设计图像的快速检索、语义查询、智能和高效存储,达到充分发挥设计数据的价值的目的。为此,本文对界面设计中视觉数据结构化的方法及实践应用进行了研究,具体研究内容如下:

1. 结构化

提出了一个界面设计中视觉数据的结构化框架:通过将界面设计理论与行业实践相结合,总结出了包括风格、手法、空间、色彩四个维度内容属性的分层树形结构化框架,涵盖了大部分设计图像的内容描述信息。

2020毕业生_龚淑宇_界面设计中视觉数据的结构化方法及应用研究.015.jpeg

2020毕业生_龚淑宇_界面设计中视觉数据的结构化方法及应用研究.016.jpeg

2020毕业生_龚淑宇_界面设计中视觉数据的结构化方法及应用研究.017.jpeg

2. 设计图像数据集 DesignNet

完善了设计图像数据集 DesignNet:包含 4,369 张界面设计中的视觉图像,并标注了风格、手法、空间三类语义信息,为下一步应用 CNN 模型进行内容语义分析工作做好准备。

2020毕业生_龚淑宇_界面设计中视觉数据的结构化方法及应用研究.018.jpeg

2020毕业生_龚淑宇_界面设计中视觉数据的结构化方法及应用研究.019.jpeg

2020毕业生_龚淑宇_界面设计中视觉数据的结构化方法及应用研究.020.jpeg

2020毕业生_龚淑宇_界面设计中视觉数据的结构化方法及应用研究.021.jpeg

3. 模型设计

完成了具体内容属性分析的模型设计:通过基于 DenseNet 和 Gram 矩阵的CNN 分类模型完成对设计图像风格、手法、空间三个维度的语义分析,通过色彩计算模型完成对设计图像主色、色调和色彩丰富度的分析。

2020毕业生_龚淑宇_界面设计中视觉数据的结构化方法及应用研究.022.jpeg

2020毕业生_龚淑宇_界面设计中视觉数据的结构化方法及应用研究.023.jpeg

2020毕业生_龚淑宇_界面设计中视觉数据的结构化方法及应用研究.024.jpeg

2020毕业生_龚淑宇_界面设计中视觉数据的结构化方法及应用研究.025.jpeg

2020毕业生_龚淑宇_界面设计中视觉数据的结构化方法及应用研究.026.jpeg

2020毕业生_龚淑宇_界面设计中视觉数据的结构化方法及应用研究.027.jpeg

2020毕业生_龚淑宇_界面设计中视觉数据的结构化方法及应用研究.028.jpeg

2020毕业生_龚淑宇_界面设计中视觉数据的结构化方法及应用研究.029.jpeg

Design Picker: 设计师灵感收集工具

在上述工作基础上,我们设计并实现了“设计灵感管理系统”:验证上述视觉数据结构化方法的应用场 景并探索其对交互设计行业智能化的可能影响。

design-net_shejiai_2.png design-net_shejiai_3.png design-net_shejiai_4.png design-net_shejiai_5.png

微信公众号
设计人工智能网络
微信公众号
设计科技播客
特有想象力
设计科技播客
© 2022 同济大学设计人工智能实验室沪ICP备17015556号-1