最近人工智能和深度学习的进步已经彻底改变了许多行业，并可能很快也会帮助重新塑造您的社区。通过给定一个景观图像，深度学习模型的分析可以帮助城市景观设计师可视化重新开发计划，从而改善风景或避免昂贵的错误。

然而，要实现这一点，模型必须能够正确识别和分类给定图像中的每个元素。由于缺乏合适的训练数据，这一步骤称为实例分割，对机器来说仍然具有挑战性。

虽然收集城市的图像相对容易，但生成“地面实况”即告诉模型其分割是否正确的标签涉及到繁琐的手工分割每个图像的过程。

为了解决这个问题，大阪大学的研究人员开发了一种使用计算机模拟来训练这些数据需求模型的方法。首先，使用逼真的3D城市模型生成分割的地面实况。然后，一个图像到图像模型从地面实况图像生成逼真的图像。他们的文章《使用不存在的逼真城市的3D模型进行深度学习真实城市景观的合成数据集生成方法的开发》发表在《先进工程信息学》杂志上。

结果是一个类似于实际城市的逼真图像的数据集，其中包含不需要手动分割的精确生成的地面实况标签。

负责人Takuya Kikuchi表示：“合成数据以前在深度学习中已经被使用过，但大多数景观系统依赖于现有城市的3D模型，而这些模型构建起来仍然很困难。我们也模拟了城市结构，但我们以一种仍然可为现实世界模型生成有效训练数据的方式进行。”

在生成逼真城市的3D模型之后，使用游戏引擎创建城市的分割图像。最后，使用对抗生成网络（一种利用博弈论以学习如何生成逼真图像的神经网络）对图形进行训练，将形状图像转换为具有逼真城市纹理的图像。这个图像到图像模型创建相应的街景图像。

Tomohiro Fukuda解释道：“这样可以避免需要真实建筑数据集的问题，这些数据集并不公开。而且，即使图像中的几个个体对象重叠，它们也可以被分开。但最重要的是，这种方法节省了人力和与此相关联的成本，同时仍然生成了良好的训练数据。”

为了证明这一点，通过模拟数据训练了一个称为“蒙版区域卷积神经网络”的分割模型，同时用真实数据训练了另一个模型。虽然数据集的制作时间减少了98%，但这两个模型在大型、明显建筑的实例上表现相似。

研究人员计划查看改进的图像到图像模型是否在更多条件下提高性能。目前，这种方法以令人惊叹的低成本生成大量数据。研究人员的成果将解决当前和即将到来的训练数据不足问题，减少与数据集准备相关的成本，并帮助迎来深度学习辅助的城市景观的新时代。