3D重建曼哈顿街景!谷歌开源Kartta Labs,使用深度学习和众包再现历史街景
点击上方“计算机视觉工坊”,选择“星标”
干货第一时间送达
来源:Google
编辑:雅新
转载自公众号:新智元
穿越到20世纪90年代,感受一下曼哈顿如何?
Kartta 能够让我们来一场「光的旅行」。
谷歌今天开源了Kartta Labs,这是一个基于 Google Cloud 和 Kubernetes 的开源可扩展系统,可从历史地图和照片中重建过去的城市。
作为一套工具,Kartta 可以创建带有可探索时间轴的地图,从而使用户可以使用历史上准确的信息填充日期。
地址:https://github.com/kartta-labs
Kartta:能够在「时间维度」上标记地图
Kartta Labs于去年在用于地理知识发现的AI国际研讨会上首次引入。
创作者认为,这样做的动机是组织世界历史地图,同时使其易于使用。历史地图可以帮助识别文化和社会趋势,不仅是公民研究而且是规划和宣传的宝贵资源。
十多年前,美国前任副总统Al Gore曾使用谷歌地球的历史图像显示了极地冰盖的融化。
Kartta Labs包含3个主要部分:
1、时间地图服务器,显示地图如何随时间变化;
2、众包平台,允许用户上传城市历史地图,对其进行地理校正和矢量化(即将其与现实世界中的坐标相匹配);
3、还有一个即将上线的3D体验平台,该平台在地图上运行,通过使用深度学习从有限的历史图像和地图数据重建3D建筑物,从而创建3D体验。
Kartta已经超越了简单的数据收集功能,不仅能够收集数字档案中历史地图,还能够在时间和空间维度上标记地图。
时间地图服务器显示地图如何随时间变化,而众包平台允许用户上传城市历史地图并将其与真实世界坐标相匹配。还有一个体验平台在地图上运行,通过AI重建建筑物来进行3D体验。
众包平台允许用户上传历史地图,手动矫正
众包平台的切入点是Warper,Warper是基于MapWarper开源的Web应用程序,它允许用户上传地图的历史图像,并通过在历史地图上找到控制点,以及底图上的对应点来对它们进行地理校正。
用户上传扫描的历史地图后,Warper会通过从地图中提取文本信息来对地图的地理位置进行最佳猜测。
其初始猜测将会把地图放在大概的位置上,并允许用户通过在历史地图和参考地图上放置成对的控制点来对地图像素进行参照标记。
Warper使用许多开源地理空间库和技术可以像Ruby on Rails应用程序进行运行,其中就包括PostGIS、GDAL。
它可以将生成的地图导出为PNG,GeoTIFF和其他开放格式。
Warper还运行栅格图块服务器,该服务器在图块URL提供每个已经进行了地理校正的地图。该栅格图块服务器用于编辑应用程序中,将地理校正后的地图加载为背景。
带有时间滑块的3D重建曼哈顿切尔西鸟瞰图
编辑器同样是一个开源Web应用程序,它是OpenStreetMap编辑器的自定义版本。编辑器补充了Warper,该工具支持时间维度,并与Kartta套件中的其他应用程序集成。
它允许用户加载经过地理校正的历史地图并跟踪其地理特征,比如,建筑、道路等等。其跟踪的数据以矢量格式存储。
矢量格式的提取的几何图形以及元数据,例如地址,名称以及开始或结束日期,都存储在地理空间数据库中,可以对其进行查询,编辑,样式化并呈现到新地图中。
3D重建的曼哈顿切尔西街景
Kartta的前端工作方式类似于Google Maps,但带有用于选择地图年份的时间滑块。移动时间滑块可显示地图中的要素如何随时间变化。
谷歌即将推出的3D模型将重建历史建筑的详细完整3D结构,将图像与地图数据相关联,并在存储库中正确组织这些3D模型,并将其呈现在具有时间维度的地图上。
谷歌研究高级软件工程师Raimondas Kiveris在博客中写道,「我们开发了这个工具,以促进众包并应对历史数据不足的主要挑战」。
参考链接:
https://venturebeat.com/2020/09/15/google-launches-kartta-labs-to-recreate-historical-maps-in-3d/
https://opensource.googleblog.com/2020/09/recreating-historical-streetscapes.html
本文仅做学术分享,如有侵权,请联系删除。
下载1
在「计算机视觉工坊」公众号后台回复:深度学习,即可下载深度学习算法、3D深度学习、深度学习框架、目标检测、GAN等相关内容近30本pdf书籍。
下载2
在「计算机视觉工坊」公众号后台回复:计算机视觉,即可下载计算机视觉相关17本pdf书籍,包含计算机视觉算法、Python视觉实战、Opencv3.0学习等。
下载3
在「计算机视觉工坊」公众号后台回复:SLAM,即可下载独家SLAM相关视频课程,包含视觉SLAM、激光SLAM精品课程。
重磅!计算机视觉工坊-学习交流群已成立
扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群,目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流等微信群,请扫描下面微信号加群,备注:”研究方向+学校/公司+昵称“,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号