MIT 更新大自然灾害图像数据集，囊括 19 种灾害事件

2020 年，多灾多难的一年。年初爆发的疫情，夏天南方的洪灾，近期美国加州的野火……

洪灾、山火、地震之类的自然灾害，总是威胁着人们的生命财产安全。而在无法避免其发生的情况下，如果能够及时、迅速地发现一些细微的变化，就能更好地制定相应救援方案，更合理地进行资源配置，同时也有助于进行相关新闻的报道。

因此，麻省理工学院的工程学硕士生 Ethan Weber 和合作者 Hassan Kan，在新论文《Building Disaster Damage Assessment in Satellite Imagery with Multi-Temporal Fusion》（《具有多时相融合的卫星影像中的建筑物灾害破坏评估》）中提出了一个深度学习模型，能够对受损区域的卫星图像进行更快、更精准的评估，从而为急救人员争取更多的时间、大程度地减少损失。

该论文在近期 CV 顶会 ECCV 2020 上发表

论文地址：https://arxiv.org/pdf/2004.05525.pdf

与此同时，他们还发布了一个新的用于损坏评估的卫星图像数据集，让图像事件检测的相关研究更进一步，研究人员能实现更的定位和量化损失。

对于自然灾害，现场应急小组减少反应时间，迅速响应、采取行动，对于减少损失和挽救生命至关重要。此外，为了更好地在受灾地区部署资源，应急人员必须了解损失的确切位置和严重性，这些同样重要。

目前，应急人员通常通过人力观察卫星图像的方法，来评估灾害损坏程度，但评估过程可能要花费数小时之久，这对于抢救工作极为不利。

人员观察分析卫星图像耗时耗力

是目前自然灾害评估工作中的一个瓶颈

Ethan Weber 的这项研究贡献在于，创建自动分析图像的工具，减少图像分析时间，赢得与时间的赛跑。

另外，其研究通过共享权值的 CNN（卷积神经网络），独立地提供灾前和灾后图像，可以获得更好的性能。

他们还提出了一种新的计算机视觉模型，该模型能够检测在 Twitter 和 Flickr 等社交媒体平台上发布的图片中的事件。

论文中提出的建筑损坏预测、评估模型架构

除了提出新模型外，该研究团队还重磅发布了一个新的事件数据集：xBD 数据集。

该数据集包含 22068 张图像，标记有 19 种不同的事件，包括地震，洪水，野火、火山爆发和车祸等。这些图像包括了灾前、灾后图像，图像可用于构建定位和损伤评估这两项任务。

飓风灾前图像（左图）与灾后图像（右图）

据介绍，xBD 数据集是迄今为止个建筑破坏评估数据集，是带注释的高分辨率卫星图像中规模大、质量高的公共数据集之一。其基本信息如下：

这些图像分辨率为 1024×1024，其中每个建筑物都有标识符，并在灾前灾后图片中保持一致。

但研究者发现建筑物的分辨率往往太小，模型无法准确绘制建筑物边界。为此，他们在 4 张 512×512 的图像上训练和运行模型，形成左上角、右上角、左下角和右下角象限。

根据这些灾前和灾后数据，损伤评估可以被定义为单时间和多时间任务。在单时间设置中，只有灾后图像被输入模型，该模型必须预测每个像素的损伤水平。在多时间背景下，灾前灾后图像都被输入到模型中，该模型必须在后图像上预测损伤程度。

团队综合多方资料，制定的损坏评估量表

团队表示，这套新数据集旨在填补该领域的空白。现有数据集的图像数量和事件类别的多样性都受到限制。

作者还解释了如何创建数据集、如何创建模型以检测图像中的事件，以及如何过滤嘈杂的社交媒体数据中的事件。

他们的其中一项工作是，过滤了 4000 万张 Flickr 图片，来寻找灾害事件。另外一些工作则是可对地震，洪水和其他自然灾害期间，发布在 Twitter 上的图像进行过滤。

比如，该团队将与自然灾害相关的推文过滤为特定事件，并通过将推文频率与美国国家海洋和大气管理局（NOAA）提供的数据库相关联，来验证这一过程。

Ethan Weber 说：「我对这个数据集能够进行进一步的研究以检测图像中的事件感到兴奋，它也非常有效地激发了人们对计算机视觉界的兴趣。」

他还表示，社交媒体和卫星图像都是有助于应急响应的数据形式。社交媒体提供实地观察，而卫星图像提供宏观的观察（expansive insights），例如确定哪些地区受野火影响大。

每逢灾害发生，网友通常会在社交媒体上发布实地拍摄照片

正是意识到这种相互联系，Ethan Weber 和他的校友合作，在损害评估方面做出了卓越的成绩。

Ethan Weber 说：「现在我们有了数据，对定位和量化破坏很感兴趣。我们正在与应急组织合作，以保持专注并开展具有现实利益的研究。」