随着物联网技术的最新进展,预计将涌现出许多实时服务,以利用从工厂、家庭和社会基础设施等各种设备流入云端的大量数据。随着我们朝着联网汽车的自动驾驶方向发展,研究人员正在考虑分析车辆产生的大量信息,例如速度和位置,并将这些信息以警告等形式呈现给驾驶员。.
流处理技术能够高效地处理如此大量的数据,但当根据服务的增加或改进而更改或添加处理内容时,必须暂时停止处理,这会导致服务提供延迟。.
富士通现已开发出一种新型流处理架构,该架构可在并行数据处理任务完成后自动切换到新的数据处理程序。该架构将流处理分为数据接收处理和当前数据处理,确保接收和当前数据处理均能连续进行(专利申请中)。因此,在模拟从一百万辆车每秒接收几十字节数据的测试中,富士通证实,该架构能够在添加或切换处理程序的同时持续处理流数据,平均等待时间增加不超过五毫秒。.
富士通实验室计划在 2018 财年内,在富士通有限公司提供的移动物联网平台上实现这项技术的商业化,并将其扩展到该行业的其他领域。.
该技术的细节在 DEIM2018(数据工程和信息管理论坛)上进行了介绍,该会议于 3 月 4 日在日本福井县芦原市举行。.
发展背景:
随着物联网技术的快速发展,各种物体开始产生数据并存储在数据中心。预计对这些数据进行分析和利用将催生新的服务。例如,在联网汽车领域,人们相信收集、分析和使用实时汽车数据将有助于缓解交通拥堵、辅助驾驶员并提高自动驾驶的安全性(图1)。
大量
移动车辆每秒产生的诸如速度和位置等数据,最有效的方法是构建一个基于流处理的并行数据处理系统,逐车处理数据。为了根据新增和改进的服务来添加或更改处理程序,目前的方法是预先准备两个相同规模的系统,使用其中一个进行操作,对另一个进行更改,然后快速切换。然而,这种方法需要在将车辆速度或位置等数据存储在正在使用的系统的内存中并复制到正在更新的系统中时,暂时关闭两个系统。这使得难以提供真正需要连续运行的服务,例如向联网车辆实时传输警告信息。
此外,由于获得了新的数据库处理程序(称为存储库),大量处理单元发出大量查询,导致拥塞,从而减慢了整体处理速度。.
新开发技术详情
:富士通实验室开发了Dracena架构,该架构能够在系统运行期间修改其处理程序,而无需中断运行。
利用这项技术,当数据处理内容发生更改或添加时,该架构会将新的数据处理程序以消息的形式分发给每个独立的处理单元(称为对象),就像每辆车都有一个处理单元一样,分发方式与数据分发的方式相同。这消除了由于查询集中在存储库中而对整体处理速度造成的影响。此外,通过在该架构中将对象内部的消息接收处理与数据处理分离,系统可以在不停止消息接收或现有数据处理的情况下添加新的数据处理程序,然后让所有对象同时切换到新的数据处理程序。这使得富士通实验室能够创建一种流处理架构,在该架构中,数据处理程序可以在不停止的情况下添加或修改,从而在不中断大量数据复制的情况下继续并行处理(图2)。
效果:
模拟评估结果证实,在每秒传输来自一百万辆车的几十字节数据的用例中,该架构能够在系统已提供超时驾驶检测服务的情况下,通过增加急刹车检测服务,持续提供服务,平均延迟增加不超过五毫秒。该架构能够快速交付需要不间断运行的实时服务,并可解决诸多社会问题,例如联网汽车的驾驶辅助、节能家电、家庭健康与安全监测,以及为使用智能手机的游客提供旅行指南。
此外,这种架构允许用户采用逐步构建的方式,首先构建一个用于简单分析和使用的基础系统,然后逐步添加新服务。例如,在汽车行业应用这项技术,可以先构建一个基于方向盘数据读取酒驾警告的系统,然后逐层添加新服务,例如将其与地图数据结合以检测隧道出口的侧风,或将其与图像数据结合以检测违章停车。这有望提高服务开发的效率。.
未来计划
包括在2018财年将这项技术商业化,作为富士通有限公司提供的移动物联网平台的一个组成部分。此外,富士通还计划将这项技术扩展到移动领域之外,应用于需要基于高频持续生成数据的实时服务的商业领域,例如在事件或灾难期间为人们提供路线指引。
