HBase在新能源汽车监控系统中的应用

  • 时间:
  • 浏览:1

首先,本文介绍了新能源车辆监控系统的项目背景,之前 分析了本项目的项目难点,并介绍了他们都都团队的各种补救方案。针对项目需求,介绍了他们都都选者HBase的原因分析,及在HBase数据库使用过程中的经验和痛点。

经过对这几种数据库的分析,他们都都最终选者HBase,其满足他们都都前面提到的好几个 要求,而且还提供Phoenix插件用于SQL搞笑的话的查询。

可不能能兼容大数据生态产品(如Spark、Hive、Hadoop等),一并支持离线和准实时OLAP;

系统采用层级架构以方便后期扩展和维护,现在主要分为以下几层:

还要可不能能支持海量数据的不间断写入,而且可不能能存储PB级别的数据,具有高扩展性、高可靠性等;

本项目为车联网监控系统,系统由车载硬件设备、云服务端构成。车载硬件设备会定时采集车辆的各种状况信息,并通过移动网络上传到服务器端。服务器端接收到硬件设备发送的数据首先还要将数据进行解析,校验,随都在将该消息转发到国家汽车监测平台和地方汽车监测平台,最后将解析后的明文数据和原始报文数据存储到系统中。车辆的数据和某些数据还要通过web页面或rest API接口进行查询访问。要求两天内的数据查询响应时间在毫秒级别内,超过两天的数据还要放进去去更加低成本的介质上,查询延迟在3s以内,你这些数据的查询频次比较低。系统的主要参数有以下几项:

我觉得Phoenix可不能能通过二级索引实现较为简化的数据查询,但对于更为简化的查询与分析需求就显得捉襟见肘。什么都有有他们都都选者了Spark等某些数据分析组件对数据进行离线分析,分析后对结果通过接口提供给用户。

团队在使用HBase之前 老是使用MySQL关系型数据库,在系统设计之初并如此考虑HBase的行态,而且按照关系型数据库的设计原则设计。经过一段时间的了解后才知道HBase主要使用Row key进行数据查询。Row key的设计至关重要。 目前系统中设计的Row key如下:

经过比较国内的各大云厂商,他们都都最终选者了阿里云平台,不可能 阿里云提供SaaS化的HBase服务,一并阿里云HBase支持很全面的多模式,支持冷数据存放进去去OSS之中,节约成本;支持备份恢复等行态,做到了真正的native cloud的数据库服务。另外,HBase 在阿里组织组织结构部署超过11150台机器,历经7年天猫双11的考验,你这些实际数据以及经验增强了他们都都对阿里云HBase的技术信心,一并满足了他们都都的技术和业务需求。

系统中车辆数据分为热数据和冷数据,热数据还要HBase中实时可查,冷数据虽不还要实时可查,但却还要老是保地处磁盘中。阿里云HBase支持将冷数据直接存储在OSS中,而你这些数据的转存只还要简单的设置表相关属性,操作非常简单。将冷数据存储在OSS之中大大减少了数据的存储成本。

新能源车辆监控系统是有一另另一一好几个 多车辆网服务平台,具有高并发、数据量大、实时性要求高等特点。对车辆监控系统来说最重要的什么的问题而且如保补救车辆产生的海量数据,他们都都估计,当车辆数量增长到116万时,每天会产生相当于2TB的数据,你这些数据不仅还要存储,还还要做到实时可查。本文将介绍项目的背景和系统的基本架构,之前 介绍他们都都在开发过程中遇到的各种什么的问题以及补救方案。

未来,他们都都会在系统接入大量车辆后,使用golang重写高性能组件以满足后期的并发性能需求。不可能 项目初期考虑到开发时间的什么的问题,并未采用服务拆分的法律办法进行开发,这限制了系统的可扩展性,后期他们都都会根据实际业务需求,将系统切分成相对独立的模块,增强扩展性可维护性。

可不能能支持简单的关键字查询,响应时间在秒级别内;

团队使用Python语言构建系统,但HBase使用Java语言编写,原生提供了Java API,并未对Python语言提供直接的API。他们都都使用happybase连接HBase,不可能 它提供了更为Pythonic的接口服务。另外他们都都也是用QueryServer 作为Python组件和Phoenix连接的纽带。

图中最左端为监控的车辆,它会实时采集车辆的各项数据,并把采集到的数据通过移动互联网发送到平台。平台验证完数据会将其写入到Kafka消息队列中。流式计算服务器从Kafka消息队列中取出车辆的原始数据,并对车辆的数据进行解析、存储、转发等操作。HBase集群负责存储车辆实时数据,MySQL负责存储组织关系数据。一并,他们都都都在将超过一定时间(比如两天前)的数据转存到OSS存储介质中,以便降低存储成本。Spark ML会对系统中的各项数据进行分析。终端用户会从HBase中查询某些数据。

他们都都在市场可不还要够找到分布式数据库有MongoDB和 HBase。

我觉得通过Row key的设计可不还要补救次责数据查询的需求,而且在面对简化需求时难以通过Row key 直接索引到数据,若索引无法命中,则非要进行大范围或全表扫描才可不能能定位数据。什么都有有他们都都在使用HBase时尽量补救简化的查询需求。但业务方面仍然会有次责较为简化的查询需求。针对你这些需求,他们都都主要使用两种法律办法来建立二级索引。

作为初创公司,他们都都的运维能力有限,他们都都还要业务的快速落地。什么都有有自建机房以及运维团队原因分析分析前期较大的投入以及高昂的运维成本,什么都有有他们都都决定使用云方案。

目前新能源监控系统中主要使用Phoenix实现二级索引,大大增加了数据的查询使用场景。

另外,车辆数据积累到一定程度后,他们都都可不还要利用你这些数据进行大数据分析, 如车辆的故障诊断,车辆状况预测等,而且就可不还要在车辆出先什么的问题前提前发出预警,为车主和保险公司补救更大的损失,降低运营成本。

最终新能源监控系统的系统采集如下

重庆博尼施科技有限公司是一家商用车全周期方案服务商,利用车联网、云计算、移动互联网技术,在物流领域 为商用车的生产、销售、使用、售后、回收各个环节提供一站式补救方案,其中的新能源车辆监控系统而且由该公司提供的,本文是阿里云客户重庆博尼施科技有限公司介绍如保使用阿里云 HBase 来实现新能源车辆监控系统。该系统主要用于东风轻卡等新能源商用车监控服务,目前该系统正在阿里云线上稳定运行。

不可能 车辆的监控数据非常大,传统关系型数据库(如Mysql、pg等)不可能 无法胜任存储工作,什么都有有他们都都还要选者两种分布式数据库用于存储车辆实时数据。

优先选者有充沛实力的商业公司支持的云平台,最大限度减少运维成本。