数据回流大数据：TBase时序数据库在工业大数据中的应用

数据回流大数据：TBase时序数据库在工业大数据中的应用目前支持Avg Max Min Percentil Sum Count Dev First Last Diff Scale等操作；完全无中心化设计工控、电力领域：庚顿、朗坤、力控、麦杰等。解决传统关系型数据库以及NoSQL数据库在时序空间数据处理上性能价格比低下的问题，大幅降低运营成本；采用标准的SQL接口，并将集群系统复杂的配置、维护、升 级、扩容等工作智能化，大幅降低对研发和运维人员的要求；

大数据时代面临的问题

工业大数据的特征

采集的数据量虽然巨大，但是都有典型特征:

• 所有采集的数据 都是时序的;
• 数据都是 结构化的;
• 数据一定是指定时间段和指定区域查找的;
• 数据一般是按到期日期来删除的;
• 数据以写操作为主读操作为辅;
• 数据都有常用的统计和计算操作;
• 数据量巨大，一天的数据量超过10亿条;
• 数据很少有更新或删除操作。

工业大数据的挑战

• 不是单台计算机能处理的，必须能有scale out的能力;
• 实时性的要求很高;
• 必须做到软件在线升级、硬件热插拔， 以保证7*24的不间断工作;
• 维护、升级、扩容必须简单。

现有流行的关系型数据库问题

• 针对通用的数据设计的；
• 支持灵活的查询，但大数 据情况下速度慢；
• 有单点障碍，支持高可靠的成本太高；
• 扩容、升级不容易；
• 需要有专业的DBA维护。

现在流行的NoSQL、NewSQL数据库

• 用廉价硬件很好的解决高可靠问题；
• 扩容简单，无需专业的DBA 但是设计是针对非结构化数据设计的不支持常用的数据处理操作不是针对时序和空间数据设计。

专业时序数据库

开源的有Influx DB Open TSDB等，虽然做了时序数据的优化，但实测性能一般，商业化而且有影响力的有两家：

国内时序数据库现状

百度天工平台：云服务方式；

阿里HiTSDB：云服务方式；

工控、电力领域：庚顿、朗坤、力控、麦杰等。

Tbase 目标

解决传统关系型数据库以及NoSQL数据库在时序空间数据处理上性能价格比低下的问题，大幅降低运营成本；

采用标准的SQL接口，并将集群系统复杂的配置、维护、升 级、扩容等工作智能化，大幅降低对研发和运维人员的要求；

Tbase 亮点

• 通过创新的存储设计 ， 并采用无锁设计和多核技术 ， 让数据插入和查询；
• 速度比现有专业的时序数据库提高10倍；
• 通过先进的集群设计，保证了系统处能力的水平扩展，而且让数据库不依赖昂贵的硬件和存储设备，不存任何单点瓶颈和故障；
• 通过列式存储和先进的压缩算法TBase存储空间不到通用数据库10%；
• 极致的用户体验，将复杂的运维完全智能化；采用标准SQL接口， ODBC JDBC Hadoop Spark等各种接口，研发人员学习成本降为零；
• 采用TBase，可以将典型的数据监测分析平台的整体成本降至现有的1/5 同样的硬件资源，系统处理能力和容量能增加五倍以上。

Tbase 对外接口

• C/C 、Java、Python Client接口；
• REST API、Client接口；
• Meter数据采集点；
• Meter数据采集点；
• DBA Tool引擎管理工具。

Tbase 系统结构

完全无中心化设计

Tbase 存储结构

连续存放

Tbase 实时计算

目前支持Avg Max Min Percentil Sum Count Dev First Last Diff Scale等操作；

实时计算的衍生数据可以实时写入新的表，方便后续的查询操作。衍生数据还可以与其 他原始数据或其他衍生数据进行各种聚合计算，生成新的数据；

将开放实时计算接口，应用可以Plug in自己的计算函数。