【概要描述】

DolphinDB 作为集成了高容量高速度流数据阐发系统和壮大编程说话的一站式解决方案，旨在为用户供给快速存储、检索、阐发和计较重大的布局化数据办事。本文将供给一个轻量化的工业实验平台数据处置解决方案，快速简单地实现海量数据收集、存储、处置和阐发，帮忙企业提高产物的质量和竞争力。

1. 场景介绍

工业实验平台在工业测试范畴普遍利用，它是一种集成了各类传感器、数据收集器、节制器、计较机等装备的系统，可以供给摹拟高速、高温、高湿、高压等各类从简单机械到复杂化学、生物的工业测试情况，并能对各类类型的产物进行周全、正确、靠得住的测试。其典型利用场景包罗汽车工业、航空航天、能源电力、医疗化工等范畴。

1.1 场景特点

工业实验平台的数据存储与处置面对多方面的挑战：

·来自分歧装备、分歧频率的多源异构数据接入与存储

·平台需要对所有可能影响成果的传感器和仪器装备进行可用性监控、故障诊断和健康治理，以保障实验成果的正确性。

·斟酌到效力和本钱，实验凡是在短时候内进行，但会生成海量的测试数据，是以系统需要撑持万万点每秒的高频写入。

·终究实验成果凡是是多维度的，需要系统具有复杂的计较和阐发能力。以航空器、车辆载具的故障模式影响和风险度阐发（FMECA）为例，实验成果可能包罗故障模式清单、风险性矩阵图和 FMEA/CA 表等。是以，流式计较和复杂指标计较的能力对平台相当主要。

1.2 解决方案

上述工业实验平台在数据存储与处置时所面对的问题，可由 DolphinDB 的数据接入、散布式存储和流计较功能为支持，搭建以下解决方案：

·多源异构数据融会：依托在丰硕的插件生态，DolphinDB 既撑持 Kafka、MQTT、MySQL、Oracle 等外部数据源的写入，也撑持批量文件写入，实现了分歧频率、类型装备的数据写入与融会。

·及时异常检测：DolphinDB 及时计较引擎用简单表达式界说复杂异常法则，及时筛查状况异常数据，保障装备的正常运转。

·及时计较平台：DolphinDB 内置丰硕的函数和流计较引擎，可完成时序数据的 ETL、多维度聚合阐发和计较、及时预警和机械进修等及时计较使命。

2. 方案实行

本章将经由过程 DolphinDB 快速简单地实现海量数据的收集、存储、处置和阐发。起首介绍 DolphinDB 的安装和摆设，讲授数据建模的进程，接着利用 DolphinDB 实现数据回放、状况连结计较、波形录制等多种功能。

2.1 安装摆设

1.下载官网社区最新版，建议 2.00.10 和以上版本。下载链接：DolphinDB 下载

2.Windows 操作系统下的解压路径不克不及包括空格，避免安装到 Program Files 路径下。具体步调可以参考官网教程：单节点摆设与进级

3.本次测试利用免费的社区版，企业版 license可申请免费试用。

安装和测试进程中，有任何问题，可添加小助手（dolphindb1）咨询。

2.2 数据建模

在该案例中，1台装备有5000个测点，每一个测点的收集频率为50Hz（即每秒收集50次）。我们利用宽表进行建模，它包括5002个字段，别离为时候戳、装备号和测点1到测点5000。

起首成立一个组合分区的散布式数据库，以小时和装备号哈希值为组合分区根据，经由过程时候戳和装备号进行分区索引。

第一步：建库

在此处，我们采取时候分区和哈希分区组合的体例进行数据切分和建模。

具体而言，当装备发生的数据量在每小时、天天、每个月、每一年等时候距离内延续不变在100MB到1GB的最好实践规模内时，我们仅利用时候值作为分区根据进行数据建模。假如时候分区的巨细跨越1GB，则可以按照哈希值来成立第二级哈希分区。哈希分区将字符串或数字等数据类型转换成哈希值，并将不异哈希值的数据分派到统一分区内，以实现数据切分。简单来讲，假如我们但愿将第一级分区切分成10份，则第二级分区可以设置为哈希5分区。分区教程可见：DolphinDB 分区教程

在本案例中，每秒会生成50笔记录，即每小时将生成180,000笔记录。是以，每小时的数据量巨细为3.35GB。对天天发生的数据，我们会起首进行小时分区切分，然后对每一个小时的数据，会基在装备id的哈希值再进行切分。终究，可以经由过程时候戳和装备id进行分区索引。

第二步：建表

表的信息以下：

第三步：数据接入

DolphinDB 撑持对接动静中心件和尺度和谈及时接入实验平台数据，以用在及时监控预警等场景。也撑持批量导入文件，在实验完成后导入数据进行阐发，用在不需要及时监控的场景，以减轻系统压力。详情见DolphinDB 数据导入概述和DolphinDB 插件动静中心件。

在本教程中，我们利用自界说函数摹拟装备 d001 及时生成一小时数据，共180,000条数据，将生成的数据及时写入 DolphinDB 数据库中，并经由过程数据回放，展现及时流计较功能。具体的实现进程请参考文章末尾的完全示例代码。

2.3 功能实现

DolphinDB 作为集成了高容量高速度流数据阐发系统和壮大编程说话的一站式解决方案，旨在为用户供给快速存储、检索、阐发和计较重大的布局化数据办事。在以下内容中，我们将介绍 DolphinDB 在 SQL 查询、数据阐发、数据导出和备份、数据导入和备份恢复、关系模子、数据回放、波形录制、存储进程、状况连结计较、时候序列聚合引擎和磁盘查询等方面所供给的丰硕功能。

以下各节中的代码仅展现了实现各项功能的焦点语句，具体的实现进程请参考文章末尾的完全乐鱼体育app示例代码。有关 DolphinDB 的具体文档，请参阅DolphinDB 文档中间。

2.3.1 SQL查询

DolphinDB 具有丰硕而多样化的查询功能，此中包罗总数查询、前提查询、单点查询和规模查询等多种功能，可以知足客户的分歧查询需求。而且，DolphinDB 可以或许轻松地处置海量数据，实现毫秒级的查询响应。

2.3.2 数据阐发（降采样，滑动平均计较）

降采样是指将数字旌旗灯号的采样率下降的进程，即经由过程去除部门采样点来削减旌旗灯号的采样率。降采样凡是用在下降旌旗灯号的复杂度，以便削减计较量和存储空间。DolphinDB 为用户供给了 bar 函数，可以或许轻松实现降采样进程，帮忙用户有用治理年夜范围数据。

滑动平均，也叫做指数加权平均，可以用来估量变量的局部均值，使得变量的更新与一段时候内的汗青取值有关。经由过程 DolphinDB 供给的 mavg 函数，用户可以或许利用一条语句轻松实现滑动平均的计较，这极年夜地提高了数据的处置效力。

降采样图象

滑动平均图象

2.3.3 数据导出和导入

为了便利用户在分歧数据源和方针之间进行数据转换和传输，DolphinDB 供给了多种数据导入导出体例。在数据导出方面，DolphinDB 撑持两种体例：利用 saveTable 将一个表对象以二进制情势保留到文件中，或利用saveText将数据保留到文本文件中。

DolphinDB 还供给了多种矫捷的数据导入方式，以帮忙用户轻松地从多个数据源导入海量数据。对当地数据，DolphinDB 供给了两种体例：CSV 文本文件导入和二进制文件导入。对外部数据，DolphinDB 撑持多种体例：二进制文件导入，ODBC、MySQL、MongoDB、HBase 等第三方数据库导入，还撑持毗连动静中心件以发布和定阅动静。

2.3.4 数据备份和备份恢复

DolphinDB 供给了简单易用的数据备份和恢复功能，帮忙用户庇护主要数据。利用 DolphinDB 编程说话，用户可以自界说所需的备份策略和恢复方案。DolphinDB 以分区为单元进行数据备份，每一个分区备份为一个数据文件。用户可使用 backup 函数指定要备份的数据库、表或分区，和备份文件的路径。利用 migrate 函数可以恢复数据库中已备份的数据。

2.3.5 关系模子

DolphinDB 对关系模子的撑持包罗以下几点：

·除包括时候戳的时序数据，还撑持存储和处置不含时候戳的关系型数据

·撑持尺度的 SQL 说话。包罗经常使用的 select、insert、update 和 delete 等操作，group by 和 order by 等子局，还扩大了context by 和 pivot by 以扩大数据的阐发能力

·撑持复杂的多表联系关系，包罗 inner join、left join、left semijoin 和 full join，已拓展的 asof join 和 window join以便用户可以或许便利地将分歧数据表中的数据进行联系关系和整合。

这些功能的撑持使得 DolphinDB 可以或许更好地知足用户对数据处置和阐发的需求，提高工作效力和数据处置的正确性。

2.3.6 数据回放

DolphinDB 供给了汗青数据回放的功能。该功能可以帮忙用户加倍便利地发现汗青数据中的异常，从而有助在排查实验故障。具体实现体例是经由过程 replay 函数，将内存表或数据库表中的记实依照必然速度写入到方针表中，以摹拟及时数据流不竭注入方针表的场景。

replay 函数撑持单表回放和多表回放两种模式。在最根本的单表回放模式中，一个输入表将被回放至一个具有不异表布局的方针表中。而在多表回放模式中，多个输入表将被回放最多个方针表中，且输入表与方针表逐一对应。

经由过程 DolphinDB 的汗青数据回放功能，用户可以加倍矫捷地进行数据阐发，而且可以或许加倍快速地定位数据异常问题。这一功能的利用规模很是普遍，可以被普遍利用在各类数据阐发场景中。

数据回放

2.3.7 波形录制

录制某段波形数据在工业场景中是一项很常见的需求，录制要害数据可以提高故障排查的效力。例如，当某个指标呈现20%的幅度偏移时，记实前10秒和后10秒内的数据，主动保留备查。在 DolphinDB 中能经由过程自界说函数轻松实现波形录制功能，而且可以按照用户的需求进行个性化功能定制。

2.3.8 存储进程

2.3.9 状况连结计较

在工业场景中，统计装备利用时长的需求十分常见。经由过程对装备利用时长的统计，可以实现装备调养预警和装备生命周期治理，同时也可以或许帮忙运维人员更好地进行装备保护，从而耽误装备的利用寿命。DolphinDB供给了统计装备利用时长的功能，可觉得运维人员制订维保打算供给数据撑持，实现预防性保护。

具体实现进程中，装备信息表会记实分歧装备的开关机时候，表中包括时候戳、装备ID和装备状况三个字段。统计装备利用时长需要计较装备的关机时候和开机时候之差，并将差值进行总和。

DolphinDB 利用列式存储，可以轻松地计较出每列相邻元素之间的差值，是以可以快速计较出装备利用时长。比拟之下，MySQL 和 PostgreSQL 等传统的关系数据库利用行式存储，需要迭代才能计较出每列相邻元素之间的差值，这类方式繁琐复杂且耗时长。

2.3.10 时候序列聚合引擎

DolphinDB 数据库功能壮大，可以在及时数据流计较场景中高效地进行计较。用户可以经由过程简单的表达式实现复杂的流计较。DolphinDB 的流式数据处置引擎可以或许实现低延迟高吞吐的流式数据阐发，并供给了十种分歧的引擎以知足分歧的计较需求。另外，DolphinDB 数据库撑持多种数据终端输出，如同享内存表、流数据表、动静中心件、数据库和 API 等。在计较复杂表达式时，用户还可以经由过程级联多个流数据引擎来实现复杂的数据流拓扑。另外，DolphinDB 数据库还供给了 createTimeSeriesEngine 函数，可以进一步提高计较效力，实现基在时候的滑动窗口或转动窗口进行及时计较。

3. 机能测试

3.1 测试情况

本文将经由过程 DolphinDB 数据库，以剧本的情势实现年夜型实验平台的以上功能。

摆设情况以下：

摹拟一次延续 1 小时的实验数据。

3.2 测试成果

我们对 DolphinDB 的机能进行了测试，测试成果以下表。从表格中可以看出，在处置180,000条数据时，DolphinDB 的查询响应时候均在毫秒级别。这注解 DolphinDB 在处置年夜范围数据时表示出了超卓的机能。

4. 总结

以上为 DolphinDB 在工业实验平台的简单利用，可见 DolphinDB 特殊合用在对速度要求极高的低延时或及时性使命，例如基在海量汗青数据的交互式查询与计较、及时数据处置与监控等。固然上述内容仅仅是一个简单的 DolphinDB 利用案例，DolphinDB 除上述简单的存储、阐发以外，还能撑持加倍复杂的数据处置和营业逻辑限在篇幅，本文不作过量介绍。感爱好的用户可查阅DolphinDB 教程进行加倍深切的领会。

• 分类： 博鱼新闻
• 作者：博鱼
• 来源：集团新闻
• 发布时间：2024-08-18
• 访问量： 0