DolphinDB产品简介

2022-04-28 00:00:00 数据 函数 分布式 分区 计算

一、产品概述

DolphinDB是一款高性能分布式时序数据库。DolphinDB集成了功能强大的编程语言和高容量高速度的流数据分析系统，为海量数据（特别是时间序列数据）的快速存储、检索、分析及计算提供一站式解决方案。DolphinDB操作简单，可扩展性强，具有良好的容错能力及优异的多用户并发访问能力。

DolphinDB极大地降低了大数据管理和分析系统的综合成本。由于DolphinDB的综合解决方案具有无与伦比的高性能和低维护成本优势，用户无需使用不同供应商的多个系统。DolphinDB database 可以在Linux或Windows系统、单个节点或集群、本地或云服务器中部署。

二、主要优势

DolphinDB的主要优势是快，主要体现在四个方面：开发快、运行快、部署快和学习快。

三、应用场景

DolphinDB能够对海量数据特别是时间序列数据和实时流数据进行存储、管理以及复杂的交互分析。

四、核心功能

DolphinDB的核心功能主要包括：高性能数据库、功能齐全的脚本语言、可扩展的分布式计算、实时数据流计算和便捷的系统访问方式。下面将对每个功能进行简单的介绍。

1. 高性能数据库

  • 高吞吐低延迟的列式内存引擎。
  • 列式混合引擎（基于内存和磁盘）给具有海量数据的数据仓库提供了优越性能。
  • 灵活的分区方案：支持值分区、范围分区、列表分区和组合分区。
  • 支持单表百万级别的分区数，大大缩减对海量数据的检索响应时间。
  • 库内分析：可在数据库中进行复杂的编程和运算。
  • 原生支持高纳秒级精度的时间序列数据处理。
  • 扩展了标准的SQL功能，包括asof 联结、窗口函数、透视表、复合列等。
  • 支持同分区多表快速联结。
  • 数据压缩。

2. 功能齐全的脚本语言

  • 功能强大且表达能力强。支持命令式编程、函数式编程、向量编程、SQL编程和RPC（远程函数调用）编程。
  • 易于学习。DolphinDB编程语言的语法与SQL和Python非常相似。
  • 包含400多个内置函数，适用于多种数据类型（数值、时间、字符串）、数据结构（向量、矩阵、集合、字典、表）和系统调用（文件、数据库、分布式计算）。
  • 可通过用户自定义函数和插件扩展现有功能。

3. 可扩展的分布式计算

  • 通过内存引擎、数据本地化、细粒度数据分区和并行计算实现高速的分布式计算。
  • 支持多种计算模型，包括pipeline、map-reduce和迭代计算。
  • 为动态数据分布式计算提供快照隔离。
  • 通过在多任务中共享内存的数据副本来提高系统吞吐量。
  • 可便捷地分析分布式数据。在单个节点上编写脚本后，无需编译和部署即可在整个集群上执行。
  • 使用内嵌的分布式文件系统自动管理分区数据及其副本，为分布式计算提供负载均衡和容错能力。
  • 便捷地水平扩展存储和计算能力。

4. 实时数据流计算

  • 无缝集成流数据和数据库表。发布一条信息相当于在表中增加一条记录。可以使用SQL查询本地流数据或分布式流数据。
  • 使用 DolphinDB database 中的用户自定义函数来处理信息。
  • 亚毫秒级的信息延迟。
  • 使用实时数据更新历史数据仓库只有亚秒级延迟。
  • 可以从任意偏移量重现历史信息。
  • 提供可配置的选项（如分区、工作线程、队列）用于流量控制和性能调优。

5. 便捷的系统访问方式

  • 内置Web服务器，用于集群管理、性能监控和数据访问。
  • 提供便捷的IDE（集成开发环境），用于数据分析。
  • 提供编程API，如C++、C#、Java、Python和Excel。
  • 支持多用户并发访问。每个用户以给定的权限在独立的会话中工作。
  • 通过内置函数、Web接口或Prometheus实现系统监控。
  • 来源 

    • https://zhuanlan.zhihu.com/p/39673743

相关文章