检索分析型分布式数据库LSQL

2022-04-24 00:00:00 数据 分析 数据库 分布式 检索

LSQL 检索分析型分布式数据库

LSQL是一款支持即席和交互式检索分析的国产分布式数据库,可对超万亿级别数据的查询统计做到秒级响应。LSQL底层基于分布式架构,可构建于云、集群等多种物理环境中,具备线性扩展能力;对上层业务提供简单的JDBC/HTTP接口,支持从多个外部数据源导入数据,在系统中只存有一份原始数据,无数据膨胀之忧;LSQL同时有多种业务引擎,可多个业务场景交叉使用。

LSQL的核心技术包括:

  • 基于分布式文件系统之上的大索引技术
  • 一个带有索引的Spark大数据OLAP系统
  • 独有的大数据多列联合索引技术
  • 综合使用多类型设备的海量数据存储方法(列簇技术)
  • 自研列存分布式倒排索引
  • 基于IO的过载保护方法
  • 支持GB级别的二进制文件字段存储能力
  • 支持万亿规模的主从集群技术

LSQL作为一款全栈数据库,具备以下4个特性:

  • 能力平衡:快速分析、实时导入,性能接近或超越单一领域性能上限
  • 强适用性:一个数据库、一套系统、一份存储,多个场景交叉使用
  • 行业定制:业务下沉,可针对特定行业做深度定制,提升业务感受
  • 快速上手:标准SQL,一种接口,降低使用和学习成本
  • 全面兼容:可作为组件加载到现有大数据平台中提供性能加速,也可以独立部署支撑业务需求。

LSQL依托Lucene+Spark架构,集成自研列存分布式倒排索引、大数据多列联合索引、基于Lucene的Payloads压缩方法等核心算法,是具备自主知识产权的检索分析型分布式数据库。目前,LSQL已实现商用,应用于公安、军队、汽车行业,其中有超过十个商用系统的数据规模过万亿(300+集群节点),一个商用系统的数据规模超十万亿(1000+集群节点)。

关于录信

南京录信软件技术有限公司成立于2018年,核心团队在大数据检索分析领域有10余年积累,致力于大数据行业分布式数据库的自主研发。检索分析型分布式数据库LSQL在专用一体机配置下,可实现单机500亿条数据的秒级响应,并可扩展到万亿级别。LSQL可全面兼容现有的大数据平台,目前已广泛商用于公安、军队、交通、汽车等行业近200个项目,在实际生产中发挥了重要作用。

相关文章