Vastbase G100核心技术介绍之【AI原生】

2022-02-18 00:00:00 数据库 优化 算法 算子 芯片

导语

Vastbase G100数据库作为海量数据的核心产品，引入了人工智能（AI）特性，通过AI技术使得用户操作和管理数据库变得更加简单高效，实现了Vastbase G100数据库自运维、自管理和自优化的能力。下面为大家详细介绍，人工智能（AI）在Vastbase G100数据库中的应用。


AI在Vastbase G100中的应用，主体上分为两部分：AI4DB和DB4AI。

  • AI4DB，即通过AI技术对数据库进行优化。例如，参数调优、索引推荐和分区键推荐等都可以通过AI技术来进行优化。

  • DB4AI，即数据库提供AI的能力，内置一些AI算子，用户直接通过SQL语法实现AI模型训练和推理。例如，把内置的AI算子和数据库内普通的算子（JOIN算子等）进行关联查询，提升查询速度。


Vastbase G100数据库的AI框架全景图



AI4DB


AI4DB可以充分发挥AI的优势，提升数据库的智能化水平，使得用户操作和管理数据库变得更加简单高效。实现一个基于AI技术的新一代数据库引擎。


  • 自调优

通过使用AI技术来实现自动参数调优，减少DBA的工作量。通过AI实现的参数自调优效果甚至会超越专业的DBA。除了参数自调优，还可以实现负载自调优，通过负载预测，合理分配作业的运行时机，均衡负载，整体提升效率。自调优还包括了索引推荐，通过分析表数据常用查询语句的规则，得出优的索引推荐。


如：使用索引推荐的接口函数gs_index_advise()对单条查询SQL分析，得出推荐索引的表名和字段名。



  • 自监控

除了自调优中提到的负载预测，自监控还可以实现磁盘空间使用预测和SQL查询时间预测等功能。


  • 慢SQL识别

通过收集历史SQL语句执行信息，在历史数据中检测出与已执行SQL语句相似的语句结果集，预测SQL语句执行时长，提前识别风险。


  • AI优化器

与基于规则的优化器和基于代价的优化器不同，这里提供的基于AI的优化器，通过强化学习来代替启发式算法，实现AI代价估计。


AI智能管理平台全景规划图


其中，AI智能管理平台分两部分工作：


  • 数据采集及计算加工

采集各种数据，并对数据信息进行分析和处理，为AI运维提供服务，多维度展现给用户。


  • 智能管理服务

提供预测、智能推荐、优化SQL功能，提升用户体验，增强粘性。


DB4AI


DB4AI在数据库内提供AI计算能力，通过SQL降低AI使用门槛，可以快速推广AI的使用场景。


DB4AI是基于AI芯片降低AI开发成本，实现训练推理验证加速一体化。


  • 通过SQL调用复杂AI算法，无数据迁移、无缝集成多种AI深度学习框架和算法。

  • 自动选择、组装AI算法和AI芯片硬件加速。

  • 将异构芯片嵌入到数据库系统，提供端到端AI能力。

  • 利用DB优化能力提升训练速度。

  • 利用DB优化能力提升在线决策。


DBMind AI计算平台架构图


关键技术说明：

  • 孵化基于CPU、GPU、昇腾芯片的异构计算框架，实现基于异构芯片的数据统一封装与优化调度。

  • 基于GPU、昇腾芯片实现数据库重负载算子Agg、Join等的加速。

  • 结合Tensorflow/MindSpore机器学习框架，在数据库内部实现CNN、DNN等神经网络算法，并探索基于昇腾芯片的对接和加速。

  • 探索数据库与机器学习算法的融合优化技术，利用数据库优化器索引、剪枝等技术实现机器学习模型训练与推理过程的加速。

  • 探索基于数据库的内置行业AI算法包，实现数据分析由“DB+BI”向“DB+AI”的转变。

“

如：在数据库内核代码中集成人脸识别算法：

/* 对图像进行处理，检测特征值 */

DetectFace(common_handle,*pRwImg1,1.0f,&list_size,face_rect_list,COMMON_FACE);

DetectFace(common_handle,*pRwImg2,1.0f,&list_size2,face_rect_list2,COMMON_FACE);

/* 提取特征信息 */

ExtractFeature(common_handle,*pRwImg1,1.0f,&face_rect_list[0],&face_feature,NULL);

ExtractFeature(common_handle,*pRwImg2,1.0f,&face_rect_list2[0],&face_feature2,NULL);

/* 比较两个图像的特征信息，得出人脸信息 */

FeatureCompare(search_handle,face_feature,face_feature2,similarity);

通过内核中提供的人脸识别算法，实现一个图像人脸数识别的SQL函数face_detect()，输入一张图片的路径作为函数参数，输出结果为识别人脸的数量。


综上，Vastbase G100数据库通过应用人工智能（AI）特性，实现了Vastbase G100数据库自运维、自管理和自优化的能力。


原文链接：https://mp.weixin.qq.com/s/wnaAqPSElkZm5a1_hrwfbA


相关文章