Vastbase G100核心技术介绍之【AI原生】

2022-02-18 00:00:00 数据库 优化 算法 算子 芯片

Vastbase G100数据库作为海量数据的核心产品,引入了人工智能(AI)特性,通过AI技术使得用户操作和管理数据库变得更加简单高效,实现了Vastbase G100数据库自运维、自管理和自优化的能力。下面为大家详细介绍,人工智能(AI)在Vastbase G100数据库中的应用。


AI在Vastbase G100中的应用,主体上分为两部分:AI4DB和DB4AI。

  • AI4DB,即通过AI技术对数据库进行优化。例如,参数调优、索引推荐和分区键推荐等都可以通过AI技术来进行优化。

  • DB4AI,即数据库提供AI的能力,内置一些AI算子,用户直接通过SQL语法实现AI模型训练和推理。例如,把内置的AI算子和数据库内普通的算子(JOIN算子等)进行关联查询,提升查询速度。


Vastbase G100数据库的AI框架全景图



AI4DB


AI4DB可以充分发挥AI的优势,提升数据库的智能化水平,使得用户操作和管理数据库变得更加简单高效。实现一个基于AI技术的新一代数据库引擎。


  • 自调优

通过使用AI技术来实现自动参数调优,减少DBA的工作量。通过AI实现的参数自调优效果甚至会超越专业的DBA。除了参数自调优,还可以实现负载自调优,通过负载预测,合理分配作业的运行时机,均衡负载,整体提升效率。自调优还包括了索引推荐,通过分析表数据常用查询语句的规则,得出优的索引推荐。


如:使用索引推荐的接口函数gs_index_advise()对单条查询SQL分析,得出推荐索引的表名和字段名。



  • 自监控

除了自调优中提到的负载预测,自监控还可以实现磁盘空间使用预测和SQL查询时间预测等功能。


  • 慢SQL识别

通过收集历史SQL语句执行信息,在历史数据中检测出与已执行SQL语句相似的语句结果集,预测SQL语句执行时长,提前识别风险。


  • AI优化器

与基于规则的优化器和基于代价的优化器不同,这里提供的基于AI的优化器,通过强化学习来代替启发式算法,实现AI代价估计。


AI智能管理平台全景规划图


其中,AI智能管理平台分两部分工作:


  • 数据采集及计算加工

采集各种数据,并对数据信息进行分析和处理,为AI运维提供服务,多维度展现给用户。


  • 智能管理服务

提供预测、智能推荐、优化SQL功能,提升用户体验,增强粘性。


DB4AI


DB4AI在数据库内提供AI计算能力,通过SQL降低AI使用门槛,可以快速推广AI的使用场景。


DB4AI是基于AI芯片降低AI开发成本,实现训练推理验证加速一体化。


  • 通过SQL调用复杂AI算法,无数据迁移、无缝集成多种AI深度学习框架和算法。

  • 自动选择、组装AI算法和AI芯片硬件加速。

  • 将异构芯片嵌入到数据库系统,提供端到端AI能力。

  • 利用DB优化能力提升训练速度。

  • 利用DB优化能力提升在线决策。


DBMind AI计算平台架构图


关键技术说明:

  • 孵化基于CPU、GPU、昇腾芯片的异构计算框架,实现基于异构芯片的数据统一封装与优化调度。

  • 基于GPU、昇腾芯片实现数据库重负载算子Agg、Join等的加速。

  • 结合Tensorflow/MindSpore机器学习框架,在数据库内部实现CNN、DNN等神经网络算法,并探索基于昇腾芯片的对接和加速。

  • 探索数据库与机器学习算法的融合优化技术,利用数据库优化器索引、剪枝等技术实现机器学习模型训练与推理过程的加速。

  • 探索基于数据库的内置行业AI算法包,实现数据分析由“DB+BI”向“DB+AI”的转变。

如:在数据库内核代码中集成人脸识别算法:

/* 对图像进行处理,检测特征值 */

DetectFace(common_handle,*pRwImg1,1.0f,&list_size,face_rect_list,COMMON_FACE);

DetectFace(common_handle,*pRwImg2,1.0f,&list_size2,face_rect_list2,COMMON_FACE);

/* 提取特征信息 */

ExtractFeature(common_handle,*pRwImg1,1.0f,&face_rect_list[0],&face_feature,NULL);

ExtractFeature(common_handle,*pRwImg2,1.0f,&face_rect_list2[0],&face_feature2,NULL);

/* 比较两个图像的特征信息,得出人脸信息 */

FeatureCompare(search_handle,face_feature,face_feature2,similarity);

通过内核中提供的人脸识别算法,实现一个图像人脸数识别的SQL函数face_detect(),输入一张图片的路径作为函数参数,输出结果为识别人脸的数量。


综上,Vastbase G100数据库通过应用人工智能(AI)特性,实现了Vastbase G100数据库自运维、自管理和自优化的能力。


原文链接:https://mp.weixin.qq.com/s/wnaAqPSElkZm5a1_hrwfbA


相关文章