BigQuery提供Explainable AI功能,可解释特征对机器学习模型的影响

2022-04-02 00:00:00 模型 学习 人工智能 特征 解释性

云端计算资料仓储BigQuery正式向使用者提供可解释人工智能(Explainable AI,XAI)功能,使得使用者能够更了解机器学习模型做出决策的方法。谷歌提到,BigQuery针对不同的模型,提供各种XAI方法,全面地支援可解释性人工智能,供使用者使用单一SQL查询,并能在数秒内获得数百万个解释。

为什么可解释的 AI 如此重要?为了揭开机器学习模型的内部运作的神秘面纱,随着企业继续投资于人工智能和机器学习,可解释人工智能正迅速成为企业必不可少且不断增长的需求。在2021 年 IT 预算中, 76%的企业现在将人工智能 (AI) 和机器学习 (ML) 优先于其他计划,大多数 CEO (82%) 认为,基于人工智能的决策必须是可解释的调查。

虽然这篇文章的重点是 BigQuery Explainable AI,但 Google Cloud 提供了各种工具和框架来帮助您解释 BigQuery 之外的模型,例如Vertex Explainable AI,其中包括 AutoML Tables、AutoML Vision 和自定义训练模型。

那么 BigQuery 中的可解释 AI 究竟是如何工作的呢?以及如何在实践中使用它?

全局性可解释性和区域可解释性分别是什么?

不少企业在内部引入机器学习技术,但是要使得人工智能的决策更为可信,人工智能必需要具有可解释性,Google提到,在训练机器学习模型时,与特征相关有两类可解释性,分别是全域性可解释性,以及区域可解释性。

全域性可解释描述了特征对模型的整体影响,能够让使用者了解特定特征,是否比其他特征对模型的预测,存在更大的影响力,当模型具有数百或是数千个特征,使用者想要知道哪些特征,是模型的主要贡献者,则全域性可解释就会特别有用,使用者能够以此来修剪不太重要的特征,来提高模型的通用性。

而区域可解释性则描述每个特征对特定预测做出的贡献,以房价为例,房屋不同的特征可能会在房价上做出贡献,像是具有3间卧室的房屋,在房价可能额外贡献5万美元,靠近市中心价值增加10万美元,建造的年份为2010年,可能房价又会上升3万美元等。 Google表示,区域可解释性的目的,是要用来了解模型每个特征,之于预测的切确贡献。

BigQuery Explainable AI 适用于哪些机器学习模型?

BigQuery Explainable AI 适用于多种模型,包括 IID 数据的监督学习模型和时间序列模型。BigQuery Explainable AI的文档概述了应用每个模型的可解释性的不同方法。请注意,每种可解释性方法都有自己的计算方式(例如 Shapley 值),文档中对此进行了更深入的介绍。

请参阅:https ://cloud.google.com/bigquery-ml/docs/reference/standard-sql/bigqueryml-syntax-xai-overview

BigQuery Explainable AI通过定义资料列中,每个特征对预测结果的贡献,使得使用者能够深入了解机器学习模型,在分类和回归任务所生成的结果,Google提到,这被称作特征归因,这项讯息可用来验证模型的行为是否符合预期,并识别模型中的偏差,还能获得改进模型和训练资料的方法。

BigQuery Explainable AI适用于多种模型,包括独立同分布资料(IID Data)的监督式学习模型,和时间序列模型,针对每种模型,BigQuery Explainable AI都具有不同的可解释性方法,而每种可解释性方法都有各自的运算方式。


本文来源:BigQuery Explainable AI now in GA to help you interpret your machine learning models | Google Cloud Blog

相关文章