可解释人工智能（英语：Explainable AI，缩写为XAI）指的是让专家能够理解人工智能之成果的方法与技术。它相对于黑箱式的机器学习，因为黑箱式的机器学习的设计者本身也无法解释为什么人工智能能达到某些成果。可解释人工智能被认为是“要求解释的权利（英语：right to explanation）”（right to explanation）的一种实践。
要求人工智能解释它的决定是一种翻译的问题（interpretability problem）。人工智能的优化行为是一种为了满足数理上特定目标的行为。其目标由设计者规划，比如一个设计者要求“在资料集里面精准分析电影如何被正面评价”。此时，人工智能可能会找到一些通则，像是“评价中包含‘烂’这个字眼表示是负面评价”。或是可能找到一些不正确的规则，比如“评价中包含‘李小龙’这个字眼表示是正面评价”；这些规则可能难以解释，甚至很可能在其他资料集得到错误的判断，比如你很可能无法在《教父》的电影评价里看到“李小龙”的字眼，但这不表示它是部烂片。针对这类问题，人类就能通过可解释人工智能的技术来监督人工智能系统所找到的规则，并且判断这些规则在真实的世界里是否适用。
在代理人之间的合作上（这里的代理人指的是算法与人），信任是至关重要的事。如果人们要接受算法的判断就必须得先相信算法。信任标的之不完整会成为方法优化的障碍。因此，翻译（interpretability）与解释（explainability）是达成其他标的之前的一个中程标的。
人工智能有时会学到一些无法解释的技巧，在用来训练的资料上做到一些最佳的结果，满足明确设置的目标；但是，有时候它却没有满足人类设计者所隐含的需求。比如在2017年的实验里，有一个图像识别的人工智能在识别马的照片时作了弊。实验结果里有一组人工智能系统确实识别出了马的特征，比如长型的脸，细长的四条腿之类的；但是有另一组系统则依据图片左下角是否有“Copyright”的标记来判断那是不是一张马的照片，这个结果达到的准确性是因为许多实验用的照片来自马术协会，而协会在照片上打入了著作权（Copyright）宣告的字样。2017年的另一个系统里，被训练在虚拟世界中抓取物品的人工智能学会了通过将操纵器放置在目标和监督者之间的方式来作弊，以便让监督者误以为它抓到了目标。
美国国防部国防高等研究计划署亦进行了可解释人工智能的项目。目标是创建“玻璃盒”（glass box）模型，除了可解释性外，更要求人们始终都能监管机器的行为（human-in-the-loop），并且不会大幅度的牺牲人工智能的运算性能。人类用户能即时或是事后理解人工智能的认知是什么，并且能决定何时信任人工智能，又何时不信任人工智能。其他的可解释人工智能应用则着重于从黑盒子的模型里面抽取出知识，或是让不同的模型之间能进行比对。“玻璃盒”一词亦被用来表示那种输入与输出受到监控的人工智能系统。为的是确保系统遵守道德与社会法律的价值，并且提出以价值为基础的解释。另外，这一词也被用在智能个人助理说明反事实陈述时的解释。
以各国的监管单位的角度来看，官方机构与一般用户对人工智能的应用来说，必需清楚的为它的决策过程定义究责的规则，以确保其可信任性与透明度。这部分的需求受到愈来愈多的重视，并开始有全球性会议中讨论这个新兴科技，像是2017年的国际人工智能联合会议（International Joint Conference on Artificial Intelligence）中就有针对可解释人工智能的研讨会。
在2018年修定的欧盟一般资料保护规范（GDPR）里宣布了“要求解释的权力”，希望以此来解决这些愈来愈受重视的算法可能带来的问题。然而，GDPR只要求局部的解释。而在美国，保险公司甚至被要求解释他们的费率与决策之间的关系。
