自动找出复杂故障根本原因，阿里AI获智能运维国际竞赛冠军

2022-03-25

由阿里达摩院决策智能实验室和阿里云计算平台组成的团队获得冠军。

【猎云网（微信：ilieyun）北京】3月25日报道

家里WIFI如果发生故障，检查下路由器基本就能发现原因。但对于拥有复杂架构的云计算平台来说，要找出故障原因极为复杂和耗时。阿里打造出根因分析通用框架，利用AI快速定位故障根因，已应用于部分云计算产品，节省时间超过一半，准确率超过80%。该框架也在近期举办的ICASSP’22 AIOps Challenge网络智能运维国际竞赛中获得冠军。

ICASSP（International Conference on Acoustics, Speech and Signal Processing）是信号处理领域规模最大的国际学术会议。其中，ICASSP’22 AIOps Challenge网络智能运维竞赛由香港中文大学（深圳）等机构主办，希望用机器学习等方式来自动找出网络故障的根本原因，此次共有382支队伍参赛。由阿里达摩院决策智能实验室和阿里云计算平台组成的团队获得冠军，并受主办方之邀将其中主要算法以论文的形式发表在ICASSP上。

阿里团队MindOps获得竞赛冠军

所谓根因分析（Root Cause Analysis），是指找到故障的根本原因，这是智能运维AIOps的重要研究方向。以云计算平台为例，其稳定性至关重要，但由于架构复杂，模块众多，一旦出现故障，如果纯靠人工来排查费时费力，已难以满足需求。因此，基于机器学习等智能方式的根因分析应运而生。

不过，根因分析的技术门槛颇高，挑战重重。首先是运维数据往往来源于不同系统，形式多样，需要大海捞针找出关键信息。其次是容易被表象迷惑，大型系统中，故障传播的链路往往很长，根本原因可能隐藏在深层次节点中。此外还存在标注样本数据少，异常少见等问题。

阿里打造的根因分析通用框架，解决了上述难题。针对多源异构的海量数据，以时序分析技术来提取关键信息；针对标注样本少，利用时间序列相似性等多种方法来进行数据增强；针对故障传播链路长，运用结合了专家经验和因果图的图算法来找出根本原因。

该框架构建了丰富的算法工具箱和兵器库，已应用于阿里云实时计算、通用计算等多个重要产品中，如Blink/Flink、MaxCompute、Dataworks等，帮助运维人员及时发现异常，快速定位问题根因，准确率达80%以上，相较之前能节省时间一半以上。比如实时计算平台的热点机器问题，会导致负载过高、作业缓慢，其原因链条较长，可能出自硬件故障，也可能是作业本身，人工排查较为耗时，而使用该框架能够快速定位根因。此外，它还能帮助发现较为隐蔽的异常，比如部分机器下线会导致资源不足，迫使一些客户等待排队，这些在常规集群整体作业中难以发现。