大数据时代下的CDN智能运维

2017-11-23 10:03

近年来，短视频与直播业务的爆发，也让CDN行业迎来了新的发展机遇和挑战。这些挑战主要体现在运维上，可分为两方面：一是出现故障时的响应速度，这需要CDN服务商能够以最快的速度发现和处理故障。二是质量的提升，视频类客户的卡顿率往往是评判各家CDN厂商服务质量的首要标准，这要求服务方必须具备过硬的调优能力，因此，快速分析感知细微的质量变化、定位质量变化的原因就至关重要。

目前，金山视频云CDN的服务端天级日志量已近千亿条，数据量近百T级别，这些数据是解决运维效率、提升服务质量的关键。近日，在GOPS 2017全球运维大会上海站上，金山云大数据技术总监徐寅斐就如何利用数据进行CDN的智能运维这个话题，分享了金山云的做法和思考。

大数据时代下的CDN智能运维

金山云大数据技术总监徐寅斐发表演讲

利用数据构建运维和服务质量支撑体系

工欲善其事，必先利其器。数据是解决运维效率、运维自动化甚至智能化的核心，而要想充分利用已有的数据资产，数据平台的支撑就显得至关重要。为了满足目前和未来的需求，首先需要对现有的数据和使用方式进行分类：

现有数据可以分为四类。包括基础监控数据、探测数据、服务端日志、客户端日志，这四类数据在接入难度、数据量级上各不相同，数据平台需要统筹考虑所有数据的接入、传输、计算和存储。

大数据时代下的CDN智能运维

CDN数据分类及特点

运维对数据的使用，可以分为四个阶段：数据支撑、分析支撑、决策支撑和预测支撑，每个阶段对数据平台有着不同的需求：数据支撑要求平台能够满足对上述四类数据的计算和存储需求，确保运维人员能够及时获取准确的数据指标。分析支撑要求平台能够及时响应各类即席查询的需求，包括对原始日志的全链路分析，对于业务指标的多维分析等。决策支撑和预测支撑则要求平台具备数据的强大后处理能力，包括对已存储数据的建模、挖掘能力。

大数据时代下的CDN智能运维