Spark App自动化分析和故障诊断.pdf

立即下载 作者: 滔滔江水
上传时间: 2025-11-16
关键词: Spark 平台 计算 数据 苏宁大 架构 SQL UNING 提供 Streaming
大小 1.7 MB
描述
Spark App自动化分析和故障诊断
关于我们

关于我：
 陈泽 离线计算平台负责人
 主要从事Spark，Flink，Druid，ES等计
算组件研发工作。
关于我们：
苏宁易购大数据平台研发中心
为集团提供大数据存储和计算能力
苏宁大数据计算平台架构
Spark平台化遇到的问题
Spark自动化分析和故障诊断
苏宁大数据计算平台架构—Spark At SUNING
Storm
Libra SQL
ES YARN
Hive Spark Core
Flink
Spark
Streaming
Spark SQL
离线计算 流式计算 OLAP引擎
Druid
SQL
(Spark SQL)
Spark MLlib
平台化工具
苏宁大数据计算平台架构—Spark At SUNING
CBT调度平台：为Spark、Spark SQL、Hive等离线任务提供任务流
的配置、管理以及调度能力。
苏宁大数据计算平台架构—Spark At SUNING
SSMP平台：针对Spark Streaming提供任务托管、资源托管以及
监控报警的能力，为App 24小时Long Running提供稳定性保证。
苏宁大数据计算平台架构—Spark At SUNING
机器学习平台：基于Spark MLlib、 GraphX和Streaming构建的在
线机器学习平台，实现模型训练、调优、发布的统一。
苏宁大数据计算平台架构—Spark At SUNING
任务类型 2016Q4任务数 2017年Q2任务数
Hive任务 10,682个 18,765个
Spark/Spark SQL任务 250个 3000个
Spark Streaming任务 0个 29个
集群规模：Yarn集群700节点；
任务规模：5W 任务/天；
处理的数据量：300TB/天；
现状：在苏宁，Spark应用越来越广泛
苏宁大数据计算平台架构
Spark平台化遇到的问题
Spark自动化分析和故障诊断
Spark平台化遇到的问题
 对Spark SQL的认识不够，导致

目录
Spark/平台/计算/数据/苏宁大/架构/SQL/UNING/提供/Streaming/ Spark/平台/计算/数据/苏宁大/架构/SQL/UNING/提供/Streaming/