OpenstackSahara组件和架构简介

立即下载 作者: 咿呀哟
上传时间: 2024-05-02
关键词: 集群 Hadoop 计算 管理 stack Open 节点 组件 数据 Sahara
大小 182 KB
描述
Openstack Sahara 组件和架构简介
1. 简介
Apache Hadoop 是目前被广泛使用的主流大数据处理计算框架， Sahara 项目旨在使用用户能
够在 Openstack 平台上便于创建和管理 Hadoop 以及其他计算框架集群，实现类似 AWS 的
EMR（Amazon Elastic MapReduce service ）服务。用户只需要提供简单的参数，如版本信
息、集群拓扑、 节点硬件信息等， 利用 Sahara 服务能够在数分钟时间内快速地部署 Hadoop 、
Spark 、 Storm 集群。 Sahara 还支持节点的弹性扩展，能够方便地按需增加或者减少计算节
点，实现弹性数据计算服务。它特别适合开发人员或者 QA 在 Openstack 平台上快速部署大数
据处理计算集群。
它特效包括：
Openstack 的标准组件之一；
通过 REST API 和 Dashboard UI 界面管理集群；
支持多种数据处理计算框架，包括：
多种 Hadoop 厂商发行版，比如 CDH 等；
Apache Spark 和 Storm ；
可插除的 Hadoop 安装引擎；
集成厂商的特定管理工具，如 Apache Ambari and Cloudera Management
Console 。
支持配置模板。
它和其他 Openstack 组件交互，如图：
2. 工作流程
sahara 提供两个层次的 API ，分别为集群管理 （ cluster provisioning ）和任务管理 （analytics
as a service ）。
集群管理工作流包括：
1. 选择 Hadoop 发行版本；
2. 选择 base 镜像， base 镜像用于生成工作节点， base 镜像或者已经预先安装了 Hadoop 的必
要组件，或者提供可插除的可自动快速部署 Hadoop 的工具。 base 镜像可以自己制作， 也可以
直接下载： http://sahara-files.mirantis.com/images/upstream/liberty/
3. 集群配置，包括集群大小、集群拓扑（配置组件角色）和一些附加参数（如堆大小、 HDFS 冗
余份数等）；
4. 创建集群， sahara
目录
集群/Hadoop/计算/管理/stack/Open/节点/组件/数据/Sahara/ 集群/Hadoop/计算/管理/stack/Open/节点/组件/数据/Sahara/