Clickhouse集群应用、分片、复制.pdf

立即下载 作者: 12345
上传时间: 2024-04-22
关键词: 分片 数据 house 集群 click Click 效率 机器 安装 可用
大小 424.4 KB
描述
Clickhouse集群应用、分片、复制
https://www.jianshu.com/p/20639fdfdc99
简介
通常生产环境我们会用集群代替单机，主要是解决两个问题：
效率
稳定
如何提升效率？一个大大大任务，让一个人干需要一年，拆解一下让12个人同时干，可能只需要1个月。对于数据库来说，就是数据分
片。
如何提升稳定性？所谓稳定就是要保证服务时刻都能用，也常说高可用。这就像团队里必须有二把手，老大有事不在，老二要能顶上。对
于数据库来说，就是数据备份。
而集群是解决这两个问题的最佳手段。话说，三个臭皮匠，赛过诸葛亮，这就是团队的力量。
几乎所有大数据相关的产品，基本都是以这两个问题为出发点，Clickhouse也不例外。
不同的是，Hadoop系列的集群是服务级别的，而Clickhouse的集群是表上的。例如，一个hdfs集群，所有文件都会切片、备份；而
clickhouse集群中，建表时也可以自己决定用不用。习惯了其他大数据产品的人，刚转到clickhouse会感觉这设计太反人类，后文会详细
介绍。
安装
我们使用三台机器演示，三个机器分别安装clickhouse
教程：https://www.jianshu.com/p/5f5ee0904bba
数据
实验使用到官方提供的OnTime数据集，先下载下来，并按照文档建表。
教程： https://clickhouse.yandex/docs/en/single/?query=internal_replication#ontime
数据分片
这里再说明一下，分片是为了提高效率。
分片，就像是把鸡蛋放到多个篮子里，降低整体风险，结果可能是部分数据不可用，虽然一定程度上起到了「高可用」的作用，但分片的
目的是为了提速。况且，比较严格的场景下，部分不可用也是不可用。
clickhouse需要自己动手定义分片。
vim /etc/clickhouse-server/config.xml
编辑config.xml文件，搜索remote_servers：

...

说明：remote_servers就是
目录
分片/数据/house/集群/click/Click/效率/机器/安装/可用/ 分片/数据/house/集群/click/Click/效率/机器/安装/可用/