partitions（partition是什么意思）

本文目录

• partition是什么意思
• Kafka的Topic的partitions数目设置最佳实践
• Mysql分区表Partition
• partions什么意思

partition是什么意思

partition
n.划分，分开; 分割; 隔离物; 隔墙;
vt.分开，隔开; 区分; 分割;
第三人称单数：partitions过去分词：partitioned
复数：partitions现在进行时：partitioning过去式：partitioned
例句:
1.
Create a new partition from the newly freed space.
在刚释放的空间里创建一个新的分区。
2.
But the wounds of partition also caused pakistanis to fear for their existence.
但是分裂的伤口也使巴基斯坦人因他们的存在而害怕。

Kafka的Topic的partitions数目设置最佳实践

翻译加整理~
How to choose the number of topics/partitions in a Kafka cluster

一般情况是数据吞吐决定，这里的吞吐的单位是MB/s，这里暂时不考虑kafka服务端的单partition的吞吐瓶颈，而是考虑Producer和Consumer两端的吞吐

生产者的吞吐和以下几个配置有关：

一般情况下，一个Producer的吞吐在10MB/s左右

Consumer的吞吐和用户逻辑强相关，所以需要consumer的业务逻辑实现方来评估consumer的吞吐能力

Given:

Result:

Partition是可以动态增加的，但是需要尽量在业务接入最初，对parttion数目做准确评估，因为不是所有的业务场景都适合做动态增加Partition数目操作。 对于Keyed messge， 可以配置消息会按照key的hash值做partition的路由，这也保证了相同的key的消息的消费是保序的。如果动态增加partition数目，可能会导致乱序问题。 对于这样的业务场景，一个安全的扩容方案是先停掉所有的producer， consumer全部消费完数据后，再做 add partition操作，然后在恢复producer的写入

对每台Broker来说，partition的数目不应该超过 100 * (num of brokers in cluster) * (replication-factor), 对于个10台broker，replication-factor=2的集群，单机partition的数目不应该超过 2000个~

确定Topic的一个合适的Partition数目很重要，太少了， producer或者consumer会出现读写平静，太多了，会引起其他问题

How to choose the number of topics/partitions in a Kafka cluster

Mysql分区表Partition

一、背景
话说风和日丽的一天，为提高随着业务增长的大表（3510449行吧）的访问效率，于是决定对表分区，记录如下。

二、实操
结合业务，若干条记录会集中在一个日期，查询时也往往只查询一个日期内的数据，于是选取分区字段为时间。

创建分区 比如
CREATE TABLE message_all (
id int(10) NOT NULL AUTO_INCREMENT,
......
createtime datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT ’创建时间’
PRIMARY KEY ( id , createtime )
) ENGINE=InnoDB DEFAULT CHARSET=utf8

PARTITION BY RANGE (YEAR(createtime))
(PARTITION p2015 VALUES LESS THAN (2016) ENGINE = InnoDB,
PARTITION p2016 VALUES LESS THAN (2017) ENGINE = InnoDB,
PARTITION p2017 VALUES LESS THAN (2018) ENGINE = InnoDB,
PARTITION p2018 VALUES LESS THAN MAXVALUE ENGINE = InnoDB)

不过我们表已经有了当然不能这么建，除非你想导一次数据。
如下操作 ：
1、
ALTER TABLE message_all PARTITION BY RANGE (to_days(createtime))
(
PARTITION p2015 VALUES LESS THAN (to_days(’2016-01-01’)),
PARTITION p2016 VALUES LESS THAN (to_days(’2017-01-01’)),
PARTITION p2017 VALUES LESS THAN (to_days(’2018-01-01’)),
PARTITION p2018 VALUES LESS THAN MAXVALUE
);
或者
2、ALTER TABLE message_all PARTITION BY RANGE (YEAR(createtime))
(
PARTITION p2015 VALUES LESS THAN (YEAR(’2016-01-01’))
);
然后追加。
ALTER TABLE message_all ADD PARTITION
(
PARTITION p2016 VALUES LESS THAN (YEAR(’2017-01-01’)),
PARTITION p2017 VALUES LESS THAN (YEAR(’2018-01-01’)),
PARTITION p2018 VALUES LESS THAN MAXVALUE
);

这里会有几种错误情况：
1、ALTER TABLE message_all PARTITION BY RANGE (to_days(createtime)) ;
1492 - For RANGE partitions each partition must be defined
解释：必须指定至少一个分区。

2、 1492 - A PRIMARY KEY must include all columns in the table’s partitioning function
解释：分区字段必须是主键之一。

3、 1492 - Constant, random or timezone-dependent expressions in (sub)partitioning function are not allowed
解释：分区字段为timestamp，换成datetime。

4、 1526 - Table has no partition for value xxxx
解释：用追加方式第一次必须覆盖目前所有数据。

总结：
1、创建时必须指定至少一个分区。
2、key必须为主键之一。
3、RANGE处必须为INT型，时间字段用函数转——YEAR()、YEARWEEK()、TO_DAYS()。
4、THAN处必须为INT型，时间字段用函数转——TO_DAYS、TO_SECONDS()、UNIX_TIMESTAMP()。
5、它就是以两个INT比大小划分的文件。
6、所有ENGINE必须一样。
7、范围分区添加只能在最大值后面追加。
8、分区是有上限的貌似1024个。

用到的其他操作
1、删除分区（直接扔掉分区文件，数据也没了）
ALTER TABLE message_all DROP PARTITION p2016;
2、清空分区数据
ALTER TABLE message_all TRUNCATE PARTITION p2017;
3、重定义（可实现：分区拆分、合并、重命名）
ALTER TABLE message_all REORGANIZE PARTITION p201601,p201602,p201603,p201604 INTO
(
PARTITION p2016012 VALUES less than(TO_DAYS(’2016-03-01’)),
PARTITION p2016034 VALUES less than(TO_DAYS(’2016-05-01’))
);

检查/查看你的分区

1、SHOW TABLE STATUS LIKE ’message_all’;

2、SELECT * FROM information_schema.partitions WHERE table_name=’message_all’;

3、SHOW CREATE TABLE message_all;

4、EXPLAIN SELECT COUNT(1) FROM message_all WHERE createtime》= ’2016-01-01’ AND createtime 《 ’2016-12-30’;如果用到了分区partitions里会有显示。

5、指定分区查
SELECT COUNT(1) FROM message_all PARTITION (p2016) 表别名 WHERE ......;

到这里就结束啦，土豆白。

一些概念

水平分区Partition有以下几种模式

partions什么意思

rtition
n.划分，分开; 分割; 隔离物; 隔墙;
vt.分开，隔开; 区分; 分割;

第三人称单数：partitions过去分词：partitioned复数：partitions现在进行时：partitioning过去式：partitioned
例句:
1.But partition had entrenched a separation of the mind.
但分裂造成了精神状态的分离。
2.It makes partition inevitable.
这就让分裂不可避免了。

在宴会大厅中可折叠的隔板很普遍.

1、So we have a parting gift.

我们有一个小的礼物。

2、We said goodbye to each other at the parting of the way
我们在十字路口互相道别

3、He beguiled me into parting with the gem.
他诱骗我把那枚宝石割爱。

4、We have this one parting gift-- just a little legal waiver for the cameras if you would.
我这有份临别赠礼-,准许我们使用您肖像权的声明，希望您笑纳。

5、Buyers might require further assurances before parting with their cash.
买主在付款前也许需要更多的保证。

6、For a parting shot, she called me a miser.
临走前，她丢给我一句话，说我是小气鬼。

7、Parting tool holder.
分割车刀架。