• 周五. 8月 19th, 2022

5G编程聚合网

5G时代下一个聚合的编程学习网

热门标签

高效数据查询设计思想

admin

11月 28, 2021

OLTP(on-line transaction processing)联机事务处理

关于如何设计一个OLTP存储系统,核心需求是实现海量数据集中的低延时随机读写操作,我们探讨下它的核心设计思想:

select id, name from student;
  1. 数据排序:在海量数据中要想保证低延时的随机读写操作,数据最好是排序的

  2. 范围分区:当数据排序之后,可以进行范围分区,来平摊负载,让多台服务器联合起来对外提供服务

  3. 内存+磁盘:保证处理效率,也保证数据安全

  4. 内存:必须经过设计,内存具备优秀的数据结构,保证基本的读写高效,甚至为了不同的需求,可以让读写效率倾斜

  5. 写缓存:将为了实现数据有序而进行的低效率随机写转换为内存随机写+磁盘顺序写的方式

  6. 读缓存:将经常查询的热点数据缓存在内存中,提高查询效率

  7. 磁盘:数据必须存放在磁盘,保证数据安全。磁盘数据文件必须经过精心设计,保证扫描磁盘数据文件的高效率

  8. 跳表:基于数据排序+范围分区构建索引表,形成跳表的拓扑结构,方便用户操作时快速定位数据分区的位置

  9. LSM-Tree存储引擎:把随机写变成顺序追加,在通过定期合并的方式来合并数据,去除无效数据,从而实现数据的删除和修改

  10. 布隆过滤器:快速判断一个元素(1)是否存在于一个庞大集合内/文件中(100E) ,常数级别的执行效率

海量数据中,如果进行高效率的查询的核心思想:设计一种架构,能够快速把待搜寻的数据范围降低到原来的1/n,然后再结合索引或者热点数据放在内存等思路,就能实现高效率的查询了。

OLAP(On-Line Analytical Processing)联机分析处理

那么一个专门用来做OLAP分析的存储引擎该如何设计呢?

如何在海量数据中,针对大量数据进行查询分析呢?

核心需求是实现海量数据集中的高性能低延迟查询分析功能,一些常见的方案和手段如下:

select department, avg(age) from student group by department;
  1. 数据排序
  2. 数据分区分片+分布式查询
  3. 列式存储+字段类型统一
  4. 列裁剪
  5. 预聚合(搜索引擎:输入关键词,搜索引擎根据关键词到数据库找到这个关键词对应的所有的URL:这些URL就是提前计算出来的)
  6. 利用CPU特性:向量化引擎,操作系统必须支持
  7. 主键索引+二级索引+位图素引+布隆索引等等各种索引技术
  8. 支持近似计算,pv一个电商平台的sku总数
  9. 定制引擎:多样化的存储引擎满足不同场景的特定需求
  10. 多样化算法选择:Volnitsky高效字符串搜索算法和HyperLogLog基于概率高效去重算法

总结一下:单条记录的增删改等操作,通过数据的横向划分,做到数据操作的快速定位,在海量数据查询分析中,一般就是针对大量行少量列做分析,既然并不是全部列,那么把数据做纵向切分把表中的数据按照列来单独存储,那么在做分析的时候,同样可以快速把待查询分析的数据总量降低到原来表的1/n,同样提高效率。而且对于常用的聚合逻辑的结果,也可以提前算出来缓存起来用来提供效率,这就是预聚合技术。提到预聚合,大家会想到Kylin, Kylin 是一个把预聚合技术发挥到极致的一个OLAP技术,但是Kylin也有它的缺点:

1、预聚合只支持固定的分析场景,无法满足自定义分析场景,所以预聚合只能作为一种可选方案
2、维度组合爆炸会导致数据膨胀,这样会造成不必要的计算和存储开销。无必要的维度组合的计算就属于浪费资源。
3、大概率数据都是增量生成,预聚合不能进行数据更新。所以会产生大量的重算。

发表回复

您的电子邮箱地址不会被公开。