大数据框架下,常用的数据更新策略有三种:
COW: copy-on-write, 写时复制;
MOR: merge-on-read, 读时合并;
MOW: merge-on-write, 写时合并;
hudi等数据湖仓框架,常用的是前两种实现数据更新。而Doris则主要用后两种更新数据。
COW
在数据写入的时候,复制一份原来的拷贝,在其基础上添加新数据,创建数据文件的新版本。新版本文件包括旧版本文件的记录以及来自传入批次的记录(全量最新)。
正在读数据的请求,读取的是最近的完整副本,这类似Mysql 的MVCC的思想。
在java的类库中就有一个CopyOnWriteArrayList,而linux的fork子进程的内部机制也是通过COW实现。可以说,COW是比较常用的数据更新方案。
MOR
新插入的数据存储在delta log 中,定期再将delta log合并进行parquet数据文件。读取数据时,会将delta log跟老的数据文件做merge。
这个merge的过程一般是多路归并排序的实现:查询时将重复的 Key 排在一起,并进行聚合操作,其中高版本 Key 的会覆盖低版本的 Key,最终只返回给用户版本最高的那一条记录。
hudi中,数据表的存储类型主要是MOR,参考:
MOW
将被覆盖和被更新的数据进行标记删除,同时将新的数据写入新的文件。在查询的时候, 所有被标记删除的数据都会在文件级别被过滤掉,读取出来的数据就都是最新的数据,消除掉了读时合并中的数据聚合过程,并且能够在很多情况下支持多种谓词的下推。
别的大数据框架我没有查到相关的信息,这个的应用主要是在Doris的Unique数据模型中,即通过MOW实现了Unique数据模型下的数据更新。
Doris的MOW的实现方案是: Delete + Insert。即在数据写入时通过一个主键索引查找到被覆盖的 Key,将其标记为删除。 参考自微软的 SQL Server 在 2015 年 VLDB 上发表的论文《Real-Time Analytical Processing with SQL Server》中提出的方案。
Delete + Insert
这篇论文提出了数据写入时将旧的数据标记删除(使用一个 Delete Bitmap 的数据结构),并将新数据记录在 Delta Store 中,查询时将 base 数据、Delete Bitmap、Delta Store 中的数据 Merge 起来以得到最新的数据。整体方案如下图所示
其优点是,任何一个有效的主键只存在于一个地方(要么在 base Data 中,要么在 Delta Store 中),这样就避免了查询过程中的大量归并排序的消耗,同时 base 数据中的各种丰富的列存索引也仍然有效。
简单来讲,Merge-On-Write 的处理流程是:
总结
以上就是本篇文章
【聊聊大数据框架的数据更新解决方案: COW, MOR, MOW】的全部内容了,欢迎阅览 ! 文章地址:http://sjzytwl.xhstdz.com/news/5554.html
资讯
企业新闻
行情
企业黄页
同类资讯
首页
网站地图
返回首页 物流园资讯移动站 http://mip.xhstdz.com/ , 查看更多
最新新闻
各类娱乐场所有哪些类型?
引言 在现代社会中,娱乐场所成为了人们休闲、娱乐的重要去处。无论是工作压力的释放,还是与朋友聚会的选择,各类娱乐设施都在其中扮演着不可或缺的角色。从传统的电影院到新兴的VR体验馆,每种场所都拥有自己独特的魅力和吸引力。本文将
运动健身常识揭秘:新手必知的训练技巧与营养要点
引言:运动健身的重要性 在现代社会中,越来越多的人开始重视运动健身的重要性。无论是为了塑造美好的体型,还是为了保持健康的生活方式,运动健身都已成为人们生活中不可或缺的一部分。特别是对于新手而言,了解运动健身的常识性知识及正
如何快速找到Nginx配置文件路径?必看技巧揭秘!
引言:Nginx的重要性 在当今互联网时代,Nginx以其高效、轻量和灵活的特性在众多网络服务器中脱颖而出。无论是处理高并发的请求,还是作为反向代理服务器,Nginx已经成为许多企业和开发者的首选。随着Nginx的广泛使用,了解其配置文件的位
国家中医养生师资格证如何获得?
国家中医养生师资格证的价值 在日益追求健康生活方式的今天,中医养生受到越来越多人的关注。作为一种传统的医学体系,中医不仅关注疾病的治疗,更注重通过调整身体的整体状态来实现健康。获得国家中医养生师资格证,不仅能够提升个人的专
探索新机遇:2023旅游发展大会主题解读与未来趋势展望
引言:旅游发展大会的重要性 2023旅游发展大会不仅是行业内一场重要的盛会,更是推动全球旅游行业发展的关键时刻。随着后疫情时代的来临,旅游行业面临着巨大的挑战与机遇。各国政府、企业界及学术界的精英们汇聚一堂,共同探讨未来旅游发
网站优化建设方案模板分享
网站优化建设的重要性 在当今数字化时代,拥有一个良好的网站是企业成功的关键之一。随着互联网的发展,越来越多的消费者通过网络查找产品和服务,这使得网站的优化建设显得尤为重要。一个优化良好的网站不仅能够提升用户体验,还能显著提
红色旅游景点大揭秘
红色旅游:追寻历史足迹的旅程 红色旅游,作为一种独特的文化旅游形式,正受到越来越多游客的青睐。它不仅是对历史的追溯,更是对文化的传承和对初心的再认识。红色旅游景点遍布全国,让游客在游览的同时,能够深入了解中国共产党艰苦卓绝
如何设置服务器配置参数?配置要求一键搞定!
为什么需要设置服务器配置参数? 在搭建和管理服务器的过程中,设置服务器配置参数是非常重要的一环。合理的配置能够提高服务器的性能,加强安全性,并且提升用户体验。如果配置不当,不仅可能会导致服务器性能下降,还会增加安全风险,甚