小红书将业界最大数据湖迁至阿里云

知识 2024-12-25 11:05:25 9244

记者获悉,小红经过一年奋战,书将数据小红书已把业界体量最大的业界数据湖0故障迁上阿里云。据统计,最大至该项目共有1500人参与,湖迁迁移数据500PB。小红

作为中国头部互联网公司之一,书将数据小红书月活已过3亿,业界其数据湖存储了过去11年的最大至所有原始数据,包括结构化、湖迁半结构化和非结构化数据。小红近年来,书将数据随着业务的业界高速增长,小红书在线处理数据的最大至需求不断增加,同时离线处理所积累的湖迁历史问题,也会在未来的切换中带来更多成本与风险。

小红书将业界最大数据湖迁至阿里云

为此,2023年11月,小红书发起迁云项目——计划一年内,把小红书的数据湖搬上阿里云。

迁移至阿里云上后,数据湖可通过多个OSS Bucket支持纳入统一资源池,实现多个Bucket共享资源池内的OSS吞吐及QPS能力。这样的流控能力在面向小红书复杂业务场景,可灵活调配资源,高效利用吞吐性能,降低不同业务租户间的互相影响。阿里云原生HDFS+DLA元数据可实现无缝对接Hadoop EMR体系,支持元数据线性扩展能力,轻松应对小红书数百PB数据下的元数据线性增长。

较于过往业界体量最大的案例,小红书的本次迁移的数据体量更大。

*注:任务=数据处理过程

(图片来自小红书官方公众号)

据介绍,小红书的迁云项目经历了三个阶段。第一步,项目组首先解决标准问题,然后根据标准进行治理;第二步,完成治理后,项目在2024年5月正式进入双跑阶段。把数据拷贝到阿里云上,两边同时跑数,验证正确性与及时性;第三步,2024年8月,项目结束双跑,进入割接阶段。阿里云团队全程在现场保障,顺利完成了割接。

2024年11月,小红书迁云项目正式宣告结束。在0故障的情况下,迁移数据500PB,任务11万,参与人数1500人,涉及部门40多个。项目涉及产品之多和数据体量之大均创下业界记录。

本文地址:http://l7vyb.angougou.net/html/15f91099074.html
版权声明

本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。

全站热门

中老缅泰湄公河联合巡逻执法列装两艘新型执法艇

[流言板]相当炸裂!科林斯反击欧洲步过掉西蒙斯,直接起飞单臂暴扣

小组赛有什么好喷的,只要不是最后4名就行

[流言板]默里谈失利:骑士是一支很优秀的球队,向他们表示称赞

20年的语言为何24年卷土重来

仙剑IP新单机规划中!姚壮宪亲证:一代重制/全新作品二选一

[流言板]玩起来了!库里在国内平台直播卖威士忌,亲自动手做爆米花

连续4场西甲破门!阿斯:最好的贝林厄姆回来了,但光靠他不够

友情链接