查看原文
其他

打破记录的背后:蚂蚁集团图数仓的技术突破与优化心得

DataFunTalk
2024-09-10
这是一种结合了数据仓库、时序数据库和图数据库技术的数据分析平台,它通过图模型来存储和分析数据,提供了一种高效的数据管理和分析方式。图数仓能够处理复杂的数据关系,支持高度关联的数据查询和分析,特别适合于需要深度挖掘数据之间关系的应用场景。在当前,其面临着实时性、数据质量、数据获得 / 应用成本、技术架构等多方面的挑战。


蚂蚁集团开源的分布式实时图计算引擎 TuGraph Analytics 在图数仓方面取得了不小的进展。据了解,TuGraph Analytics 在 30TB 规模的数据集上成功完成了基准测试,数据规模和性能打破了此前美国某图数据库厂商的公开纪录,关键指标中的并发吞吐量提升至 2.84 倍,查询能力提升至 1.86 倍。


他们是怎么做到的?背后有哪些思考?如果你想了解蚂蚁图数仓建设思路和打破记录背后的故事,欢迎预约将在 6 月 15 日举办的以「大模型时代的 OLAP 技术演进」为主题的第 58 届 DataFunSummit:OLAP 线上峰会直播。蚂蚁集团图数仓负责人姚中强老师将在本次峰会带来精彩分享。赶快扫描下方二维码免费报名参会吧!

姚老师先后在网易和蚂蚁工作,目前负责蚂蚁图数仓体系的技术规划和开发工作,他在传统数仓,流计算,OLAP 性能优化,图查询语言及图计算等领域有丰富的工程与实践经验。在《蚂蚁图数仓建设与实践探索》中,他将综合介绍蚂蚁图引擎产品 TuGraph Analytics 在图数仓方向的建设成果和实践经验,包括表模型与图模型的智能转化,多语言支持以及通用查询优化手段等,并揭秘 TuGraph Analytics 打破图数据基准测评 LDBC SNB-BI 30T 规模数据集记录背后的优化技术。


本次峰会还策划了开源 OLAP 技术、云原生数仓、生成式 AI 在 OLAP 的应用、Lakehouse 湖仓一体化架构、实时数仓以及 OLAP 能效提升等分论坛,所有论坛都将全程直播,识别下方二维码或点击「阅读原文」即可免费报名参会。

修改于
继续滑动看下一个
DataFunTalk
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存