本文讲述字节跳动一款 App产品的数据治理故事。该产品随着用户体量和数据体量不断增长,数仓的任务量、数据量也不断攀升,运维难、成本贵、稳定性等问题在不断凸显。通过使用火山引擎DataLeap的数据治理能力,3个月时间将计算成本大幅缩减20%。
该产品是一款近千万级DAU的产品,疫情3年,催生了大量的线下需求转型至线上,海量的数据虽然为产品创造了巨大的价值,但是也增高了计算成本和存储成本。“成本治理专项”成为了这个产品的重要工作之一,为了解决数据治理的问题,产品接入了火山引擎自研的大数据开发套件——DataLeap
大数据场景下计算资源的重要价值和昂贵成本,需要每个任务都按需使用。而在实际的业务开发过程中,存在大量的异常计算任务,浪费了大量的计算资源。计算场景也因此成为该产品数仓团队成本治理的关键切入点。
CopyRight@2015-2024 IT手机世界 All Right Reserved
工信备案号:京备A2-2009413
IT手机世界畅享移动互联时代智能智慧新生活