作者:finedatalink
发布时间:2023.9.11
阅读次数:1,824 次浏览
数仓调度场景概述 介绍了如何使用 FineDataLink 将不同数据源数据整合并搭建数据仓库,通过设置定时任务更新调度实现数据仓库数据的持续更新。
其中在构建 ODS 层数据时,用户需要将大量业务系统数据进行原表原样迁移,使用「 数据开发」完成此环节时,需要设置多个调度任务、数据同步/数据转换节点,配置复杂的更新逻辑。
使用「 数据管道」功能,则可以实现整个数据库或者多张数据表原表原样实时同步,大大方便了搭建数据仓库,提升开发效率。
FineDataLink 中的数据处理过程,详情参见: https://demo.finedatalink.com/ 「场景案例>数据仓库场景」下的「04实时&定时组合数仓调度示例」文件夹。
任务层级如下图所示:
步骤 | 说明 |
---|---|
设置 ODS 层任务 | 设置 ODS 层任务需要将来自不同数据库的「财务数据」和「销售数据」通过使用 FineDataLink 的「数据管道」功能原表原样实时同步落库至指定数据库 |
设置 DW 层任务 | DW 层任务即将 ODS 层数据中更新的数据同步至 DW 层数据中。若已有的 DW 层数据中最新更新时间(比如最新的销售时间)晚于 ODS 层数据中的时间,即 ODS 层有新数据生成,需要将其同步至 DW 层中,同时记录更新的开始时间和结束时间,并发送消息通知。 |
设置 DM 层任务 | DM 层使用更新的数据进行数据处理,将 DW层的销售数据和财务数据进行关联,合并成宽表并输出至指定数据库,为其他报表等可视化工具提供数据源。 |
设置总调度任务 | 三个层级的数仓都已经设置完成,接下来就可以将 ODS、DW、DM 层的调度任务进行组合,通过调用任务的形式组合在一个任务中,方便后续的任务管理和触发。 |
在设置任务前,请先参考 数据管道概述第二节 进行环境准备。
点击数据管道>新建管道任务,如下图所示:
将存放「销售数据」的「demo」数据库中对应的原始选中,如下图所示:
点击「下一步」,将数据同步至目标数据库,也就是存放 ODS 层数据的「test_1」数据库,如下图所示:
点击下一步,修改目标表名称,如下图所示:
点击下一步,设置异常通知和通知方式等,如下图所示:
最后保存并运行任务即可,如下图所示:
同理,新建管道任务,并将存放「财务数据」的「test_2」数据库中对应的原始选中,并同步至存放 数据仓库ODS 层数据的「test_1」数据库中,如下图所示:
然后设置字段映射和异常通知,并保存和启动任务,如下图所示:
完成后的管道任务如下图所示:
此时,ODS 层数据库「test_1」中即会出现原表原样实时同步的「财务」和「销售」数据表,如下图所示:
DW 层任务的设置方式与 数仓调度场景概述同理,详情参见 设置DW层任务,此处不在赘述。
DM 层任务的设置方式与 数仓调度场景概述同理,详情参见 设置DM层任务,此处不在赘述。
搭建数据仓库中三个层级的数仓都已经设置完成,接下来就可以将 ODS、DW、DM 层的调度任务进行组合,通过调用任务的形式组合在一个任务中,方便后续的任务管理和触发。
由于此处 数据仓库ODS 层任务使用了「数据管道」功能,因此不需要对其进行调度任务设置,只需要对 DW 层和 DM 层进行调度即可,如下图所示:
操作步骤与 设置总调度任务同理,本文不在赘述。
设置好以上任务后,即可运行任务「调度总任务」,消息通知任务运行情况:
在数字化时代下,大数据治理对企业数据建设的重要性不言而喻,然而实现的困难有时也让人望而却步,因此选择合适的技术和工具会达到事半功倍的效果。帆软 FineDataLink——中国领先的低代码/高时效 数据集成产品,能过为企业提供一站式的数据服务,通过快速连接、高时效融合多种数据,提供低代码Data API敏捷发布平台,帮助企业解决数据孤岛难题,有效提升企业数据价值。
数据集成平台产品更多介绍: www.finedatalink.com
免费体验Demo 咨询方案
上一篇: 数据库管理员工信息实操:ETL工具高效应用下一篇: 实操演示:业务环节中数据仓库的调度怎么做
深圳坪山网站建设公司南阳整站seo网站优化推广更合网站优化镇江网站优化公司商丘关键词网站优化多少钱优化学习方法的网站开化网站优化宝塔网站优化网站优化的方法有哪些口碑好的电商网站优化技术专业网站优化团队襄阳市网站关键词优化价格河北信息化网站优化价目网站优化方案外包优化网站原则十堰外包网站优化三亚网站运营优化公司余干网站优化推广沈阳网站制作优化宜兴网站推广优化哪家公司比较好长葛优化网站推广效果好不好承德优化网站多少钱网站url优化吉安县网站优化推广西安网站首页优化电影网站怎么优化运营网站内容优化总结感悟网站单页优化技巧宁波谷歌网站优化中山家电网站seo优化seo网站优化上排名推广教程香港通过《维护国家安全条例》两大学生合买彩票中奖一人不认账让美丽中国“从细节出发”19岁小伙救下5人后溺亡 多方发声卫健委通报少年有偿捐血浆16次猝死汪小菲曝离婚始末何赛飞追着代拍打雅江山火三名扑火人员牺牲系谣言男子被猫抓伤后确诊“猫抓病”周杰伦一审败诉网易中国拥有亿元资产的家庭达13.3万户315晚会后胖东来又人满为患了高校汽车撞人致3死16伤 司机系学生张家界的山上“长”满了韩国人?张立群任西安交通大学校长手机成瘾是影响睡眠质量重要因素网友洛杉矶偶遇贾玲“重生之我在北大当嫡校长”单亲妈妈陷入热恋 14岁儿子报警倪萍分享减重40斤方法杨倩无缘巴黎奥运考生莫言也上北大硕士复试名单了许家印被限制高消费奥巴马现身唐宁街 黑色着装引猜测专访95后高颜值猪保姆男孩8年未见母亲被告知被遗忘七年后宇文玥被薅头发捞上岸郑州一火锅店爆改成麻辣烫店西双版纳热带植物园回应蜉蝣大爆发沉迷短剧的人就像掉进了杀猪盘当地回应沈阳致3死车祸车主疑毒驾开除党籍5年后 原水城县长再被查凯特王妃现身!外出购物视频曝光初中生遭15人围殴自卫刺伤3人判无罪事业单位女子向同事水杯投不明物质男子被流浪猫绊倒 投喂者赔24万外国人感慨凌晨的中国很安全路边卖淀粉肠阿姨主动出示声明书胖东来员工每周单休无小长假王树国卸任西安交大校长 师生送别小米汽车超级工厂正式揭幕黑马情侣提车了妈妈回应孩子在校撞护栏坠楼校方回应护栏损坏小学生课间坠楼房客欠租失踪 房东直发愁专家建议不必谈骨泥色变老人退休金被冒领16年 金额超20万西藏招商引资投资者子女可当地高考特朗普无法缴纳4.54亿美元罚金浙江一高校内汽车冲撞行人 多人受伤
深圳坪山网站建设公司南阳整站seo网站优化推广更合网站优化镇江网站优化公司商丘关键词网站优化多少钱优化学习方法的网站开化网站优化宝塔网站优化网站优化的方法有哪些口碑好的电商网站优化技术专业网站优化团队襄阳市网站关键词优化价格河北信息化网站优化价目网站优化方案外包优化网站原则十堰外包网站优化三亚网站运营优化公司余干网站优化推广沈阳网站制作优化宜兴网站推广优化哪家公司比较好长葛优化网站推广效果好不好承德优化网站多少钱网站url优化吉安县网站优化推广西安网站首页优化电影网站怎么优化运营网站内容优化总结感悟网站单页优化技巧宁波谷歌网站优化中山家电网站seo优化seo网站优化上排名推广教程香港通过《维护国家安全条例》两大学生合买彩票中奖一人不认账让美丽中国“从细节出发”19岁小伙救下5人后溺亡 多方发声卫健委通报少年有偿捐血浆16次猝死汪小菲曝离婚始末何赛飞追着代拍打雅江山火三名扑火人员牺牲系谣言男子被猫抓伤后确诊“猫抓病”周杰伦一审败诉网易中国拥有亿元资产的家庭达13.3万户315晚会后胖东来又人满为患了高校汽车撞人致3死16伤 司机系学生张家界的山上“长”满了韩国人?张立群任西安交通大学校长手机成瘾是影响睡眠质量重要因素网友洛杉矶偶遇贾玲“重生之我在北大当嫡校长”单亲妈妈陷入热恋 14岁儿子报警倪萍分享减重40斤方法杨倩无缘巴黎奥运考生莫言也上北大硕士复试名单了许家印被限制高消费奥巴马现身唐宁街 黑色着装引猜测专访95后高颜值猪保姆男孩8年未见母亲被告知被遗忘七年后宇文玥被薅头发捞上岸郑州一火锅店爆改成麻辣烫店西双版纳热带植物园回应蜉蝣大爆发沉迷短剧的人就像掉进了杀猪盘当地回应沈阳致3死车祸车主疑毒驾开除党籍5年后 原水城县长再被查凯特王妃现身!外出购物视频曝光初中生遭15人围殴自卫刺伤3人判无罪事业单位女子向同事水杯投不明物质男子被流浪猫绊倒 投喂者赔24万外国人感慨凌晨的中国很安全路边卖淀粉肠阿姨主动出示声明书胖东来员工每周单休无小长假王树国卸任西安交大校长 师生送别小米汽车超级工厂正式揭幕黑马情侣提车了妈妈回应孩子在校撞护栏坠楼校方回应护栏损坏小学生课间坠楼房客欠租失踪 房东直发愁专家建议不必谈骨泥色变老人退休金被冒领16年 金额超20万西藏招商引资投资者子女可当地高考特朗普无法缴纳4.54亿美元罚金浙江一高校内汽车冲撞行人 多人受伤