基于ETL助睿平台的订单利润分流数据加工
本次实验熟悉了助睿零代码ETL平台的基本操作与方法,通过实践,能够熟练完成从项目创建、数据源同步、转换流构建到组件配置、执行及结果查看的全链路操作。重点掌握了表输入、记录集连接、字段选择、过滤记录及Excel输出等关键组件的配置技巧,并深刻理解了多表关联与条件分流在复杂数据处理逻辑中的应用。与传统的SQL编写或脚本开发模式相比,助睿平台的可视化拖拽操作具有显著优势。其数据流向清晰透明,极大地提升了
一、实验背景
1.1 实验目的
实验旨在初步熟悉助睿零代码数据集成平台(ETL平台)的核心功能及操作方法,主要包括下列内容:
-
掌握新建转换、添加组件、执行转换等基本操作流程
-
熟悉表输入、记录集连接、字段选择、过滤记录、Excel输出等常用组件的配置方法
-
理解多表关联、数据过滤与分流处理的ETL设计思路
1.2 实验环境
-
零代码在线实验平台
-
数据库MySQL
-
数据准备:订单表business_analysis.order_detail 和 产品表business_anaylsis.product
1.3 数据加工流程
-
将订单表和产品表按照产品ID进行左外连接
-
移除重复ID字段
-
按利润是否≥0进行分流
-
分为盈利订单和亏损订单并进行输出
二、实验步骤
2.1 创建实验项目
登录进入实验平台并完成团队创建后,可以开始项目的创建。可以使用系统自带的默认项目,但为了方便管理实验,更推荐自行创建一个课程专属项目,并将创建的项目归属到自己创建的团队中。
2.2 同步数据源
项目成功后可以打开。在项目目录页面可以看到左侧三个菜单:资源库、文件、元数据。
本次实验用到的是资源库和文件库。
首先需要获取本次实验的数据集,点击元数据,右键关系数据库后同步数据源,后切换到文件库菜单,再切回到元数据,即可看到成功同步的数据库,即线上公共数据库。,
2.3 新建转换流
本次实验将创建订单利润分流处理转换流,整体逻辑已在1.3中给出,涉及到的组件如下:
-
表输入(订单/产品)
-
记录集连接
-
字段选择
-
过滤记录
-
Excel输出
具体操作如下:
首先,切换到资源库菜单栏,右键根目录新建名为”订单利润分流处理“的转换流,可以进入到转换流的设计页面,转换流页面每次打开都是锁定状态,需要点击锁的图标进行解锁才可以进行编辑。
2.4 添加组件
(1)添加表输入组件
我们需要用到两张表的数据进行合并计算,因此需要读取两张表,即添加两个表输入组件。
点击组件库,在搜索框中输入表输入,将查询到的表组件拖拽至画布中,共拖拽两个表输入组件。
接下来,右键其中的一个表输入组件,将其步骤名称更改为”订单_详细订单”。
类似地,另一组表输入的步骤名称更名为“订单_产品信息”。
(2)添加记录集连接组件
在读取两张表的数据后,我们需要通过记录集连接组件将表输入组件的数据进行关联。在输入框中输入“记录集连接”,并将该组件拖拽至画布中。
最后需要创建两个表输入到该组件的连线。
(3)添加字段选择组件
两张表连接后,会出现重复的字段产品ID,我们需要搜索字段选择组件,将其拖拽至画布中,并将该字段选择组件名更改为“移除产品ID_1字段”,并创建记录集连接到该组件的连线。
(4)添加过滤记录组件
实验需要对订单的利润进行分流,以此来分出盈利订单和亏损订单。因此我们需要过滤记录组件,在搜索框中搜索,并将其拖拽至画布中,并创建字段选择字段到过滤记录组件的连接线。
(5)添加excel输出组件
记录经过我们的过滤后会分流成两个excel表输出,因此我们需要添加两个excel输出组件。搜索框中输入“excel输出”并将该组件拖拽两个至画布中,其中一个更名为“盈利订单”,另一个更名为”亏损订单“。最后需要创建过滤记录到输出组件的连线,其中连接线的类型True表示满足过滤条件的记录输出,False则为不满足过滤条件的输出。
至此,完整的转换流构建完毕,整体流程如下图所示。
2.5 配置组件信息
2.5.1 表输入组件配置
双击“订单_详细订单”表输入组件,我们选择线上公共数据源作为数据库连接,并点击获取SQL查询语句后自动生成语句。接下来点开线上公共数据源-表的目录,选择“business_anaylsis.order_detail”,最后点击确认即可。
另一张输入表“订单_产品信息”的配置也类似,只是我们获取的表应为"business_analysis.product"。
2.5.2 记录集连接组件配置
双击该组件,选择第一个Transform为“订单_详细订单”,第二个Transform为“订单_产品信息”,选择左连接,分别获得连接字段后,在第一个Transform的连接字段内,除了product_id,其余均删除。
类似地,第二个Transform在获取连接字段后,删除除了id以外的所有字段。
2.5.3 字段选择配置
经连接后可以发现,product_id和id字段的内容是相同的,因此我们需要使用该组件移除其中的一个字段。双击该组件,选择移除,并在获取完所有字段后,删除除了ID以外所有的字段。
2.5.4 过滤记录组件配置
由于我们需要将订单分为盈利订单和亏损订单,因此可以使用字段利润来区分他们。双击过滤记录组件,选择发送匹配的记录给盈利订单,当profit利润字段>=0时,我们认为这个订单是盈利订单,具体配置如下图所示。配置完成后,点击确认即可。
2.5.5 Excel输出组件配置
双击盈利订单表输出组件,我们更改文件名为“盈利订单“,扩展名为”xlsx excel 2007 and above“。
配置弹窗中点击输出字段,并右键获取字段,获取后点击确认。
类似地,亏损订单的excel输出组件也进行同样的设置。
2.6 执行转换
我们点击画布上方的三角形按钮启动转换流,在弹出的窗口点击启动。
2.7 查看执行日志
执行转换流后,可以看到执行结果以及日志。如下图所示。
2.8 查看结果
点击文件库,右键根目录刷新后可以看到任务的输出结果,即两章表单,”盈利订单“和”亏损订单“。
三、实验总结
本次实验熟悉了助睿零代码ETL平台的基本操作与方法,通过实践,能够熟练完成从项目创建、数据源同步、转换流构建到组件配置、执行及结果查看的全链路操作。重点掌握了表输入、记录集连接、字段选择、过滤记录及Excel输出等关键组件的配置技巧,并深刻理解了多表关联与条件分流在复杂数据处理逻辑中的应用。
与传统的SQL编写或脚本开发模式相比,助睿平台的可视化拖拽操作具有显著优势。其数据流向清晰透明,极大地提升了逻辑理解与调试效率。对于初学者而言,这种零代码模式有效降低了技术门槛,使其能够迅速具备处理常规数据加工任务的能力。
更多推荐




所有评论(0)