助睿实验作业1-订单利润分流数据加工
在商业数据分析课程的学习过程中,我完成了一项基于助睿数智平台的ETL入门实操实验。本次实验以零代码可视化拖拽操作为核心,完成了订单利润数据的自动化分流与标准化加工处理,全程无需编写复杂代码,仅通过组件拖拽、流程节点配置即可完成全链路数据加工任务,操作门槛低、上手难度小,是零基础入门ETL数据处理逻辑的优质实操项目。本文将完整还原本次实验的全流程操作步骤,对实操细节、配置逻辑与学习心得进行系统记录与总结。
1.实验背景
1.1实验目的
本次实验旨在熟悉助睿零代码数据集成平台(ETL平台)的核心功能和操作方法,具体包括:
-
掌握新建转换、添加组件、执行转换等基本操作流程
-
熟悉表输入、记录集连接、字段选择、过滤记录、Excel输出等常用组件的配置方法
-
理解多表关联、数据过滤与分流处理的ETL设计思路
1. 依托本次实验实操,学生可熟练自主运用助睿平台开展常规数据加工操作,助力进阶复杂数据处理学习。
2. 经过本次实验训练,学生具备借助助睿平台独立完成基础数据加工的能力,筑牢高阶数据处理学习根基。
3. 本次实验旨在让学生掌握助睿平台基础操作,可自主完成日常数据加工工作,铺垫后续深度数据处理学习。
1.2实验环境
本次实验使用助睿数智是AI驱动的一站式数据科学平台。该平台覆盖从数据接入、ETL处理、机器学习建模到可视化展示的全链路零代码功能,适用于数据分析教学与企业数据加工场景。产品为https://www.uniplore.com/
-
助容零代码在线实验平台:https://lab.guilian.cn/
-
数据库:MySQL(含订单数据和产品信息表)
-
数据准备:订单表(business_anaylsis.order_detail)、产品表(business_anaylsis.product)
1.3业务场景
在企业经营分析工作中,往往需要关联多张数据表核算订单利润,并依据利润盈亏情况对订单进行分类存储,本实验以订单利润分流为实操案例,采用零代码拖拽的简便方式完成整套数据处理工作。
1.4数据加工流程
订单明细表与产品信息表进行左外连接,移除重复字段,按利润是否大于等于零进行分流,最后分别输出盈利订单和亏损订单到两个Excel文件。

二、实验步骤
2.1登录实验平台
在贵兰在线对应的课程学习页面,点击“实验课1:助睿ETL入门实验”

点击课程实训说明中的“大数据实训平台”,即可前往实验地址 https://lab.guilan.cn/

从贵兰在线进入实验平台可以自动登录,登录成功后进入实验平台首页

2.2基本概念了解
助睿实验平台是一个面向数据分析与教学的一站式零代码实验平台。
概念
说明
Pipeline(转换)
面向数据流,处理数据的一个功能单元,由多个Transform组成
Workflow(作业)
面向任务,完成一件完整的事,由多个Action组成,必须包含开始项
Transform(步骤)
转换内的最小单元,如"Excel输入"、“字段选择”,每个步骤独立线程运行
Action(任务项)
作业的执行单位,如"启动"、“发送邮件”
Hops(节点连接)
数据传输通道,连接步骤或任务项


2.3团队管理
进入实验平台首页,点击数据集成/ETL进入对应操作界面,各组组长可在此创建团队便于统筹管理小组实验作业,只需点击团队管理菜单栏,选择新增团队即可完成创建。

在弹出的窗口中团队名称和团队描述,点击“确认”

创建成功后,点击团队卡片右上角的“更多”,选择“添加成员”

2.4创建实验项目



2.5同步数据流
项目创建成功后点击该项目右上角“…”,点击“打开项目”

在项目页面,可以看到左侧有3个菜单:资源库、文件、元数据
-
资源库用于对工作流的管理,包括新建、删除、修改、查看工作流的信息;导出导入工作空间;调度管理等操作
-
文件库用于保存工作流中需要用到的文件和工作流产生的文件
-
元数据管理是数据集成的重要基石,可以为工作流定义“运行配置”、“数据库”、“flink集群”等配置
本次实验主要用到资源库和文件库
首先获取本次的实验数据集:点击“元数据”,右键根“关系数据库”,点击“同步数据源”


2.6新建数据流
本次实验搭建订单利润分流处理转换流,关联订单数据与产品信息,依据利润正负完成数据分流,将盈利订单、亏损订单分别导出至不同Excel文件。
整体逻辑:订单明细表 → 左外连接产品信息表 → 移除重复ID字段 → 按利润≥0分流 → 盈利订单/亏损订单分别输出
各组件作用:
组件
作用
表输入(订单/产品)
读取原始数据
记录集连接
按产品ID关联两表
字段选择
移除重复的ID字段
过滤记录
根据利润正负分流
Excel输出
分别输出盈利/亏损订单
新建转换流具体操作如下:

输入转换流名字“订单利润分流处理”,点击“确定”

创建成功后进入转换流设计页面

转换流设计页面每次打开都是锁定状态,需要解锁后才可编辑转换流,点击🔒图标进行解锁

2.7添加组件
在建立转换任务后,可添加相应操作组件到转换任务中。
下面以订单数据(business_anaylsis.order_detail)和产品信息数据(business_anaylsis.product)生成盈利订单数据和亏损订单数据为例来构建转换任务,按如下顺序向转换中添加组件:
(1)添加表输入组件
本次实验需要将两类数据进行合并计算,所以需要添加2个表输入组件,读取2个不同表的数据。
点击“组件库”,由于组件库的组件数量较多,可以通过关键字搜索快速获取
在搜索输入框中输入“表输入”,即可查询到“表输入”组件

将表输入组件拖拽至画布中

再次拖拽表输入组件拖拽至画布中,即拖拽2个表输入组件至画布中

右键表输入组件,点击“编辑组件”

修改步骤名称中为订单_详细订单,点击“确认”,此时画布中的对应表输入组件被命名为“订单_详细订单”

同样的,另一表输入组件修改为订单_产品信息

(2)添加记录集连接组件
使用表输入组件读取数据后,需要通过记录集连接组件将表输入组件的数据进行关联。
在搜索输入框中输入“记录集连接”,将记录集连接组件拖拽至画布中

创建两个表输入组件到记录集连接组件的连接线,如下图:


(3)添加字段选择组件
两个表数据进行连接后,会出现重复的字段“产品ID”。我们可以通过“字段选择”组件移除这个多余字段。
在搜索输入框中输入“字段选择”,将字段选择组件拖拽至画布中

将字段选择组件名字修改为“移除产品ID_1字段”

创建记录集连接组件到字段选择组件的连接线,如下图:

(4)添加过滤记录组件
本次实验是根据订单的利润情况对订单进行分流。使用“过滤记录”组件可以根据记录中某个字段的值进行记录分流。
在搜索输入框中输入“过滤记录”,将过滤记录组件拖拽至画布中

创建字段选择组件到过滤记录组件的连接线,如下图:
在选择连接线的弹窗中点击“主输出步骤”。由于在进行字段选择操作时,可能有记录不满足要求,导致记录被标记为错误。主输出步骤表示满足要求的记录通过该连接线传输数据。

(5)添加 excel 输出组件
记录经过“过滤记录”组件后会被分成2个记录流。我们可以根据业务需求将2个记录流输出到指定位置(文件、数据库表)。在本次实验中,我们选择将记录输出到 Excel 文件中。
在搜索输入框中输入“excel 输出”,将2个表输出组件拖拽至画布中

2个excel 输出组件分别命名为“盈利订单”和“亏损订单”,并创建过滤记录组件到两个excel 输出组件的连接线,在选择连接线类型的弹窗中分别选择“True输出”和“False输出”
“True输出”表示满足过滤条件的记录输出。
“False输出”表示不满足过滤条件的记录输出。



2.8配置组件信息
组件添加完成后需要对其进行相应配置。
2.8.1表输入组件配置
双击订单_详细订单表输入组件,弹出组件配置页面。在数据库连接下拉框中选择已同步的“线上公共数据源(Readonly)”如下图所示:

点击“获取SQL查询语句”,自动生成SQL查询语句。

点开“线上公共数据源(Readonly)”-“表”目录

下滑找到“business_anaylsis.order_detail”并点击它,再点击“确定”

在系统提示弹窗中点击“确认”

系统自动填写了完整的SQL查询语句,点击“确认”。当自动生成的SQL语句无法满足业务需求时,也可以通过在文本框输入自定义SQL语句。表输入组件的其他配置参数保持默认即可,

另一个订单_产品信息表输入也参考上述配置,获取“business_anaylsis.product”的SQL查询语句


2.8.2记录集连接组件配置
双击记录集连接组件,在下拉列表中选择需要连接的数据来源
第一个Transform选择订单_详细订单,第二个Transform选择订单_产品信息,连接类型选择LEFT OUTER

点击第一个Transform的连接字段中的“获得连接字段”按钮,即可获取表输入组件在订单_详细订单的查询到的字段

同样的,获取第二个Transform的连接字段

第一个Transform字段保留 produc_id,第二个Transform的字段保留 id,连接类型选择LEFT OUTER,表示使用订单_详细订单的字段 produc_id 与订单_产品信息的字段 id 进行左外连接
第一个Transform字段中除了 produc_id 外的其他字段,右键点击“删除选中的行”,第一个Transform字段中除了id 外的其他字段,右键点击“删除选中的行”

删除完后,点击“确认”,若删除错误,可重新获取连接字段再进行删除

2.8.3字段选择组件配置
通过记录集连接后,我们可以发现,字段 produc_id 与字段 id 内容相同,只需要保留一个,因此,需要使用“移除产品ID_1字段”字段选择组件的移除选项移除字段 id,具体操作如下:
双击“移除产品ID_1字段”字段选择组件,点击“移除”,并点击“获取字段”

在获取的字段中选中除“id”字段以外的字段,右键点击“删除选中的行”



可以看到,字段“id”已被删除,点击“确认”

2.8.4过滤记录组件配置
根据业务需求需要将盈利订单和亏损订单分开存储,两个订单可以使用字段利润来区分
双击“过滤记录”组件,在弹窗中的下拉列表中选择将结果发送给不同的后续处理步骤,如下图:
选择字段**利润(profit)**来作为判断字段,选中“profit(Number)”后点击“确定”;>=0 作为判断条件,在函数中选择“>=”,点击“确定”。点击“value”,值类型选择“Integer”,值输入“0”点击“确定”

2.8.5 Excel输出组件配置
将接收到的结果写入到Excel表中,双击“盈利订单”excel表输出组件,在配置弹窗中,文件名修改为“盈利订单”,选择文件拓展名“xlsx [Excel 2007 and above]”

在配置弹窗中点击“输出字段”,在空白表格处右键点击“获取字段”

字段获取后,点击“确认”

“亏损订单”的excel组件也进行同样的设置


2.9执行转换
组件配置完成后,可执行转换任务,点击启动按钮

在弹出的窗口中点击“启动”,便可以看到执行结果
2.10查看日志
任务执行过程中,会将相关操作记录到日志中,任务执行完毕后,可查看执行结果及日志,如下所示


2.11查看结果
点击“文件库”,右键根目录刷新,可以看到转换任务的输出结果:盈利订单和亏损订单,可以右键下载查看

三、实验结果
输出文件
内容
说明
盈利订单.xlsx
profit ≥ 0 的订单
可进一步分析高利润产品
亏损订单.xlsx
profit < 0 的订单
可用于亏损原因追踪


实验成功实现了订单数据的关联与分流处理,为后续的盈利分析提供了规范的数据基础。
四、实验总结
通过本次实验,熟悉了助睿零代码ETL平台的基本操作方法,包括创建项目、同步数据源、新建转换流、添加和配置组件、执行转换以及查看结果。掌握了表输入、记录集连接、字段选择、过滤记录、Excel输出等常用组件的配置方法,理解了多表关联和条件分流在数据处理中的应用。
相比传统编写SQL和脚本的数据处理方式,助睿平台的零代码拖拽式操作更加直观,组件之间的数据流向清晰可见,便于理解和调试。对于初学者来说,这种方式降低了学习门槛,能够快速上手完成常见的数据加工任务。
更多推荐



所有评论(0)