基于零代码平台的订单利润分流数据加工
本实验基于助睿零代码数据集成平台(ETL平台),完成订单利润分流处理任务。实验通过可视化拖拽方式构建数据处理流程,主要步骤包括:1)登录实验平台并创建项目;2)同步MySQL数据源;3)新建转换流,使用表输入组件读取订单和产品数据;4)通过记录集连接实现两表关联;5)使用字段选择、过滤记录等组件进行数据处理;6)将盈利和亏损订单分别输出到Excel文件。实验帮助学生掌握ETL平台的基本操作和数据处
一、实验背景
1.1 实验目的
本次实验旨在熟悉助睿零代码数据集成平台(ETL 平台)的核心功能和操作方法,具体包括:
- 掌握新建转换、添加组件、执行转换等基本操作流程
- 熟悉表输入、记录集连接、字段选择、过滤记录、Excel 输出等常用组件的配置方法
- 理解多表关联、数据过滤与分流处理的 ETL 设计思路
通过本次实验,学生能够独立使用助睿平台完成常见的数据加工任务,为后续更复杂的数据处理场景打下基础。
1.2 实验环境
- 零代码在线实验平台:本次实验使用助睿数智(Uniplore)作为一站式数据科学平台。该平台覆盖从数据接入、ETL 处理、机器学习建模到可视化展示的全链路零代码功能,适用于数据分析教学与企业数据加工场景。产品官网为 https://www.uniplore.com/,本次实验的访问地址为https://www.guilan.cn/;
- 数据库:MySQL;
- 数据准备:订单表(business_anaylsis.order_detail)、产品表(business_anaylsis.product)。
1.3 业务场景
在企业经营分析中,经常需要将多张表关联起来计算利润,并按利润正负对订单进行分类存储。本实验以订单利润分流为例,通过零代码拖拽方式完成这一数据处理任务。
1.4 数据加工流程
订单明细表与产品信息表进行左外连接,移除重复字段,按利润是否大于等于零进行分流,最后分别输出盈利订单和亏损订单到两个Excel文件。

二、实验步骤
2.1 登录实验平台
- 前往实验地址https://www.guilan.cn/,点击登录跳转到登录网页https://passport.guilan.cn/

- 从贵兰在线进入实验平台可以自动登录,登录成功后进入实验平台首页

2.2基本概念认知
助睿一站式大数据平台中的数据集成平台,通过可视化方式做数据ETL(抽取、转换、加载),核心术语说明如下:
| 概念 | 说明 |
|---|---|
| Pipeline(转换) | 面向数据流,处理数据的一个功能单元,由多个 Transform 组成 |
| Workflow(作业) | 面向任务,完成一件完整的事,由多个 Action 组成,必须包含开始项 |
| Transform(步骤) | 转换内的最小单元,如 “Excel 输入”、“字段选择”,每个步骤独立线程运行 |
| Action(任务项) | 作业的执行单位,如 “启动”、“发送邮件” |
| Hops(节点连接) | 数据传输通道,连接步骤或任务项 |


2.3团队管理
组长可以创建该小组的团队方便团队实验作业的管理,流程如下:
- 进入实验平台,选择数据集成,进入该页面

- 点击‘团队管理’菜单,并点击‘新增团队’完成团队创建

- 创建成功后,点击团队卡片右上角的‘更多’,选择‘添加成员’

- 输入手机号查询组员,勾选后点击’添加‘即可完成成员配置

2.4创建实验项目
平台提供默认项目,可以使用默认项目进行实验,但为了方便管理,可以为课程创建专属项目,操作如下:
- 选择项目所属团队(个人团队 / 自定义团队)

- 点击‘新建项目’

- 输入项目名称后点击‘确定’

- 创建成功后即在数据集成页面看到新创建的项目

2.5同步数据源
项目创建完成后,需同步实验所需数据源,操作流程如下:
- 点击目标项目卡片右上角的「…」按钮,在弹出菜单中选择「打开项目」,即可进入项目主页面。

- 进入项目后,左侧导航栏包含三大核心功能模块,本次实验将重点使用资源库与文件库:

功能说明如下:
| 模块 | 核心功能说明 |
|---|---|
| 资源库 | 工作流的全流程管理中心,支持工作流的新建 / 编辑 / 删除 / 信息查看、工作空间的导入导出、任务调度管理等操作。 |
| 文件库 | 统一文件存储容器,用于存放工作流运行依赖的源文件,以及工作流执行后生成的结果文件。 |
| 元数据管理 | 数据集成的底层配置基石,可对工作流依赖的运行环境进行配置,包括运行参数、数据库连接、Flink 集群信息等。 |
- 首先获取本次的实验数据集:点击‘源数据’,右键‘关系数据库’,点击‘同步数据源’

- 切换‘文件库’菜单再切换回到元数据,已经成功同步的数据库‘线上公告数据源’

2.6新建转换流
本实验将构建 「订单利润分流处理」转换流,实现订单数据与产品信息的关联整合;并根据订单利润的正负属性,将数据分流为 “盈利订单” 与 “亏损订单” 两类,最终分别输出至两个独立的 Excel 文件。
核心处理流程:
组件功能说明:
| 组件名称 | 功能说明 |
|---|---|
| 表输入(订单 / 产品) | 读取订单明细表、产品信息表的原始业务数据 |
| 记录集连接 | 以产品 ID 为关联键,对订单明细表与产品信息表执行左外连接,实现数据关联 |
| 字段选择 | 移除连接后重复的 ID 字段,完成数据清洗与字段规整 |
| 过滤记录 | 基于利润正负条件,将数据分流为两类:盈利订单(利润≥0)、亏损订单(利润 < 0) |
| Excel 输出 | 将分流后的盈利订单、亏损订单数据,分别写入独立的 Excel 文件 |
转换流创建操作步骤
- 切换至「资源库」模块,右键点击根目录,选择「新建转换流」,完成转换流的初始化创建。

- 输入转换流名字 ‘订单利润分流处理’,点击‘确定’

- 创建成功后进入转换流设计页面

- 转换流设计页面每次打开都是锁定状态,需要解锁后才可编辑转换流,点击图标进行解锁

2.7添加组件
在建立转换任务后,可添加相应操作组件到转换任务中。
下面以订单数据(business_anaylsis.order_detail)和产品信息数据
(business_anaylsis.product)生成盈利订单数据和亏损订单数据为例来构建转换任
务,按如下顺序向转换中添加组件:
2.7.1添加表输入组件
本次实验需要将两类数据进行合并计算,所以需要添加2个表输入组件,读取2个不同表的数据。
- 点击“组件库”,由于组件库的组件数量较多,可以通过关键字搜索快速获取
- 在搜索输入框中输入“表输入”,即可查询到”表输入”组件

- 拖拽表输入组件至画布中

- 再次拖拽表输入组件拖拽至画布中,即拖拽2个表输入组件至画布中

- 右键表输入组件,点击“编辑组件”

- 修改步骤名称中为订单_详细订单,点击“确认”,此时画布中的对应表输入组件被命名为“订单__详细订单”

- 同样的,另一表输入组件修改为订单__产品信息

2.7.2添加记录集连接组件
使用表输入组件读取数据后,需要通过记录集连接组件将表输入组件的数据进行关
联。
- 在搜索输入框中输入“记录集连接”,将记录集连接组件拖拽至画布中

- 创建两个表输入组件到记录集连接组件的连接线

2.7.3添加字段选择组件
两个表数据进行连接后,会出现重复的字段”产品ID”。我们可以通过”字段选择”组件移除这个多余字段。
- 在搜索输入框中输入“字段选择”,将字段选择组件拖拽至画布中

- 将字段选择组件名字修改为”移除产品ID_1字段”

- 创建记录集连接组件到字段选择组件的连接线

2.7.4添加过滤记录组件
本次实验是根据订单的利润情况对订单进行分流。使用“过滤记录”组件可以根据记录中某个字段的值进行记录分流。
- 在搜索输入框中输入“过滤记录”,拖拽过滤组件至画布中

- 创建字段选择组件到过滤记录组件的连接线

- 在选择连接线的弹窗中点击“主输出步骤”。由于在进行字段选择操作时,可能有记录不满足要求,导致记录被标记为错误。主输出步骤表示满足要求的记录通过该连接线传输数据。

2.7.5添加excel输出组件
记录经过“过滤记录”组件后会被分成2个记录流。我们可以根据业务需求将2个记录流输出到指定位置(文件、数据库表)。在本次实验中,我们选择将记录输出到Excel文件中。
- 在搜索输入框中输入"excel输出”,将2个表输出组件拖拽至画布中

- 2个excel输出组件分别命名为”盈利订单”和”亏损订单”,并创建过滤记录组件到两个excel输出组件的连接线,在选择连接线类型的弹窗中分别选择”True输出”和”False输出”
“True输出”表示满足过滤条件的记录输出。
“False输出”表示不满足过滤条件的记录输出。


- 至此,一个完整的转换任务流程构建完毕

2.8配置组件信息
组件添加完成后需要对其进行相应配置。
2.8.1表输入组件配置
- 双击订单_详细订单表输入组件,弹出组件配置页面。在数据库连接下拉框中选择已同步的”线上公共数据源(Readonly)

- 点击“获取SQL查询语句”,自动生成SQL查询语句。

- 下滑找到"business_anaylsis.order,再点击”确定”

- 在系统提示弹窗中点击“确认”

- 系统自动填写了完整的SQL查询语句,点击“确认”。当自动生成的SQL语句无法满足业务需求时,也可以通过在文本框输入自定义SQL语句。表输入组件的其他配置参数保持默认即可

- 另一个订单_产品信息表输入也参考上述配置,获取”business_anaylsis.product”的SQL查询语句

2.8.2记录集连接组件配置
-
双击记录集连接组件,在下拉列表中选择需要连接的数据来源
-
第一个Transform选择订单_详细订单,第二个Transform选择订单_产品信息,连接类型选择LEFT OUTER

- 点击第一个Transform的连接字段中的”获得连接字段”按钮,即可获取表输入组件在订单_详细订单的查询到的字段

- 同样的,获取第二个Transform的连接字段

-
第一个Transform字段保留produc_id,第二个Transform的字段保留id,连接类型选择LEFTOUTER,表示使用订单_详细订单的字段produc_id与订单产品信息的字段id进行左外连接
-
第一个Transform字段中除了produc_id外的其他字段,右键点击“删除选中的行”

- 第一个Transform字段中除了id外的其他字段,右键点击”删除选中的行”

2.8.3字段选择组件配置
通过记录集连接后,我们可以发现,字段produc_id与字段id内容相同,只需要保留一个,因此,需要使用”移除产品ID_1字段”字段选择组件的移除选项移除字段id,具体操作如下:
- 双击”移除产品ID_1字段”字段选择组件,点击“移除”,。并点击“获取字段”

- 在获取的字段中选中除”id”字段以外的字段,右键点击“删除选中的行”


- 点击确认

2.8.4过滤记录组件配置
根据业务需求需要将盈利订单和亏损订单分开存储,两个订单可以使用字段利润来区分
- 双击“过滤记录”组件,在弹窗中的下拉列表中选择将结果发送给不同的后续处理步骤

- 选择字段**利润(profit)**来作为判断字段,选中”profit(Number)”后点击”确定”

- 选择 >= 作为判断条件,点击‘=’,点击确定

- 点击‘value’,值类型选择‘Integer’,值输入‘0’,点击确定

- 过滤条件已配置完成,点击‘确定’

2.8.5Excel输出组件配置
- 将接收到的结果写入到Excel表中,双击”盈利订单”excel表输出组件,在配置弹窗中,文件名修改为”盈利订单”,选择文件拓展名”xlsx[Excel2007andabove]”

- 在配置弹窗中点击“输出字段”,在空白表格处右键点击“获取字段”

- 字段获取后,点击‘确认’

- ‘亏损订单’的excel组件也进行同样的设置

2.9 执行转换
- 组件配置完成后,可执行转换任务,点击启动按钮

- 在弹出的窗口中点击‘启动’

- 执行成功

2.10查看执行日志
任务执行过程中,会将相关操作记录到日志中,任务执行完毕后,可查看执行结果及日志

2.11查看结果
- 点击”文件库”,右键根目录刷新,可以看到转换任务的输出结果:盈利订单和亏损订单,可以右键下载查看


三、实验结果
| 输出文件 | 内容 | 说明 |
|---|---|---|
| 盈利订单.xlsx | profit ≥ 0 的订单 | 可进一步分析高利润产品 |
| 亏损订单.xlsx | profit < 0 的订单 | 可用于亏损原因追踪 |
实验成功实现了订单数据的关联与分流处理,为后续的盈利分析提供了规范的数据基础。


四、问题与解决
4.1Excel输出组件因文件名相同导致执行报错
解决方法:配置完两个Excel输出组件后执行转换,系统报错。检查发现两个组件的默认输出文件名都是”file”,没
有修改。两个输出步骤使用了相同的文件名,导致平台无法区分。将盈利订单和亏损订单的“文件名”分别修改为”盈
利订单”和”亏损订单”后,重新执行正确。
4.2找不到组件连接线
解决方法:当需要连接两个组件却找不到连接线入口时,可将鼠标悬停在源组件的边缘位置,待光标变为十字形连接标识后,按住鼠标左键拖动至目标组件,松开即可完成组件间的连接。
五、实验总结
本次助睿零代码 ETL 平台订单利润分流数据加工实验,完整完成了从数据源同步、转换流搭建、组件配置到数据分流输出的全流程实操,达成了预设实验目标。
- 熟练掌握平台核心操作:可独立完成转换流新建、组件拖拽添加、组件连线、参数配置、转换执行、结果查看与下载等基础操作,熟悉表输入、记录集连接、字段选择、过滤记录、Excel 输出等常用组件的功能与配置方法。
- 理解 ETL 数据加工逻辑:掌握多表左外连接、重复字段清洗移除、按业务条件(利润正负)数据分流、结果文件分类输出的完整数据处理思路,理解零代码数据集成的核心流程。
- 提升实操问题解决能力:成功解决Excel 输出文件名重复报错、找不到组件连接线两类实操问题。
- 完成实验业务目标:实现订单表与产品表的数据关联,按利润条件完成数据分流,成功输出盈利订单.xlsx和亏损订单.xlsx两个结果文件。
更多推荐



所有评论(0)