一、实验背景

1.1 实验目的

本次实验旨在熟悉助睿零代码数据集成平台(ETL平台)的核心功能和操作方法,具体包括:

1、掌握新建转换、添加组件、执行转换等基本操作流程

2、熟悉表输入、记录集连接、字段选择、过滤记录、Excel输出等常用组件的配置方法

3、理解多表关联、数据过滤与分流处理的ETL设计思路

通过本次实验,学生能够独立使用助睿平台完成常见的数据加工任务,为后续更复杂的数据处理场景打下基础。

1.2 实验环境

零代码在线实验平台:本次实验使用助睿数智(Uniplore)作为一站式数据科学平台。该平台覆盖从数据接入、ETL处理、机器学习建模到可视化展示的全链路零代码功能,适用于数据分析教学与企业数据加工场景。

产品官网为 https://www.uniplore.com/

本次实验的访问地址为 https://lab.guilian.cn/

数据库:MySQL(含订单数据和产品信息表)

数据准备:订单表(`business_anaylsis.order_detail`)、产品表(`business_anaylsis.product`)

1.3 业务场景

在企业经营分析中,经常需要将多张表关联起来计算利润,并按利润正负对订单进行分类存储。本实验以订单利润分流为例,通过零代码拖拽方式完成这一数据处理任务。

1.4 数据加工流程

将订单明细表与产品信息表进行左外连接,移除重复字段id,按利润是否大于等于零进行分流,最后分别输出盈利订单和亏损订单到两个Excel文件。

二、实验步骤

2.1 打开助睿实验平台

1、助睿实验平台需要通过贵兰在线平台进行访问,因此需要注册一个贵兰在线学生账号

打开贵兰在线PC端,链接地址:https://www.guilan.cn/home

2、选择学号登录:选择贵州大学、输入自己的学号、姓名。最后输入手机号通过验证码登录

3、登录完成之后,点击我的学习

4、最后点击实训平台即可打开助睿实验平台

5、助睿实验平台界面

2.2 团队管理

1、点击“数据集成”

2、点击“团队管理”、“新建团队”

3、输入好“团队名称”和“团队描述”即可点击“确定”

4、点击团队卡片右上角的三个点,点击“添加成员”

5、输入组员的手机号以添加成员

2.3 创建实验项目

1、点击“我的项目”,选择项目所属团队为刚刚创建的小组团队

2、点击“新建项目”、输入“项目名称”、点击“确定”

3、点击新建出来的项目右上角三个点,点击“打开项目”

在项目页面,可以看到左侧有3个菜单:资源库、文件、元数据

资源库用于对工作流的管理,包括新建、删除、修改、查看工作流的信息;导出导入工作空间;调度管理等操作

文件库用于保存工作流中需要用到的文件和工作流产生的文件11488

元数据管理是数据集成的重要基石,可以为工作流定义运行配置”、“数据库”、fIik集群"等配置

本次实验主要用到资源库和文件库

4、首先获取本次的实验数据集,点击“元数据”,右键“关系数据库”,点击“同步数据源”

5、切换至“文件库”菜单,再切换回到“元数据”,可以看到成功同步的数据库”线上公共数据源”

2.4 新建转换流

本实验将创建"订单利润分流处理"转换流,实现订单数据与产品信息的关联,并根据利润正负将数据分流为盈利订单和亏损订单,分别输出到两个Excel文件。

整体逻辑:订单明细表 → 左外连接产品信息表 → 移除重复ID字段 → 按利润≥0分流 → 盈利订单/亏损订单分别输出

各组件作用:

组件

作用

表输入 (订单/产品)

读取原始数据

记录集连接

按产品ID关联两表

字段选择

移除重复的ID字段

过滤记录

根据利润正负分流

Excel输出

分别输出盈利/亏损订单

新建转换流具体操作如下:
1、切换到资源库,同样右键根目录,点击"新建转换流"

2、输入转换流名字“订单利润分流处理”,点击”确定”

3、创建成功后进入转换流设计页面,转换流设计页面每次打开都是锁定状态,需要解锁后才可编辑,点击🔒图标进行解锁

2.5 添加组件

在建立转换任务后,可添加相应操作组件到转换任务中。

下面以订单数据(business_anaylsis.order_detail)和产品信息数据(business_anaylsis.product)生成盈利订单数据和亏损订单数据为例来构建转换任务,按如下顺序向转换中添加组件

(1)添加表输入组件

本次实验需要将两类数据进行合并计算,所以需要添加2个表输入组件,读取2个不同表的数据。

1、点击“组件库”,由于组件库的组件数量较多,可以通过关键字搜索快速获取。在搜索输入框中输入“表输入”,即可查询到“表输入”组件

2、将表输入组件直接拖拽至画布中

3、拖拽两个

4、右键表输入组件,点击”编辑组件”

5、修改步骤名称为“订单_详细订单”,点击“确认”,此时画布中的对应表输入组件被命名为“订单_详细订单”

6、同理,另一表输入组件步骤名称修改为”订单_产品信息”

(2)添加记录集连接组件

使用表输入组件读取数据后,需要通过记录集连接组件将表输入组件的数据进行关联。

1、在搜索输入框中输入“记录集连接”,将记录集连接组件拖拽至画布中。

2、创建两个表输入组件到记录集连接组件的连接线

(3)添加字段选择组件

两个表数据进行连接后,会出现重复的字段 “产品 ID”。我们可以通过 “字段选择” 组件移除这个多余字段。

1、在搜索输入框中输入 “字段选择”,将字段选择组件拖拽至画布中。

2、将字段选择组件名字修改为”移除产品ID_1字段”

3、创建记录集连接组件到字段选择组件的连接线

(4)添加过滤记录组件

本次实验是根据订单的利润情况对订单进行分流。使用 “过滤记录” 组件可以根据记录中某个字段的值进行记录分流。

1、在搜索输入框中输入 “过滤记录”,将过滤记录组件拖拽至画布中。

2、创建字段选择组件到过滤记录组件的连接线,如下图:

3、在选择连接线的弹窗中点击 “主输出步骤”。由于在进行字段选择操作时,可能有记录不满足要求,导致记录被标记为错误。主输出步骤表示满足要求的记录通过该连接线传输数据

(5)添加 Excel 输出组件

记录经过 “过滤记录” 组件后会被分成 2 个记录流。我们可以根据业务需求将 2 个记录流输出到指定位置(文件、数据库表)。在本次实验中,我们选择将记录输出到 Excel 文件中。

1、在搜索输入框中输入 “excel 输出”,将 2 个表输出组件拖拽至画布中

2、2 个 excel 输出组件分别命名为 “盈利订单” 和 “亏损订单”,并创建过滤记录组件到两个 excel 输出组件的连接线,在选择连接线类型的弹窗中分别选择 “True 输出” 和 “False 输出”。

“True 输出” 表示满足过滤条件的记录输出。

“False 输出” 表示不满足过滤条件的记录输出。

至此,一个完整的转换任务流程构建完毕,如下图所示:

2.6 配置组件信息

组件添加完成后需要对其进行相应配置。

(1)表输入组件配置

1、双击 “订单_详细订单” 表输入组件,弹出组件配置页面。在数据库连接下拉框中选择已同步的 “线上公共数据源 (Readonly)”,如下图所示:

点击”获取SQL查询语句”,自动生成SQL查询语句

2、在搜索框中输入“business_anaylsis.order_detail”,点击它,之后点击”确定”

3、系统自动填写了完整的 SQL 查询语句,点击 “确认”。当自动生成的 SQL 语句无法满足业务需求时,也可以通过在文本框输入自定义 SQL 语句。表输入组件的其他配置参数保持默认即可。

4、另一个订单_产品信息表输入也参考上述配置,获取”business_anaylsis.product”的SQL查询语句

(2)记录集连接组件配置

1、双击记录集连接组件,在下拉列表中选择需要连接的数据来源

第一个 Transform 选择订单_详细订单,第二个 Transform 选择订单_产品信息,连接类型选择 LEFT OUTER

2、点击第一个 Transform 的连接字段中的 “获得连接字段” 按钮,即可获取表输入组件在订单_详细订单的查询到的字段

同样的,获取第二个 Transform 的连接字段

3、第一个 Transform 字段保留 produc_id,第二个 Transform 的字段保留 id,连接类型选择 LEFT OUTER,表示使用订单_详细订单的字段 produc_id 与订单_产品信息的字段 id 进行左外连接

第一个 Transform 字段中除了 produc_id 外的其他字段,右键点击 “删除选中的行”,第二个 Transform 字段中除了 id 外的其他字段,右键点击 “删除选中的行”

删除完后,点击 “确认”,若删除错误,可重新获取连接字段再进行删除

(3)字段选择组件配置

通过记录集连接后,我们可以发现,字段 produc_id 与字段 id 内容相同,只需要保留一个,因此,需要使用 “移除产品 ID_1 字段” 字段选择组件的移除选项移除字段 id,具体操作如下:

1、双击 “移除产品 ID_1 字段” 字段选择组件,点击 “移除”,并点击 “获取字段”

在获取的字段中选中除 “id” 字段以外的字段,右键点击 “删除选中的行”,点击”确定”

(4)过滤记录组件配置

根据业务需求需要将盈利订单和亏损订单分开存储,两个订单可以使用字段利润来区分

1、双击 “过滤记录” 组件,在弹窗中的下拉列表中选择将结果发送给不同的后续处理步骤,如下图:

2、选择字段利润(profit)来作为判断字段,选中 “profit (Number)” 后点击 “确定”

3、>=0 作为判断条件,点击 “==”,在函数中选择 “>=”,点击 “确定”;

点击 “value”,值类型选择 “Integer”,值输入 “0” 点击 “确定”

4、至此,过滤条件配置完成,点击”确定”

(5)Excel 输出组件配置

1、将接收到的结果写入到 Excel 表中,双击 “盈利订单” excel 表输出组件,在配置弹窗中,文件名修改为 “盈利订单”,选择文件拓展名 “xlsx [Excel 2007 and above]”

2、在配置弹窗中点击输出字段,在空白表格处右键点击获取字段,最后点击确认

3、同理,亏损订单也进行相应设置,这里不再赘述

2.7 执行转换任务

组件配置完成后,可执行转换任务,点击启动按钮

在弹出的窗口中点击启动

执行成功

2.8 查看执行结果和日志

任务执行过程中,会将相关操作记录到日志中,任务执行完毕后,可查看执行结果及日志,如下所示:

2.9 查看输出结果文件

点击 “文件库”,右键根目录刷新,可以看到转换任务的输出结果:盈利订单和亏损订单,可以右键下载查看

三、实验结果

产出文件:盈利订单.xlsx和亏损订单.xlsx,如下图:

具体说明:

输出文件

内容

说明

盈利订单.xlsx

profit ≥ 0 的订单

可进一步分析高利润产品

亏损订单.xlsx

profit < 0 的订单

可用于亏损原因追踪

实验成功实现了订单数据的关联与分流处理,为后续的盈利与亏损分析提供了规范的数据基础。

四、问题与解决

在实验过程中遇到了两个问题:

问题 1:首次登录实验平台发生报错,如下图:

原因:首次登录时需要使用校园网,否则会提示上述报错。

解决方法:将网络切换为校园网即可,或者与学校老师或管理员联系请求解决方案。

问题 2:Excel 输出获取不到字段

原因:未修改两个订单组件的名称。

解决方法:将两个订单组件的名称修改为“盈利订单” 和 “亏损订单”。

五、实验总结

       通过本次实验,我熟悉了助睿零代码 ETL 平台的完整操作流程,掌握了项目创建、数据源同步、转换流搭建、组件配置与执行调试的核心步骤,也熟练运用了表输入、记录集连接、字段选择、过滤记录、Excel 输出等常用组件,完成了订单明细表与产品信息表的左外连接、字段去重与利润条件分流,成功将数据按盈利 / 亏损分类输出至两个 Excel 文件,为后续订单盈利分析提供了规范的数据基础。

       相比传统 SQL 与脚本开发,助睿平台的拖拽式操作更直观,数据流路径清晰可见,大幅降低了 ETL 开发的学习门槛,便于快速理解数据流转逻辑与调试错误。本次实验不仅让我掌握了零代码数据处理的实操方法,也深化了对多表关联、条件分流等 ETL 核心思想的理解,为后续复杂数据加工任务积累了实践经验。

Logo

一站式 AI 云服务平台

更多推荐