一.实验背景

1.1 实验目的

本次实验旨在熟悉助睿零代码数据集成平台（ETL平台）的核心功能和操作方法，具体包括：

掌握新建转换、添加组件、执行转换等基本操作流程

熟悉表输入、记录集连接、字段选择、过滤记录、Excel输出等常用组件的配置方法

理解多表关联、数据过滤与分流处理的ETL设计思路

通过本次实验，学生能够独立使用助睿平台完成常见的数据加工任务，为后续更复杂的数据处理场景打下基础。

1.2 实验环境

助容零代码在线实验平台：https://lab.guilian.cn/

本次实验使用助睿数智（Uniplore）是AI驱动的一站式数据科学平台。该平台覆盖从数据接入、ETL处理、机器学习建模到可视化展示的全链路零代码功能，适用于数据分析教学与企业数据加工场景。产品官网为https://www.uniplore.com/

数据库：MySQL（含订单数据和产品信息表）

数据准备：订单表（business_anaylsis.order_detail）、产品表（business_anaylsis.product）

1.3 业务场景

在企业经营分析中，经常需要将多张表关联起来计算利润，并按利润正负对订单进行分类存储。本实验以订单利润分流为例，通过零代码拖拽方式完成这一数据处理任务。

1.4 数据加工流程

本次ETL转换的核心逻辑是：两表关联 → 去重 → 分流 → 分别导出。

具体流程如下：

读取数据：使用两个“表输入”组件，分别读取数据库中的订单详情表和产品信息表。

关联表：通过“记录集连接”组件，以product_id（订单表）和id（产品表）为连接字段，进行左外连接（LEFT OUTER JOIN），将产品名称、利润等信息合并到订单数据中。

字段清理：连接后会产生product_id和id两个重复字段，使用“字段选择”组件移除多余的id字段。

数据分流：利用“过滤记录”组件，根据profit（利润）字段的值进行判断：

条件：profit ≥ 0 → 输出到“盈利订单”分支。

条件：profit < 0 → 输出到“亏损订单”分支。

结果输出：将两个分支的数据分别通过“Excel输出”组件，保存为盈利订单.xlsx和亏损订单.xlsx文件，存放在项目的文件库中。

实验内容：

1.创建实验项目

平台提供默认项目，可以使用默认项目进行实验，但为了方便管理，可以为课程创建专属项目。

选择创建的项目所属团队为 “商业数据分析小组”（也可以是个人）。

点击 “新建项目”

输入项目名称后点击 “确定”

创建成功后即可在数据集成页面看到新创建的项目

2.数据资源获取

项目创建成功后点击该项目右上角 “..”，点击 “打开项目”

在项目页面，可以看到左侧有 3 个菜单：资源库、文件、元数据

资源库用于对工作流的管理，包括新建、删除、修改、查看工作流的信息；导出导入工作空间；调度管理等操作

文件库用于保存工作流中需要用到的文件和工作流产生的文件

元数据管理是数据集成的重要基石，可以为工作流定义 “运行配置”、“数据库”、“flink 集群” 等配置

本次实验主要用到资源库和文件库

首先获取本次的实验数据集：点击 “元数据”，右键根 “关系数据库”，点击 “同步数据源”

切换 “文件库” 菜单再切换回到元数据，可以看到成功同步的数据库 “线上公共数据源 (Readonly)”

3.新建转换流

本次实验将创建 “订单利润分流处理” 转换流，实现订单数据与产品信息的关联转换，并根据利润正负将数据分为盈利订单和亏损订单，分别输出到两个 Excel 文件。

整体逻辑：订单明细表 → 左外连接产品信息表 → 移除重复 ID 字段 → 按利润 0 分流 → 盈利订单 / 亏损订单分别输出

各组件作用：

• 表输入（订单 / 产品）
• 记录集连接
• 字段选择
• 过滤记录
• Excel 输出

新建转换流具体操作如下：切换到资源库，同样右键根目录，点击 “新建转换流”

输入转换流名字 “订单利润分流处理”，点击 “确定”

创建成功后进入转换流设计页面

转换流设计页面每次打开都是锁定状态，需要解锁后才可编辑转换流，点击��图标进行解锁

4.组件

下面以订单数据（business_analysis.order_detail）和产品信息数据（business_analysis.product）生成盈利订单数据和亏损订单数据为例来构建转换任务

（1）添加表输入组件

本次实验需要将两类数据进行合并计算，所以需要添加 2 个表输入组件，读取 2 个不同表的数据。点击 “组件库”，由于组件库的组件数量较多，可以通过关键字搜索快速获取在搜索输入框中输入 “表输入”，即可查询到表输入组件

将表输入组件拖拽至画布中

再次拖拽表输入组件拖拽至画布中，即拖拽 2 个表输入组件至画布中

右键表输入组件，点击 “编辑组件”

修改步骤名称为 “订单 - 详细订单”，点击确认，此时画布中的对应表输入组件被命名为 “订单 - 详细订单”同样的，另一表输入组件修改为 “订单 - 产品信息”

双击订单_详细订单表输入组件，弹出组件配置页面。在数据库连接下拉框中选择已同步的 “线上公共数据源 (Readonly)”。

点击 “获取 SQL 查询语句”，自动生成 SQL 查询语句。

点开 “线上公共数据源 (Readonly)”-“表” 目录，下滑找到business_anaylsis.order_detail并点击它，再点击 “确定”。

在系统提示弹窗中点击 “确认”。

系统自动填写了完整的 SQL 查询语句，点击 “确认”。当自动生成的 SQL 语句无法满足业务需求时，也可以通过在文本框输入自定义 SQL 语句。表输入组件的其他配置参数保持默认即可。

另一个订单_产品信息表输入也参考上述配置，获取business_anaylsis.product的 SQL 查询语句。

记录集连接组件

使用表输入组件读取数据后，需要通过记录集连接组件将表输入组件的数据进行关联。在搜索输入框中输入 “记录集连接”，将记录集连接组件拖拽至画布中

创建两个表输入组件到记录集连接组件的连接线

在建立连接线时，会出现 “排序需要” 的提示。这是由于记录集连接组件是按接收数据的顺序进行记录关联的，如果连接接收数据是无序的，可能会造成记录连接结果出错。双击记录集连接组件，在下拉列表中选择需要连接的数据来源：

• 第一个 Transform 选择订单_详细订单
• 第二个 Transform 选择订单_产品信息
• 连接类型选择LEFT OUTER

点击第一个 Transform 的连接字段中的 “获得连接字段” 按钮，即可获取表输入组件在订单详细订单的查询到的字段。

同样的，获取第二个 Transform 的连接字段。

第一个 Transform 字段保留produc_id，第二个 Transform 的字段保留id，连接类型选择LEFT OUTER，表示使用订单_详细订单的字段produc_id与订单_产品信息的字段id进行左外连接。

第一个 Transform 字段中除了produc_id外的其他字段，右键点击 “删除选中的行”；第二个 Transform 字段中除了id外的其他字段，右键点击 “删除选中的行”。

删除完后，点击 “确认”，若删除错误，可重新获取连接字段再进行删除。

3）添加字段选择组件

两个表数据进行连接后，会出现重复的字段（如产品 ID），我们可以通过 “字段选择” 组件移除这个多余字段。在搜索输入框中输入 “字段选择”，将字段选择组件拖拽至画布中

将字段选择组件名字修改为 “移除产品 ID 字段”

创建记录集连接组件到字段选择组件的连接线通过记录集连接后，字段produc_id与字段id内容相同，只需要保留一个，因此，需要使用 “移除产品 ID-1 字段” 字段选择组件的移除选项移除字段id，具体操作如下：

双击 “移除产品 ID-1 字段” 字段选择组件，点击 “移除”，并点击 “获取字段”。

在获取的字段中选中除id字段以外的字段，右键点击 “删除选中的行”。

可以看到，字段id已被删除，点击 “确认”。

4）添加过滤记录组件

本次实验是根据订单的利润情况对订单进行分流。使用 “过滤记录” 组件可以根据记录中某个字段的值进行记录分流。在搜索输入框中输入 “过滤记录”，将过滤记录组件拖拽至画布中

创建字段选择组件到过滤记录组件的连接线

在选择连接线的弹窗中点击 “主输出步骤”由于在进行字段选择操作时，可能有记录不满足要求导致数据被通过该连接线（主输出步骤）表示不满足要求的记录通过该连接线输出数据。根据业务需求需要将盈利订单和亏损订单分开存储，两个订单可以使用字段利润来区分。双击 “过滤记录” 组件，在的弹窗中，下拉列表中选择将结果发送给不同的后续处理步骤。

选择字段利润（profit）来作为判断字段，选中 “profit(Number)” 后点击 “确定”。

>=0作为判断条件，点击 “-”，在函数中选择 “>=”，点击 “确定”。

点击 “Value”，值类型选择 “Integer”，值输入 “0” 点击 “确定”。

至此，过滤条件已配置完成，点击 “确认”。

（5）添加 Excel 输出组件

记录经过 “过滤记录” 组件后会被分成 2 个记录流。我们可以根据业务需求将 2 个记录流输出到指定位置（文件 / 数据库表）。在本次实验中，我们将 2 个记录流输出到 Excel 文件中。在搜索输入框中输入 “Excel 输出”，将 2 个表输出组件拖拽至画布中

2 个 Excel 输出组件分别命名为 “盈利订单” 和 “亏损订单”将 “过滤记录” 组件分别连接到两个 Excel 输出组件中，此时在创建的线的选择中，分别选择 “true 输出” 和 “false 输出”，true 输出表示满足过滤条件的记录输出，false 输出表示不满足过滤条件的记录输出

将接收到的结果写入到 Excel 表中：双击 “盈利订单” Excel 表输出组件，在配置弹窗中，文件名修改为 “盈利订单”，选择文件扩展名.xlsx。

在配置弹窗中点击 “输出字段”，在空白表格处右键点击 “获取字段”。

字段获取后，点击 “确认”。

“亏损订单” 的 Excel 组件也进行同样的设置。

执行转换任务：组件配置完成后，可执行转换任务：

1. 点击画布上方的启动按钮（播放图标）。
2. 在弹出的 “执行转换” 窗口中，直接点击启动即可（保持默认配置）。

等待任务执行，画布上的组件会依次高亮，执行完成后显示成功状态。

5.查看执行结果和日志：任务执行过程中，平台会自动记录操作日志，执行完成后可通过以下方式查看详情·  日志面板：在界面下方的 “日志” 标签页中，可以看到完整的执行过程信息，包括每个组件的启动、结束时间和数据处理记录。

 步骤度量：在 “步骤度量” 标签页中，能直观看到每个组件的输入 / 输出记录数、执行时长、状态等关键指标，方便排查性能问题。

1. 查看输出结果文件

任务执行成功后，生成的 Excel 文件会保存在项目的文件库中：

点击左侧导航栏的文件库，右键根目录选择 “刷新”。

可以看到本次任务生成的两个文件：盈利订单.xlsx 和 亏损订单.xlsx。

右键目标文件，选择 “下载” 即可保存到本地查看。

1.盈利订单

2.亏损订单

问题与解决

问题1：Excel输出获取不到字段

现象：配置Excel输出组件时，点击“获取字段”按钮没有反应。

原因：过滤记录组件到Excel输出组件的连接线类型选错了。盈利订单应连接“True输出”（满足条件），亏损订单应连接“False输出”（不满足条件）。

解决方法：删除错误的连接线，重新建立连接，并正确选择对应的输出类型（True/False），之后“获取字段”恢复正常。

问题2：Excel输出组件因文件名相同导致执行报错

现象：配置完两个Excel输出组件后执行转换，系统报错。

原因：两个组件的默认输出文件名都是“file”，没有修改。两个输出步骤使用了相同的文件名，导致平台无法区分不同的输出目标。

解决方法：将“盈利订单”和“亏损订单”两个Excel输出组件的“文件名”参数分别修改为“盈利订单”和“亏损订单”，然后重新执行转换，任务成功。

实验总结：

通过本次“助睿ETL入门实验”，我成功完成了从数据库读取多表数据、进行关联转换、按条件分流并输出到不同文件的全流程操作。

主要收获如下：

掌握了Uniplore平台ETL基础操作：熟练使用了“表输入”、“记录集连接”、“字段选择”、“过滤记录”、“Excel输出”五个核心组件，理解了从数据源到目标输出的完整转换流构建方法。

理解了数据分流处理的实现逻辑：学会了利用“过滤记录”组件对数据流进行条件分支处理，这是实现复杂业务规则（如正负订单分离、异常数据剔除）的关键技术。

提升了问题排查能力：实验中遇到了“Excel输出获取不到字段”和“同名文件导致执行报错”两个真实问题。通过检查组件连接线类型、修改不同输出文件名解决了问题，加深了对组件间数据流向和平台执行机制的理解。

本次实验为后续更复杂的数据清洗、转换及数据分析任务打下了良好的实践基础。