一、 实验背景

1.1 实验目的

本次实验旨在熟悉助睿 Uniplore 零代码 ETL 平台核心功能及操作流程，掌握转换创建、组件配置、任务执行与结果查看的完整操作；熟练运用常用 ETL 组件，理解多表关联、数据清洗及条件分流的设计思路，掌握零代码实现订单数据关联与利润分类输出的流程；培养数据加工实操能力，能独立完成基础 ETL 任务，为后续复杂数据分析与数据治理奠定实践基础。

1.2 实验环境

1. 实验平台：助睿Uniplore零代码在线实验平台，该平台为AI驱动的一站式数据科学平台，覆盖数据接入、ETL处理、机器学习建模到可视化展示的全链路零代码功能，适用于数据分析教学场景。

2. 数据库：MySQL数据库，提供实验所需的业务数据支持。

3. 数据准备：订单明细表（business_anaylsis.order_detail）和产品信息表（business_anaylsis.product）

1.3 业务场景

企业经营中订单与产品数据分表存放，通过 ETL 实现两表关联、利润核算，并按盈亏进行数据分流，为经营分析与决策提供数据支撑。

1.4 数据加工流程

读取订单表与产品表，按产品 ID 左外连接，移除重复字段后按利润≥0 分流，最终分别输出盈利与亏损订单数据。

• 二、 实验步骤

2.1 登录实验平台

登录贵兰在线平台，并从我的学习界面里进入实训平台

2.2 基本概念了解

概念	说明
Pipeline（转换）	面向数据流，处理数据的一个功能单元，由多个Transform组成
Workflow（作业）	面向任务，完成一件完整的事，由多个Action组成，必须包含开始项
Transform（步骤）	转换内的最小单元，如"Excel输入"、“字段选择”，每个步骤独立线程运行
Action（任务项）	作业的执行单位，如“启动”，“发送邮件”
Hops（节点连接）	数据传输通道，连接步骤或任务项

 

2.3 团队管理

小组的组长可以创建该小组的团队方便团队实验作业的管理

1. 进入实验平台后，选择数据集成/ETL，进入数据集成页面
2. 点击“团队管理”菜单，并点击“新增团队”
3. 在弹出的窗口中团队名称和团队描述，点击“确认”
4. 创建成功后，点击团队卡片右上角的“更多”，选择“添加成员”
5. 输入手机号查询组员，勾选后点击“添加”即可

2.4 创建实验项目

在数据集成页面，可以使用默认项目进行实验，或者为课程创建专属项目。

创建成功后即可在数据集成页面看见新建的项目

2.5 同步数据源

打开新建的项目，在项目页面，可以看到左侧有3个菜单：资源库、文件、元数据。

资源库：用于对工作流的管理，包括新建、删除、修改、查看工作流的信息；导出导入工作空间；调度管理等操作

文件库：用于保存工作流中需要用到的文件和工作流产生的文件

元数据管理：是数据集成的重要基石，可以为工作流定义“运行配置”、“数据库”、“flink集群”等配置

首先获取本次的实验数据集：点击“元数据”，右键根“关系数据库”，点击“同步数据源”

切换“文件库”菜单再切换回到元数据，可以看到成功同步的数据库“线上公共数据源(Readonly)”

2.6 新建转换流

在资源库界面右键根目录创建“订单利润分流处理”转换流，整体逻辑为订单明细表 → 左外连接产品信息表 → 移除重复ID字段 → 按利润≥0分流 → 盈利订单/亏损订单分别输出

每次进入转换流设计页面都需要点击解锁才能够进行编辑。

2.7 添加组件

以订单数据（business_anaylsis.order_detail）和产品信息数据（business_anaylsis.product）生成盈利订单数据和亏损订单数据为例来构建转换任务，向转换中添加组件。

实验需要将两类数据进行合并计算，所以需要添加2个表输入组件，读取2个不同表的数据。

1. 添加表输入组件

点击“组件库”， 在搜索输入框中输入“表输入”，即可查询到“表输入”组件并拖入到画布中。

右键编辑组件，分别修改步骤名称中为订单_详细订单和订单_产品信息，点击“确认”。

2. 添加记录集连接组件

创建两个表输入组件到记录集连接组件的连接线

在建立连接线时，会出现“排序需要”的提示。这是由于记录集连接组件是按接收数据的顺序进行记录关联的，如果接收的数据是无序的，可能会造成记录连接结果出错。

3. 添加字段选择组件

修改字段选择组件名字为“移除产品ID_1字段”，并创建记录集连接组件到字段选择组件的连接线。

4. 添加过滤记录组件

创建字段选择组件到过滤记录组件的连接线，在选择连接线的弹窗中点击“主输出步骤”。由于在进行字段选择操作时，可能有记录不满足要求，导致记录被标记为错误。主输出步骤表示满足要求的记录通过该连接线传输数据。

5. 添加 excel 输出组件

修改两个excel输出组件步骤名称为“盈利订单“和”亏损订单“，并创建过滤记录组件到excel输出的连接，在“盈利订单”连线类型弹窗选择“True输出”，表示满足过滤条件的输出‘在“亏损订单”连线类型弹窗选择“False输出”表示不满足过滤条件的输出。

2.8 配置组件信息

1. 表输入组件配置

双击订单_详细订单表输入组件，弹出组件配置页面。在数据库连接下拉框中选择已同步的“线上公共数据源(Readonly)”

点击“获取SQL查询语句”，自动生成SQL查询语句。点开“线上公共数据源(Readonly)”-“表”目录，找到“business_anaylsis.order_detail”并点击它，再点击“确定”

同样的，订单_产品信息表输入也参考上述配置，获取“business_anaylsis.product”的SQL查询语句。

2. 记录集连接组件配置

双击记录集连接组件，在下拉列表中选择需要连接的数据来源

第一个Transform选择订单_详细订单，第二个Transform选择订单_产品信息，连接类型选择LEFT OUTER

点击Transform中的获得连接字段，第一个Transform仅保留product_id其余的行全部右键删除，第二个Transform仅保留id，其余的行全部删除。

3. 字段选择组件配置

记录集连接后，字段product_id与字段id内容相同，只需要保留一个，需要使用“移除产品ID_1字段”字段选择组件的移除选项移除字段 id。

双击“移除产品ID_1字段”字段选择组件，点击“移除”，并点击“获取字段”

点击“获取字段“后，删除除id字段以外的行后点击“确认”。

4. 过滤记录组件配置

设置过滤条件，将盈利订单和亏损订单分开存储，双击“过滤记录”组件，选择利润>=0作为判断字段。

5. Excel 输出组件配置

将接收到的结果写入到Excel表中，双击“盈利订单”excel表输出组件，在配置弹窗中，文件名修改为“盈利订单”，选择文件拓展名“xlsx [Excel 2007 and above]”

点击“输出字段”并在界面空白处右键点击“获取字段”。

亏损订单组件将文件名设置为“亏损订单”然后进行同样的配置。

5. 执行转换

点击启动按钮。

继续确认启动。

成功执行

6. 查看执行日志

任务执行过程中，会将相关操作记录到日志中，任务执行完毕后，可查看执行结果及日志。

7. 查看结果

点击“文件库”，即可查看转换任务的输出结果，可以下载查看。

三、 实验结果

输出文件	内容	说明
盈利订单.xlsx	Profit>=0	高利润产品
亏损订单.xlsx	Profi<0	亏损产品

四、  核心组件说明

组件	作用	配置要点
表输入	读取数据库表	配置数据源和SQL
记录集连接	多表关联	选择连接类型和连接字段
字段选择	字段筛选与重命名	移除重复id字段
过滤记录	按条件分流	设置profit>=0
Excel输出	导出结果	配置文件名和输出字段