助睿实验作业1-订单利润分流数据加工

1. 实验背景

1.1实验目的

本次实验的主要目标是认识并掌握助睿零代码数据集成平台(ETL 平台)的基本功能与操作流程,具体涵盖以下方面:

1.学习如何创建转换、向画布添加组件以及启动转换等基础操作

2.了解表输入、记录集连接、字段选择、过滤记录、Excel 输出等常用组件的配置技巧

3.理解多表关联、数据筛选与分流处理的 ETL 设计模式

完成本实验后,能够独立借助助睿平台处理常见的数据加工需求,为后续应对更复杂的数据处理任务奠定基础。

1.2实验环境

助睿零代码在线实验平台:https://lab.guilian.cn/

本次实验基于助睿数智(Uniplore)平台,这是一款 AI 驱动的一站式数据科学工具。平台覆盖数据接入、ETL 处理、机器学习建模到可视化展示的完整链路,全部以零代码方式操作,适合数据分析教学及企业数据加工场景。产品官网:https://www.uniplore.com/

数据库:MySQL(包含订单数据表与产品信息表)

数据准备:订单表(business_anaylsis.order_detail)与产品表(business_anaylsis.product)

1.3简要处理流程

将订单明细表与产品信息表做左外连接,去除重复字段,依据利润是否 ≥ 0 进行分流,最终将盈利订单和亏损订单分别写入两个 Excel 文件。流程如下图所示:

2. 实验步骤

2.1新建项目

2.2 打开项目并同步数据源

2.3新建转换流

本次实验将新建一条名为“订单利润分流处理”的转换流,实现对订单数据与产品信息的关联,并依据利润的正负将数据分流为盈利订单与亏损订单,分别导出至两个 Excel 文件。

整体逻辑:订单明细表 → 左外连接产品信息表 → 删除重复 ID 字段 → 按利润 ≥ 0 分流 → 盈利订单 / 亏损订单分别输出。

2.4添加组件

(1)添加表输入组件

在组件库中搜索所需组件,直接拖入画布即可。由于需要连接两张表,因此要添加两个表输入组件。

双击组件可进入编辑界面,配置组件信息。

(2)添加记录集连接组件

加入记录集连接组件,用于将两张表进行关联。将两个表输入组件分别与记录集连接组件相连,操作方式同样是拖拽连线。

(3)添加字段选择组件

两表连接后会产成重复的“产品 ID”字段,可以通过“字段选择”组件将其移除。

在搜索框中输入“字段选择”,将对应组件拖入画布。

(4)添加过滤记录组件

本实验需要根据订单的盈利情况对数据进行分流,“过滤记录”组件能够依据指定字段的值将记录划分到不同分支。

在搜索框中输入“过滤记录”,将该组件拖入画布。

将字段选择组件与过滤记录组件连接时,选择主输出步骤。

(5)添加 excel 输出组件

数据流经“过滤记录”组件后会被拆分为两条记录流。根据实际需求,可将这两条记录流输出至指定位置(如文件或数据库表)。本次实验选择将结果写入 Excel 文件。

在搜索框中输入“excel 输出”,将两个 Excel 输出组件拖入画布。

至此,转换任务的流程框架已搭建完成。但目前仅为结构框架,内部的业务逻辑尚未设定,接下来需要为各组件逐一配置参数。

2.5. 配置组件信息

(1)表输入组件配置

双击“订单_详细订单”表输入组件,弹出配置窗口。在数据库连接下拉列表中选择已同步的“线上公共数据源(Readonly)”。

两个表的操作方式一致,区别在于第一个选择表“business_anaylsis.order_detail”,第二个选择表“business_anaylsis.product”。

(2)记录集连接组件配置

双击记录集连接组件,从下拉列表中选取要连接的数据来源。

第一个 Transform 选择“订单_详细订单”,第二个 Transform 选择“订单_产品信息”,连接类型设为 LEFT OUTER。

第一个Transform字段保留 produc_id,第二个Transform的字段保留 id,连接类型选择LEFT OUTER,表示使用订单_详细订单的字段 produc_id 与订单_产品信息的字段 id 进行左外连接。

第一个Transform字段中除了 produc_id 外的其他字段,右键点击“删除选中的行”,第一个Transform字段中除了id 外的其他字段,右键点击“删除选中的行”。

(3)字段选择组件配置

连接完成后可以发现,字段 produc_id 与字段 id 的内容完全一致,只需保留其中之一。因此通过“移除产品ID_1字段”字段选择组件的移除功能删除字段 id,具体步骤如下:

双击“移除产品ID_1字段”字段选择组件,点击“移除”,然后点击“获取字段”。

(4)过滤记录组件配置

出于业务需要,应将盈利订单与亏损订单分开存放,可通过“利润”字段进行区分。

双击“过滤记录”组件,在弹出的配置窗口中设定将结果分别发送到不同的后续步骤。

(5)Excel 输出组件配置

将分流后的结果输出为 Excel 文件:双击“盈利订单”Excel 输出组件,在配置弹窗中将文件名设为“盈利订单”,文件扩展名选择“xlsx [Excel 2007 and above]”。亏损订单同理设置。

(6)执行转换

全部组件配置完毕后,点击启动按钮执行转换任务。

转换结果:

3. 实验结果

盈利订单:

亏损订单:

4. 问题与解决

在最后一步导出 Excel 时,因未对两张输出表格分别命名,两张表均使用了默认文件名“file”,从而导致导出失败。

为两张表格分别指定名称后,重新执行转换流,导出成功。

5. 实验总结

通过本次实验,掌握了助睿零代码 ETL 平台的基本使用方法,包括创建转换流、配置表输入、记录集连接、字段选择、过滤记录及 Excel 输出等常用组件。在实际操作中,体会到了细节配置(如文件命名)对任务成功执行的重要性。总体而言,本次实验让我对零代码数据处理工具有了更直观的认识,为后续学习更复杂的数据集成与分析任务打下了基础。

Logo

一站式 AI 云服务平台

更多推荐