一、实验背景

1.1 实验目的

本次实验旨在熟悉助睿零代码数据集成平台(ETL 平台)的核心功能和操作方法,具体包括:

  • 掌握新建转换、添加组件、执行转换等基本操作流程
  • 熟悉表输入、记录集连接、字段选择、过滤记录、Excel 输出等常用组件的配置方法
  • 理解多表关联、数据过滤与分流处理的 ETL 设计思路
    通过本次实验,学生能够独立使用助睿平台完成常见的数据加工任务,为后续更复杂的数据处理场景打下基础。

1.2 实验环境

  • 零代码在线实验平台:本次实验使用助睿数智(Uniplore)作为一站式数据科学平台。该平台覆盖从数据接入、ETL 处理、机器学习建模到可视化展示的全链路零代码功能,适用于数据分析教学与企业数据加工场景。产品官网为 https://www.uniplore.com/,本次实验的访问地址为https://www.guilan.cn/;
  • 数据库:MySQL;
  • 数据准备:订单表(business_anaylsis.order_detail)、产品表(business_anaylsis.product)。

1.3 业务场景

在企业经营分析中,经常需要将多张表关联起来计算利润,并按利润正负对订单进行分类存储。本实验以订单利润分流为例,通过零代码拖拽方式完成这一数据处理任务。

1.4 数据加工流程

订单明细表与产品信息表进行左外连接,移除重复字段,按利润是否大于等于零进行分流,最后分别输出盈利订单和亏损订单到两个Excel文件。

数据加工流程

二、实验步骤

2.1 登录实验平台

  • 前往实验地址https://www.guilan.cn/,点击登录跳转到登录网页https://passport.guilan.cn/

在这里插入图片描述

  • 从贵兰在线进入实验平台可以自动登录,登录成功后进入实验平台首页

在这里插入图片描述

2.2基本概念认知

助睿一站式大数据平台中的数据集成平台,通过可视化方式做数据ETL(抽取、转换、加载),核心术语说明如下:

概念 说明
Pipeline(转换) 面向数据流,处理数据的一个功能单元,由多个 Transform 组成
Workflow(作业) 面向任务,完成一件完整的事,由多个 Action 组成,必须包含开始项
Transform(步骤) 转换内的最小单元,如 “Excel 输入”、“字段选择”,每个步骤独立线程运行
Action(任务项) 作业的执行单位,如 “启动”、“发送邮件”
Hops(节点连接) 数据传输通道,连接步骤或任务项

转换工作流

作业工作流

2.3团队管理

组长可以创建该小组的团队方便团队实验作业的管理,流程如下:

  • 进入实验平台,选择数据集成,进入该页面

在这里插入图片描述

  • 点击‘团队管理’菜单,并点击‘新增团队’完成团队创建

在这里插入图片描述

  • 创建成功后,点击团队卡片右上角的‘更多’,选择‘添加成员’

在这里插入图片描述

  • 输入手机号查询组员,勾选后点击’添加‘即可完成成员配置

在这里插入图片描述

2.4创建实验项目

平台提供默认项目,可以使用默认项目进行实验,但为了方便管理,可以为课程创建专属项目,操作如下:

  • 选择项目所属团队(个人团队 / 自定义团队)

在这里插入图片描述

  • 点击‘新建项目’

在这里插入图片描述

  • 输入项目名称后点击‘确定’

在这里插入图片描述

  • 创建成功后即在数据集成页面看到新创建的项目

在这里插入图片描述

2.5同步数据源

项目创建完成后,需同步实验所需数据源,操作流程如下:

  • 点击目标项目卡片右上角的「…」按钮,在弹出菜单中选择「打开项目」,即可进入项目主页面。

在这里插入图片描述

  • 进入项目后,左侧导航栏包含三大核心功能模块,本次实验将重点使用资源库文件库

在这里插入图片描述

功能说明如下:

模块 核心功能说明
资源库 工作流的全流程管理中心,支持工作流的新建 / 编辑 / 删除 / 信息查看、工作空间的导入导出、任务调度管理等操作。
文件库 统一文件存储容器,用于存放工作流运行依赖的源文件,以及工作流执行后生成的结果文件。
元数据管理 数据集成的底层配置基石,可对工作流依赖的运行环境进行配置,包括运行参数、数据库连接、Flink 集群信息等。
  • 首先获取本次的实验数据集:点击‘源数据’,右键‘关系数据库’,点击‘同步数据源’

在这里插入图片描述

  • 切换‘文件库’菜单再切换回到元数据,已经成功同步的数据库‘线上公告数据源’

在这里插入图片描述

2.6新建转换流

本实验将构建 「订单利润分流处理」转换流,实现订单数据与产品信息的关联整合;并根据订单利润的正负属性,将数据分流为 “盈利订单” 与 “亏损订单” 两类,最终分别输出至两个独立的 Excel 文件。

核心处理流程在这里插入图片描述
组件功能说明

组件名称 功能说明
表输入(订单 / 产品) 读取订单明细表、产品信息表的原始业务数据
记录集连接 以产品 ID 为关联键,对订单明细表与产品信息表执行左外连接,实现数据关联
字段选择 移除连接后重复的 ID 字段,完成数据清洗与字段规整
过滤记录 基于利润正负条件,将数据分流为两类:盈利订单(利润≥0)、亏损订单(利润 < 0)
Excel 输出 将分流后的盈利订单、亏损订单数据,分别写入独立的 Excel 文件

转换流创建操作步骤

  • 切换至「资源库」模块,右键点击根目录,选择「新建转换流」,完成转换流的初始化创建。

在这里插入图片描述

  • 输入转换流名字 ‘订单利润分流处理’,点击‘确定’

在这里插入图片描述

  • 创建成功后进入转换流设计页面

在这里插入图片描述

  • 转换流设计页面每次打开都是锁定状态,需要解锁后才可编辑转换流,点击图标进行解锁

在这里插入图片描述

2.7添加组件

在建立转换任务后,可添加相应操作组件到转换任务中
下面以订单数据(business_anaylsis.order_detail)和产品信息数据
(business_anaylsis.product)生成盈利订单数据和亏损订单数据为例来构建转换任
务,按如下顺序向转换中添加组件:

2.7.1添加表输入组件

本次实验需要将两类数据进行合并计算,所以需要添加2个表输入组件,读取2个不同表的数据。

  • 点击“组件库”,由于组件库的组件数量较多,可以通过关键字搜索快速获取
  • 在搜索输入框中输入“表输入”,即可查询到”表输入”组件

在这里插入图片描述

  • 拖拽表输入组件至画布中

在这里插入图片描述

  • 再次拖拽表输入组件拖拽至画布中,即拖拽2个表输入组件至画布中

在这里插入图片描述

  • 右键表输入组件,点击“编辑组件”

在这里插入图片描述

  • 修改步骤名称中为订单_详细订单,点击“确认”,此时画布中的对应表输入组件被命名为“订单__详细订单”

在这里插入图片描述

  • 同样的,另一表输入组件修改为订单__产品信息

在这里插入图片描述

2.7.2添加记录集连接组件

使用表输入组件读取数据后,需要通过记录集连接组件将表输入组件的数据进行关
联。

  • 在搜索输入框中输入“记录集连接”,将记录集连接组件拖拽至画布中

在这里插入图片描述

  • 创建两个表输入组件到记录集连接组件的连接线

在这里插入图片描述

2.7.3添加字段选择组件

两个表数据进行连接后,会出现重复的字段”产品ID”。我们可以通过”字段选择”组件移除这个多余字段。

  • 在搜索输入框中输入“字段选择”,将字段选择组件拖拽至画布中

在这里插入图片描述

  • 将字段选择组件名字修改为”移除产品ID_1字段”

在这里插入图片描述

  • 创建记录集连接组件到字段选择组件的连接线

在这里插入图片描述

2.7.4添加过滤记录组件

本次实验是根据订单的利润情况对订单进行分流。使用“过滤记录”组件可以根据记录中某个字段的值进行记录分流。

  • 在搜索输入框中输入“过滤记录”,拖拽过滤组件至画布中

在这里插入图片描述

  • 创建字段选择组件到过滤记录组件的连接线

在这里插入图片描述

  • 在选择连接线的弹窗中点击“主输出步骤”。由于在进行字段选择操作时,可能有记录不满足要求,导致记录被标记为错误。主输出步骤表示满足要求的记录通过该连接线传输数据。

在这里插入图片描述

2.7.5添加excel输出组件

记录经过“过滤记录”组件后会被分成2个记录流。我们可以根据业务需求将2个记录流输出到指定位置(文件、数据库表)。在本次实验中,我们选择将记录输出到Excel文件中。

  • 在搜索输入框中输入"excel输出”,将2个表输出组件拖拽至画布中

在这里插入图片描述

  • 2个excel输出组件分别命名为”盈利订单”和”亏损订单”,并创建过滤记录组件到两个excel输出组件的连接线,在选择连接线类型的弹窗中分别选择”True输出”和”False输出”

“True输出”表示满足过滤条件的记录输出。

“False输出”表示不满足过滤条件的记录输出。

在这里插入图片描述
在这里插入图片描述

  • 至此,一个完整的转换任务流程构建完毕

在这里插入图片描述

2.8配置组件信息

组件添加完成后需要对其进行相应配置。

2.8.1表输入组件配置
  • 双击订单_详细订单表输入组件,弹出组件配置页面。在数据库连接下拉框中选择已同步的”线上公共数据源(Readonly)

在这里插入图片描述

  • 点击“获取SQL查询语句”,自动生成SQL查询语句。

在这里插入图片描述

  • 下滑找到"business_anaylsis.order,再点击”确定”

在这里插入图片描述

  • 在系统提示弹窗中点击“确认”

在这里插入图片描述

  • 系统自动填写了完整的SQL查询语句,点击“确认”。当自动生成的SQL语句无法满足业务需求时,也可以通过在文本框输入自定义SQL语句。表输入组件的其他配置参数保持默认即可

在这里插入图片描述

  • 另一个订单_产品信息表输入也参考上述配置,获取”business_anaylsis.product”的SQL查询语句

在这里插入图片描述

2.8.2记录集连接组件配置
  • 双击记录集连接组件,在下拉列表中选择需要连接的数据来源

  • 第一个Transform选择订单_详细订单,第二个Transform选择订单_产品信息,连接类型选择LEFT OUTER

在这里插入图片描述

  • 点击第一个Transform的连接字段中的”获得连接字段”按钮,即可获取表输入组件在订单_详细订单的查询到的字段

在这里插入图片描述

  • 同样的,获取第二个Transform的连接字段

在这里插入图片描述

  • 第一个Transform字段保留produc_id,第二个Transform的字段保留id,连接类型选择LEFTOUTER,表示使用订单_详细订单的字段produc_id与订单产品信息的字段id进行左外连接

  • 第一个Transform字段中除了produc_id外的其他字段,右键点击“删除选中的行”

在这里插入图片描述

  • 第一个Transform字段中除了id外的其他字段,右键点击”删除选中的行”

在这里插入图片描述

2.8.3字段选择组件配置

通过记录集连接后,我们可以发现,字段produc_id与字段id内容相同,只需要保留一个,因此,需要使用”移除产品ID_1字段”字段选择组件的移除选项移除字段id,具体操作如下:

  • 双击”移除产品ID_1字段”字段选择组件,点击“移除”,。并点击“获取字段”

在这里插入图片描述

  • 在获取的字段中选中除”id”字段以外的字段,右键点击“删除选中的行”

在这里插入图片描述

在这里插入图片描述

  • 点击确认

在这里插入图片描述

2.8.4过滤记录组件配置

根据业务需求需要将盈利订单和亏损订单分开存储,两个订单可以使用字段利润来区分

  • 双击“过滤记录”组件,在弹窗中的下拉列表中选择将结果发送给不同的后续处理步骤

在这里插入图片描述

  • 选择字段**利润(profit)**来作为判断字段,选中”profit(Number)”后点击”确定”

在这里插入图片描述

  • 选择 >= 作为判断条件,点击‘=’,点击确定

在这里插入图片描述

  • 点击‘value’,值类型选择‘Integer’,值输入‘0’,点击确定

在这里插入图片描述

  • 过滤条件已配置完成,点击‘确定’
    在这里插入图片描述
2.8.5Excel输出组件配置
  • 将接收到的结果写入到Excel表中,双击”盈利订单”excel表输出组件,在配置弹窗中,文件名修改为”盈利订单”,选择文件拓展名”xlsx[Excel2007andabove]”

在这里插入图片描述

  • 在配置弹窗中点击“输出字段”,在空白表格处右键点击“获取字段”

在这里插入图片描述

  • 字段获取后,点击‘确认’

在这里插入图片描述

  • ‘亏损订单’的excel组件也进行同样的设置

在这里插入图片描述

2.9 执行转换

  • 组件配置完成后,可执行转换任务,点击启动按钮

在这里插入图片描述

  • 在弹出的窗口中点击‘启动’

在这里插入图片描述

  • 执行成功

在这里插入图片描述

2.10查看执行日志

任务执行过程中,会将相关操作记录到日志中,任务执行完毕后,可查看执行结果及日志

在这里插入图片描述

2.11查看结果

  • 点击”文件库”,右键根目录刷新,可以看到转换任务的输出结果:盈利订单和亏损订单,可以右键下载查看

在这里插入图片描述

在这里插入图片描述

三、实验结果

输出文件 内容 说明
盈利订单.xlsx profit ≥ 0 的订单 可进一步分析高利润产品
亏损订单.xlsx profit < 0 的订单 可用于亏损原因追踪

实验成功实现了订单数据的关联与分流处理,为后续的盈利分析提供了规范的数据基础。

在这里插入图片描述
在这里插入图片描述

四、问题与解决

4.1Excel输出组件因文件名相同导致执行报错

解决方法:配置完两个Excel输出组件后执行转换,系统报错。检查发现两个组件的默认输出文件名都是”file”,没
有修改。两个输出步骤使用了相同的文件名,导致平台无法区分。将盈利订单和亏损订单的“文件名”分别修改为”盈
利订单”和”亏损订单”后,重新执行正确。

4.2找不到组件连接线

解决方法:当需要连接两个组件却找不到连接线入口时,可将鼠标悬停在源组件的边缘位置,待光标变为十字形连接标识后,按住鼠标左键拖动至目标组件,松开即可完成组件间的连接。

五、实验总结

本次助睿零代码 ETL 平台订单利润分流数据加工实验,完整完成了从数据源同步、转换流搭建、组件配置到数据分流输出的全流程实操,达成了预设实验目标。

  1. 熟练掌握平台核心操作:可独立完成转换流新建、组件拖拽添加、组件连线、参数配置、转换执行、结果查看与下载等基础操作,熟悉表输入、记录集连接、字段选择、过滤记录、Excel 输出等常用组件的功能与配置方法。
  2. 理解 ETL 数据加工逻辑:掌握多表左外连接、重复字段清洗移除、按业务条件(利润正负)数据分流、结果文件分类输出的完整数据处理思路,理解零代码数据集成的核心流程。
  3. 提升实操问题解决能力:成功解决Excel 输出文件名重复报错找不到组件连接线两类实操问题。
  4. 完成实验业务目标:实现订单表与产品表的数据关联,按利润条件完成数据分流,成功输出盈利订单.xlsx亏损订单.xlsx两个结果文件。
Logo

一站式 AI 云服务平台

更多推荐