一、实验背景

1.1 实验目的

熟悉助睿零代码 ETL 平台核心操作,掌握数据接入、多表关联、字段筛选、数据过滤与文件导出流程,理解 ETL 数据处理逻辑,可独立完成常规数据加工任务。

1.2 实验环境

平台:助睿数智(Uniplore)零代码平台,实验入口:https://lab.guilian.cn/

数据库:MySQL(含订单、产品数据)

数据源:business_anaylsis.order_detail(订单表)、business_anaylsis.product(产品表)

1.3 业务场景

模拟企业订单利润核算场景,关联订单与产品数据计算利润,按盈利 / 亏损状态对订单分类存储。

1.4 数据加工流程

订单表与产品表按产品 ID 左外连接 → 移除重复字段 → 按利润≥0 分流 → 分别导出盈利 / 亏损订单为 Excel 文件。

二、实验步骤

2.1进入实验平台

登录网页https://lab.guilian.cn/ 进入实验平台,按照下述图片红色箭头的指引,进入实验环境。

因为是个人实验,所以需要在“所属团队”中选择“个人团队”,后续在个人团队中创建项目。

2.2创建实验项目

可以看到作业1项目创建成功

2.3同步数据源

可以双击进入项目,进入之后看到三个菜单

在项目页面,可以看到左侧有3个菜单:资源库、文件、元数据​

资源库用于对工作流的管理,包括新建、删除、修改、查看工作流的信息;导出导入工作空间;调度管理等操作​

文件库用于保存工作流中需要用到的文件和工作流产生的文件​

元数据管理是数据集成的重要基石,可以为工作流定义“运行配置”、“数据库”、“flink集群”等配置​

本次实验主要用到资源库和文件库

首先获取本次的实验数据集:点击“元数据”,右键根“关系数据库”,点击“同步数据源”

切换“文件库”菜单再切换回到元数据,可以看到成功同步的数据库“线上公共数据源(Readonly)”

2.4新建转化流

按照下述步骤新建转化流,也就是实现订单数据与产品信息的关联,并根据利润正负将数据分流为盈利订单和亏损订单,分别输出到两个Excel文件。

点击“确定”之后进入下面的设计界面

注意下方图片的红色小锁,需要点击图标进行解锁才能添加组件。

2.5添加组件

下面以订单数据(business_anaylsis.order_detail)和产品信息数据(business_anaylsis.product)生成盈利订单数据和亏损订单数据为例来构建转换任务,按如下顺序向转换中添加组件:

(1)添加表输入组件

按下图所示,在组件库中输入“表输入”进行搜索,找到“表输入”组件。

将表输入拖拽到画布中

需要拖入两个“表输入”组件

双击“表输入”组件,修改步骤名称

(2)添加记录集连接组件

创建两个表输入组件到记录集连接组件的连接线:将鼠标悬停在输入表组件的边框上,出现“加号”后,拖拽到记录集连接组件。

(3)添加字段选择组件

两个表数据进行连接后,会出现重复的字段“产品ID”。我们可以通过“字段选择”组件移除这个多余字段。

同样双击将步骤名称改为“移除产品ID_1字段”

(4)添加过滤记录组件​

本次实验是根据订单的利润情况对订单进行分流。使用“过滤记录”组件可以根据记录中某个字段的值进行记录分流。

连接创建字段选择组件和过滤记录组件,出现下图,选择“主输出步骤”

(5)添加 excel 输出组件

记录经过“过滤记录”组件后会被分成2个记录流。我们可以根据业务需求将2个记录流输出到指定位置(文件、数据库表)。在本次实验中,我们选择将记录输出到 Excel 文件中。

2个excel 输出组件分别命名为“盈利订单”和“亏损订单”,并创建过滤记录组件到两个excel 输出组件的连接线,在选择连接线类型的弹窗中分别选择“True输出”和“False输出”​

“True输出”表示满足过滤条件的记录输出。​

“False输出”表示不满足过滤条件的记录输出。

至此,一个完整的转换任务流程构建完毕,如下图所示:

2.6配置组件信息

(1)表输入组件配置

双击订单_详细订单表输入组件,弹出组件配置页面。找到“business_anaylsis.order_detail”,导入数据源,自动生成SQL查询语句。

订单_产品信息也按照上述步骤获取查询语句

(2)记录集连接组件配置

双击记录集连接组件,修改信息如下图所示

点击“获得连接字段”,第一个Transform字段保留 produc_id,第二个Transform的字段保留 id,连接类型选择LEFT OUTER,表示使用订单_详细订单的字段 produc_id 与订单_产品信息的字段 id 进行左外连接(按住ctrl键再点击字段可以多选字段)

结果如下图所示

(3)字段选择组件配置

通过记录集连接后,我们可以发现,字段 produc_id 与字段 id 内容相同,只需要保留一个,因此,需要使用“移除产品ID_1字段”字段选择组件的移除选项移除字段 id

双击“移除产品ID_1字段”字段选择组件,点击“移除”,并右键然后点击“获取字段”

同样地,删除其它字段,只保留id字段

(4)过滤记录组件配置

双击“过滤记录”组件,进行如下配置:

(5)Excel 输出组件配置

双击“盈利订单”,进行下述配置:

右键然后点击“获取字段”

同样地,亏损订单也做同样的设置

2.7执行转换

点击界面的启动按钮

点击确定

之后就可以看到执行日志和步骤度量

2.8查看结果

点击“文件库”,右键根目录刷新,可以看到转换任务的输出结果:盈利订单和亏损订单,可以右键下载查看

在浏览器的下载中就可以看到两个文件下载完成,打开文件查看相关内容

三、实验总结

本次实验基于助睿零代码 ETL 平台,完成了从项目搭建、数据源接入、转换流设计到组件配置、任务执行与结果验证的全流程操作。通过实践,掌握了表输入、多表关联、字段筛选、条件过滤及文件导出等关键组件的配置方法,深化了对多源数据融合与条件分流处理逻辑的理解。

相较于传统的代码式数据处理,助睿平台的可视化操作模式实现了数据流程的透明化与可调试性,有效降低了数据加工的技术门槛,为初学者快速构建 ETL 能力提供了高效路径。

Logo

一站式 AI 云服务平台

更多推荐