一、实验背景

1.1 实验目的

实验旨在初步熟悉助睿零代码数据集成平台(ETL平台)的核心功能及操作方法,主要包括下列内容:

  • 掌握新建转换、添加组件、执行转换等基本操作流程

  • 熟悉表输入、记录集连接、字段选择、过滤记录、Excel输出等常用组件的配置方法

  • 理解多表关联、数据过滤与分流处理的ETL设计思路

1.2 实验环境

  • 零代码在线实验平台

  • 数据库MySQL

  • 数据准备:订单表business_analysis.order_detail 和 产品表business_anaylsis.product

1.3 数据加工流程

  1. 将订单表和产品表按照产品ID进行左外连接

  2. 移除重复ID字段

  3. 按利润是否≥0进行分流

  4. 分为盈利订单和亏损订单并进行输出

二、实验步骤

2.1 创建实验项目

登录进入实验平台并完成团队创建后,可以开始项目的创建。可以使用系统自带的默认项目,但为了方便管理实验,更推荐自行创建一个课程专属项目,并将创建的项目归属到自己创建的团队中。

2.2 同步数据源

项目成功后可以打开。在项目目录页面可以看到左侧三个菜单:资源库、文件、元数据。

本次实验用到的是资源库和文件库。

首先需要获取本次实验的数据集,点击元数据,右键关系数据库后同步数据源,后切换到文件库菜单,再切回到元数据,即可看到成功同步的数据库,即线上公共数据库。,

2.3 新建转换流

本次实验将创建订单利润分流处理转换流,整体逻辑已在1.3中给出,涉及到的组件如下:

  • 表输入(订单/产品)

  • 记录集连接

  • 字段选择

  • 过滤记录

  • Excel输出

具体操作如下:

首先,切换到资源库菜单栏,右键根目录新建名为”订单利润分流处理“的转换流,可以进入到转换流的设计页面,转换流页面每次打开都是锁定状态,需要点击锁的图标进行解锁才可以进行编辑。

2.4 添加组件

(1)添加表输入组件

我们需要用到两张表的数据进行合并计算,因此需要读取两张表,即添加两个表输入组件。

点击组件库,在搜索框中输入表输入,将查询到的表组件拖拽至画布中,共拖拽两个表输入组件。

接下来,右键其中的一个表输入组件,将其步骤名称更改为”订单_详细订单”。

类似地,另一组表输入的步骤名称更名为“订单_产品信息”。

(2)添加记录集连接组件

在读取两张表的数据后,我们需要通过记录集连接组件将表输入组件的数据进行关联。在输入框中输入“记录集连接”,并将该组件拖拽至画布中。

最后需要创建两个表输入到该组件的连线。

(3)添加字段选择组件

两张表连接后,会出现重复的字段产品ID,我们需要搜索字段选择组件,将其拖拽至画布中,并将该字段选择组件名更改为“移除产品ID_1字段”,并创建记录集连接到该组件的连线。

(4)添加过滤记录组件

实验需要对订单的利润进行分流,以此来分出盈利订单和亏损订单。因此我们需要过滤记录组件,在搜索框中搜索,并将其拖拽至画布中,并创建字段选择字段到过滤记录组件的连接线。

(5)添加excel输出组件

记录经过我们的过滤后会分流成两个excel表输出,因此我们需要添加两个excel输出组件。搜索框中输入“excel输出”并将该组件拖拽两个至画布中,其中一个更名为“盈利订单”,另一个更名为”亏损订单“。最后需要创建过滤记录到输出组件的连线,其中连接线的类型True表示满足过滤条件的记录输出,False则为不满足过滤条件的输出。

至此,完整的转换流构建完毕,整体流程如下图所示。

2.5 配置组件信息

2.5.1 表输入组件配置

双击“订单_详细订单”表输入组件,我们选择线上公共数据源作为数据库连接,并点击获取SQL查询语句后自动生成语句。接下来点开线上公共数据源-表的目录,选择“business_anaylsis.order_detail”,最后点击确认即可。

另一张输入表“订单_产品信息”的配置也类似,只是我们获取的表应为"business_analysis.product"。

2.5.2 记录集连接组件配置

双击该组件,选择第一个Transform为“订单_详细订单”,第二个Transform为“订单_产品信息”,选择左连接,分别获得连接字段后,在第一个Transform的连接字段内,除了product_id,其余均删除。

类似地,第二个Transform在获取连接字段后,删除除了id以外的所有字段。

2.5.3 字段选择配置

经连接后可以发现,product_id和id字段的内容是相同的,因此我们需要使用该组件移除其中的一个字段。双击该组件,选择移除,并在获取完所有字段后,删除除了ID以外所有的字段。

2.5.4 过滤记录组件配置

由于我们需要将订单分为盈利订单和亏损订单,因此可以使用字段利润来区分他们。双击过滤记录组件,选择发送匹配的记录给盈利订单,当profit利润字段>=0时,我们认为这个订单是盈利订单,具体配置如下图所示。配置完成后,点击确认即可。

2.5.5 Excel输出组件配置

双击盈利订单表输出组件,我们更改文件名为“盈利订单“,扩展名为”xlsx excel 2007 and above“。

配置弹窗中点击输出字段,并右键获取字段,获取后点击确认。

类似地,亏损订单的excel输出组件也进行同样的设置。

2.6 执行转换

我们点击画布上方的三角形按钮启动转换流,在弹出的窗口点击启动。

2.7 查看执行日志

执行转换流后,可以看到执行结果以及日志。如下图所示。

2.8 查看结果

点击文件库,右键根目录刷新后可以看到任务的输出结果,即两章表单,”盈利订单“和”亏损订单“。

三、实验总结

本次实验熟悉了助睿零代码ETL平台的基本操作与方法,通过实践,能够熟练完成从项目创建、数据源同步、转换流构建到组件配置、执行及结果查看的全链路操作。重点掌握了表输入、记录集连接、字段选择、过滤记录及Excel输出等关键组件的配置技巧,并深刻理解了多表关联与条件分流在复杂数据处理逻辑中的应用。

与传统的SQL编写或脚本开发模式相比,助睿平台的可视化拖拽操作具有显著优势。其数据流向清晰透明,极大地提升了逻辑理解与调试效率。对于初学者而言,这种零代码模式有效降低了技术门槛,使其能够迅速具备处理常规数据加工任务的能力。

Logo

一站式 AI 云服务平台

更多推荐