零代码基于ETL平台实现数据分流
本次实验基于助睿零代码 ETL 平台,完成了从项目搭建、数据源接入、转换流设计到组件配置、任务执行与结果验证的全流程操作。通过实践,掌握了表输入、多表关联、字段筛选、条件过滤及文件导出等关键组件的配置方法,深化了对多源数据融合与条件分流处理逻辑的理解。相较于传统的代码式数据处理,助睿平台的可视化操作模式实现了数据流程的透明化与可调试性,有效降低了数据加工的技术门槛,为初学者快速构建 ETL 能力提
一、实验背景
1.1 实验目的
熟悉助睿零代码 ETL 平台核心操作,掌握数据接入、多表关联、字段筛选、数据过滤与文件导出流程,理解 ETL 数据处理逻辑,可独立完成常规数据加工任务。
1.2 实验环境
平台:助睿数智(Uniplore)零代码平台,实验入口:https://lab.guilian.cn/
数据库:MySQL(含订单、产品数据)
数据源:business_anaylsis.order_detail(订单表)、business_anaylsis.product(产品表)
1.3 业务场景
模拟企业订单利润核算场景,关联订单与产品数据计算利润,按盈利 / 亏损状态对订单分类存储。
1.4 数据加工流程
订单表与产品表按产品 ID 左外连接 → 移除重复字段 → 按利润≥0 分流 → 分别导出盈利 / 亏损订单为 Excel 文件。
二、实验步骤
2.1进入实验平台
登录网页https://lab.guilian.cn/ 进入实验平台,按照下述图片红色箭头的指引,进入实验环境。
因为是个人实验,所以需要在“所属团队”中选择“个人团队”,后续在个人团队中创建项目。
2.2创建实验项目
可以看到作业1项目创建成功
2.3同步数据源
可以双击进入项目,进入之后看到三个菜单
在项目页面,可以看到左侧有3个菜单:资源库、文件、元数据
资源库用于对工作流的管理,包括新建、删除、修改、查看工作流的信息;导出导入工作空间;调度管理等操作
文件库用于保存工作流中需要用到的文件和工作流产生的文件
元数据管理是数据集成的重要基石,可以为工作流定义“运行配置”、“数据库”、“flink集群”等配置
本次实验主要用到资源库和文件库
首先获取本次的实验数据集:点击“元数据”,右键根“关系数据库”,点击“同步数据源”
切换“文件库”菜单再切换回到元数据,可以看到成功同步的数据库“线上公共数据源(Readonly)”
2.4新建转化流
按照下述步骤新建转化流,也就是实现订单数据与产品信息的关联,并根据利润正负将数据分流为盈利订单和亏损订单,分别输出到两个Excel文件。
点击“确定”之后进入下面的设计界面
注意下方图片的红色小锁,需要点击图标进行解锁才能添加组件。
2.5添加组件
下面以订单数据(business_anaylsis.order_detail)和产品信息数据(business_anaylsis.product)生成盈利订单数据和亏损订单数据为例来构建转换任务,按如下顺序向转换中添加组件:
(1)添加表输入组件
按下图所示,在组件库中输入“表输入”进行搜索,找到“表输入”组件。
将表输入拖拽到画布中
需要拖入两个“表输入”组件
双击“表输入”组件,修改步骤名称
(2)添加记录集连接组件
创建两个表输入组件到记录集连接组件的连接线:将鼠标悬停在输入表组件的边框上,出现“加号”后,拖拽到记录集连接组件。
(3)添加字段选择组件
两个表数据进行连接后,会出现重复的字段“产品ID”。我们可以通过“字段选择”组件移除这个多余字段。
同样双击将步骤名称改为“移除产品ID_1字段”
(4)添加过滤记录组件
本次实验是根据订单的利润情况对订单进行分流。使用“过滤记录”组件可以根据记录中某个字段的值进行记录分流。
连接创建字段选择组件和过滤记录组件,出现下图,选择“主输出步骤”
(5)添加 excel 输出组件
记录经过“过滤记录”组件后会被分成2个记录流。我们可以根据业务需求将2个记录流输出到指定位置(文件、数据库表)。在本次实验中,我们选择将记录输出到 Excel 文件中。
2个excel 输出组件分别命名为“盈利订单”和“亏损订单”,并创建过滤记录组件到两个excel 输出组件的连接线,在选择连接线类型的弹窗中分别选择“True输出”和“False输出”
“True输出”表示满足过滤条件的记录输出。
“False输出”表示不满足过滤条件的记录输出。
至此,一个完整的转换任务流程构建完毕,如下图所示:
2.6配置组件信息
(1)表输入组件配置
双击订单_详细订单表输入组件,弹出组件配置页面。找到“business_anaylsis.order_detail”,导入数据源,自动生成SQL查询语句。
订单_产品信息也按照上述步骤获取查询语句
(2)记录集连接组件配置
双击记录集连接组件,修改信息如下图所示
点击“获得连接字段”,第一个Transform字段保留 produc_id,第二个Transform的字段保留 id,连接类型选择LEFT OUTER,表示使用订单_详细订单的字段 produc_id 与订单_产品信息的字段 id 进行左外连接(按住ctrl键再点击字段可以多选字段)
结果如下图所示
(3)字段选择组件配置
通过记录集连接后,我们可以发现,字段 produc_id 与字段 id 内容相同,只需要保留一个,因此,需要使用“移除产品ID_1字段”字段选择组件的移除选项移除字段 id
双击“移除产品ID_1字段”字段选择组件,点击“移除”,并右键然后点击“获取字段”
同样地,删除其它字段,只保留id字段
(4)过滤记录组件配置
双击“过滤记录”组件,进行如下配置:
(5)Excel 输出组件配置
双击“盈利订单”,进行下述配置:
右键然后点击“获取字段”
同样地,亏损订单也做同样的设置
2.7执行转换
点击界面的启动按钮
点击确定
之后就可以看到执行日志和步骤度量
2.8查看结果
点击“文件库”,右键根目录刷新,可以看到转换任务的输出结果:盈利订单和亏损订单,可以右键下载查看
在浏览器的下载中就可以看到两个文件下载完成,打开文件查看相关内容
三、实验总结
本次实验基于助睿零代码 ETL 平台,完成了从项目搭建、数据源接入、转换流设计到组件配置、任务执行与结果验证的全流程操作。通过实践,掌握了表输入、多表关联、字段筛选、条件过滤及文件导出等关键组件的配置方法,深化了对多源数据融合与条件分流处理逻辑的理解。
相较于传统的代码式数据处理,助睿平台的可视化操作模式实现了数据流程的透明化与可调试性,有效降低了数据加工的技术门槛,为初学者快速构建 ETL 能力提供了高效路径。
更多推荐




所有评论(0)