基于Uniplore助睿ETL平台的多源文件数据抽取实验报告

YISAKIYO

44人浏览 · 2026-07-12 23:33:45

YISAKIYO · 2026-07-12 23:33:45 发布

一、实验背景

1.1 实验目的

掌握助睿数智（Uniplore）零代码ETL平台中文件输入组件的核心配置方法（分隔符、编码、工作表选择等）
理解字段选择、计算器、数值范围等转换组件在数据预处理流程中的作用
独立完成从CSV、TXT、Excel三类异构文件读取到结果输出的完整数据流水线搭建
熟练运用助睿ETL平台的零代码拖拽式操作模式，为后续数据建模奠定基础

1.2 实验环境

项目	说明
实验平台	助睿数智（Uniplore）— AI驱动的一站式零代码数据智能服务平台
平台地址	https://lab.guilian.cn/
产品官网	Uniplore iDIS-大数据智能全流程服务平台-BI数据可视化工具
子平台	助睿ETL数据集成平台
操作系统	Windows 11
浏览器	Chrome / Edge（推荐最新版本）
开发方式	零代码、可视化拖拽组件
实验数据	从平台公共空间导出至项目文件库

1.3 业务场景

在企业数据集成项目中，ETL的第一步往往是从各类异构数据源中获取数据。数据源的多样性——CSV文件、自定义分隔符文本、Excel表格——以及数据库访问权限的限制，使得文件级别的数据抽取成为一项必备技能。

本实验针对三种典型的文件数据抽取场景：

场景一：项目绩效自动化研判（CSV文件）

企业项目管理系统中导出的CSV文件包含项目编号、开工日期、结束日期等信息，需要计算项目工期并按区间规则自动评定绩效等级，以支撑项目管理决策。

场景二：体育数据字段过滤（TXT文本文件）

足球比赛数据以分号分隔的TXT文件存储，包含日期、主客队、比分、场地等字段，需要适配非标准分隔符读取并剔除冗余字段。

场景三：客户信息定向筛选（Excel表格）

购房者个人信息Excel表中包含年龄、学历、雇佣状态、月薪等多个字段，需要为建模预处理提取核心字段。

1.4 数据加工流程

实验包含三条独立的数据处理链路：

链路一：CSV数据处理（项目绩效评估）

CSV文件输入 ──→ 字段选择 ──→ 计算器 ──→ 数值范围 ──→ 文本文件输出
(project.csv)  (字段校验)  (计算工期)  (绩效评级)  (project_output.csv)

链路二：TXT数据处理（字段过滤）

CSV文件输入 ──→ 字段选择 ──→ 空操作
(usa_201209.txt,  (移除Venue字段)  (验证)
 分隔符: 分号)

链路三：Excel数据处理（定向筛选）

Excel输入 ──→ 字段选择 ──→ 空操作
(custinfo.xlsx,  (仅保留education、  (验证)
 Sheet1)         employment)

二、实验步骤

2.1 登录实验平台

打开浏览器，访问实验平台地址：https://lab.guilian.cn/
在登录页面输入账号和密码，点击"登录"按钮
登录成功后进入平台主界面，顶部导航栏包含"数据集成/ETL"、"数据分析"、"机器学习"等功能模块

2.2 基本概念了解

在开始实验之前，了解以下核心概念：

概念	说明
转换流（Transformation）	ETL中"T"（转换）的核心载体，由多个组件通过连接线构成的数据处理管道
组件（Component）	转换流中的基本处理单元，如"CSV文件输入"、"字段选择"等，每个组件完成特定操作
连接线（Hop）	组件之间的数据流向连线，分为"主输出步骤"和"错误处理步骤"
资源库（Repository）	存放转换流、作业等项目文件的存储空间
文件库	存储实验数据文件（CSV、TXT、Excel等）及其输出结果的存储空间

2.3 同步数据源

进入项目后，在左侧导航树中找到"元数据"节点
展开"元数据" → 右键点击"文件"节点
在弹出的菜单中选择"同步数据源"或"上传文件"
将实验所需的三个文件上传至文件库：
- project.csv — 项目信息数据
- usa_201209.txt — 足球比赛数据
- custinfo.xlsx — 购房者个人信息

2.4 新建转换流

本实验需要创建三个独立的转换流，分别对应三种文件格式的处理。

在左侧切换到"资源库"标签页
右键点击项目名称 → 选择"新建转换流"
分别创建三个转换流：
- CSV数据提取与绩效评估
- TXT文件读取与字段过滤
- Excel解析与字段提取
点击"确定"后打开转换流编辑器（画布），确认画布处于解锁编辑状态

2.5 添加组件

链路一：CSV数据提取与绩效评估

在左侧组件面板中依次拖拽以下组件到画布：

序号	组件名称	组件类型	用途
1	CSV文件输入	CSV 文件输入	读取 project.csv
2	字段选择	字段选择	校验字段结构
3	计算器	计算器	计算项目工期（天）
4	数值范围	数值范围	按工期区间评定绩效
5	文本文件输出	文本文件输出	输出 project_output.csv

按顺序连接各组件（连接时选择"主输出步骤"）。

链路二：TXT文件读取与字段过滤

序号	组件名称	组件类型	用途
1	CSV文件输入	CSV 文件输入	读取 usa_201209.txt（分号分隔）
2	字段选择	字段选择	移除冗余的 Venue 字段
3	空操作	空操作	接收数据，验证链路

按顺序连接各组件。

链路三：Excel解析与字段提取

序号	组件名称	组件类型	用途
1	Excel输入	Excel 输入	读取 custinfo.xlsx
2	字段选择	字段选择	仅保留 education、employment
3	空操作	空操作	接收数据，验证链路

按顺序连接各组件。

2.6 配置组件信息

2.6.1 链路一配置

（1）CSV文件输入组件

双击"CSV文件输入"组件，打开配置对话框
点击"浏览"按钮，在文件库中选择 project.csv
文件协议选择：FILE
编码设置为：UTF-8
在数据预览区域右键选择"获取字段"，平台自动解析列信息（project_name、start_date、end_date 等）
预览核对数据是否完整载入，日期字段能否正确识别
点击"确定"保存

（2）字段选择组件

双击"字段选择"组件
切换到"选择和修改"标签页
右键点击"获取字段"，将上游CSV文件输入的所有字段列入
本环节不需要修改字段，保持默认配置
点击"确定"保存

（3）计算器组件

双击"计算器"组件，打开配置对话框
点击"新增"添加一条计算规则，设置参数如下：

配置项	设置值
新字段名	`diff_date`
计算类型	`日期A - 日期B（单位：天）`
字段A	`end_date`（结束日期）
字段B	`start_date`（开工日期）
值类型	`Integer`

点击"确定"保存

（4）数值范围组件

双击"数值范围"组件，打开配置对话框
设置核心参数：

配置项	设置值
输入字段	`diff_date`
输出字段	`performance`

设置四组左闭右开区间规则（从上到下按优先级匹配）：

范围（最小 ~ 最大）	映射值
0 ≤ diff_date < 30	`excellent`
30 ≤ diff_date < 180	`very good`
180 ≤ diff_date < 360	`good`
360 ≤ diff_date < ∞（留空）	`poor`

缺省值（不匹配任何区间时）：unknown
点击"确定"保存

（5）文本文件输出组件

双击"文本文件输出"组件，打开配置对话框
文件标签页：

配置项	设置值
文件名	`project_output`
扩展名	`csv`

内容标签页：
- 分隔符：,（英文逗号）
字段标签页：
- 右键"获取字段"，确保 diff_date 和 performance 包含在输出字段列表中
点击"确定"保存

2.6.2 链路二配置

（1）CSV文件输入组件（适配TXT）

双击"CSV文件输入"组件
点击"浏览"选择 usa_201209.txt
关键配置（易错点）：
- 列分隔符：填入 ;（英文分号）——该文件以分号分隔，不能用默认的逗号
- 勾选"包含列头行"——文件首行为字段名（Date、HomeTeam、AwayTeam、Score、Venue 等）
右键点击数据预览区 → "获取字段"，确认各列被正确拆分（Date、HomeTeam、AwayTeam、Score、Venue 等字段分别处于独立列）
点击"确定"保存

（2）字段选择组件

双击"字段选择"组件
切换到"移除"标签页
右键"获取字段"，列出所有输入字段
勾选 Venue（场地）字段将其移除
点击"确定"保存

（3）空操作组件

无需配置，仅作为数据接收器用于链路验证

2.6.3 链路三配置

（1）Excel输入组件

双击"Excel输入"组件，打开配置对话框
文件标签页：
- 点击"浏览"选择 custinfo.xlsx
- 点击"增加"将文件加入选中列表
- 引擎选择：Excel XLSX (Streaming)
内容标签页：
- 编码：UTF-8（保证中文字段兼容）
- 勾选"头部"、"非空记录"
工作表标签页（重要）：
- **必须先点击"获取工作表名称"**按钮
- 系统识别出 Sheet1 → 勾选 → 点击添加至右侧列表
- 若跳过此步骤，组件无法定位有效数据区，后续获取字段将失败
字段标签页：
- 右键选择"获取来自头部的字段"
- 平台自动解析：年龄、性别、学历（education）、雇佣状态（employment）、月薪等字段
点击"确定"保存

（2）字段选择组件

双击"字段选择"组件
切换到"选择和修改"标签页
右键"获取字段"列出所有输入字段
仅保留 education（学历）和 employment（雇佣状态）两个字段，删除其余字段
点击"确定"保存

（3）空操作组件

无需配置，作为数据接收器用于链路验证

2.7 执行转换

依次打开每个转换流，确认所有组件配置无误、连接线正确贯通
点击画布上方工具栏中的"启动/运行"按钮（▶ 图标）
系统开始执行转换流，画布中的组件依次高亮显示执行状态
等待执行完成，所有组件图标变为绿色表示执行成功

2.7 查看执行日志

执行完成后，点击底部或侧边的"执行日志"标签页
查看每条链路的执行详情，确认无红色ERROR信息：

2. 查看结果

切换到"文件库"标签页
右键点击空白区域选择"刷新"
链路一验证：
- 找到生成的 project_output.csv
- 右键下载，使用Excel打开验证：
  - diff_date 列显示正确的项目工期天数
  - performance 列显示正确的绩效等级

链路二验证：
- 右键点击"空操作"组件 → 选择"预览"
- 确认 Venue 列已被移除，其余字段完整

链路三验证：
- 右键点击"空操作"组件 → 选择"预览"
- 确认仅显示 education 和 employment 两列数据

三、实验结果

3.1 链路一：CSV数据处理结果

指标	说明
输入文件	`project.csv`（约50条项目记录）
新增字段	`diff_date`（工期天数）、`performance`（绩效等级）
输出文件	`project_output.csv`
绩效分布	excellent（≤30天）、very good（30-180天）、good（180-360天）、poor（≥360天）

3.2 链路二：TXT数据处理结果

指标	说明
输入文件	`usa_201209.txt`（分号分隔，含Date/HomeTeam/AwayTeam/Score/Venue等字段）
移除字段	`Venue`（场地）
输出验证	通过空操作组件预览，确认Venue字段已成功移除，其余字段完整

3.3 链路三：Excel数据处理结果

指标	说明
输入文件	`custinfo.xlsx`（含年龄、性别、学历、雇佣状态、月薪等多字段）
保留字段	`education`（学历）、`employment`（雇佣状态）
输出验证	通过空操作组件预览，确认仅保留两个目标字段

3.4 结果分析

链路一成功将原始项目数据增强为包含工期和绩效等级的完整分析数据，可用于后续项目管理决策
链路二验证了非标准分隔符文本文件的读取能力，分号分隔的TXT文件与CSV文件输入组件兼容良好
链路三展示了Excel文件从工作表定位到字段筛选的完整流程，为建模前的特征筛选提供了高效手段
三条链路均通过零代码拖拽方式完成，无需编写任何Python或SQL代码

四、核心组件说明

4.1 CSV 文件输入（CSV File Input）

属性	说明
功能	读取CSV文件及自定义分隔符的文本文件（TXT）
核心配置	选择文件 → 设置编码和列分隔符 → 勾选/取消"包含列头行" → 获取字段
分隔符适配	默认逗号分隔，支持自定义分隔符（如分号`;`、制表符等），适配各类非标准文本格式
注意事项	读取非逗号分隔文件时，务必先查看原始文件确定分隔符，否则所有数据会挤入一列

4.2 Excel 输入（Excel Input）

属性	说明
功能	读取Excel工作簿（.xlsx/.xls），定位指定工作表并解析数据
核心配置	文件页签（选择文件）→ 内容页签（编码、头部、非空记录）→ 工作表页签（获取并勾选Sheet）→ 字段页签（获取来自头部的字段）
关键步骤	必须先在"工作表"页签中点击"获取工作表名称"并勾选目标Sheet，否则组件无法定位数据区域
注意事项	引擎推荐使用 `Excel XLSX (Streaming)` 模式，适合大文件流式读取

4.3 字段选择（Select Values）

属性	说明
功能	对数据流中的字段进行选择、移除、重命名和类型转换
核心配置	"选择和修改"模式（保留指定字段）/"移除"模式（删除指定字段）/元数据设置
适用场景	字段筛选、关联后去重、敏感字段脱敏、输出前字段整理
注意事项	"选择和修改"模式下未勾选的字段不会出现在输出中；"移除"模式下被勾选的字段将被删除

4.4 计算器（Calculator）

属性	说明
功能	对数据流中的字段进行算术运算、日期计算、字符串处理等，生成新字段
核心配置	新增计算规则 → 设置新字段名 → 选择计算类型 → 选择参与运算的字段 → 设置值类型
常用计算类型	日期差（A-B天数）、加减乘除、字符串拼接、绝对值、取整等
注意事项	日期计算需确保参与运算的字段为日期类型，否则计算结果为NULL

4.5 数值范围（Number Range）

属性	说明
功能	根据数值字段的值将数据映射到分类标签，实现分段离散化
核心配置	指定输入字段 → 指定输出字段 → 设置区间（最小值、最大值） → 设置每个区间的映射值
区间规则	从上到下按优先级匹配，命中第一个满足条件的区间即返回对应映射值，未命中则返回缺省值
适用场景	绩效等级评定、客户分层（RFM）、年龄段划分、成绩分档等

4.6 文本文件输出（Text File Output）

属性	说明
功能	将数据流写入文本文件（CSV、TXT等格式）
核心配置	设置文件名和扩展名 → 设置分隔符 → 获取输出字段
注意事项	输出CSV时扩展名应设为`.csv`，分隔符选择逗号；输出TXT时扩展名设为`.txt`

4.7 空操作（Dummy）

属性	说明
功能	仅接收上游数据而不做任何处理，充当数据流的终点
核心配置	无需配置，直接连接即可
适用场景	转换流调试、链路连通性验证、暂无输出目标时的数据流终点

五、问题与解决

5.1 分隔符与文件格式不匹配

项目	内容
问题描述	读取 `usa_201209.txt` 时，获取字段后发现所有数据挤在一列中
原因分析	该文件使用分号`;`作为列分隔符，而CSV文件输入组件默认使用逗号分隔
解决方法	先用文本编辑器打开文件查看实际分隔符，确认后修改组件的"列分隔符"参数为`;`

5.2 Excel工作表未指定导致无法获取字段

项目	内容
问题描述	在Excel输入组件的"字段"页签中无法获取到任何字段，提示找不到数据区域
原因分析	未在"工作表"页签中点击"获取工作表名称"并勾选目标Sheet
解决方法	先切换到"工作表"页签 → 点击"获取工作表名称" → 勾选 `Sheet1` → 添加至右侧 → 再返回"字段"页签获取字段

5.3 扩展名与内容格式不统一

项目	内容
问题描述	输出文件无法用Excel正常打开，显示为乱码或格式异常
原因分析	输出CSV格式文件时扩展名错写为 `.txt`，或分隔符与扩展名不匹配
解决方法	输出CSV时扩展名统一设为 `.csv`，分隔符使用英文逗号

5.4 编码选错导致中文乱码

项目	内容
问题描述	CSV或Excel文件中的中文字段在预览时显示为乱码
原因分析	文件编码选择错误（如选了GBK而文件实际为UTF-8编码）
解决方法	将编码统一设置为 `UTF-8`，确保中文字段兼容

5.5 组件无法编辑

项目	内容
问题描述	双击组件无反应，或配置按钮呈灰色不可点击状态
原因分析	转换流处于锁定状态（工具栏锁图标为锁定状态），防止误操作
解决方法	点击画布工具栏上的锁图标，将转换流切换为解锁编辑状态

5.6 字段选择连线错误

项目	内容
问题描述	数据未能按预期流入下游组件，链路执行结果为空
原因分析	连接线类型选择错误（如误选了"错误处理步骤"而非"主输出步骤"）
解决方法	删除错误连接，重新连接时确保选择"主输出步骤"（正常数据流转路径）