一、实验概述

1.1 实验背景与意义

ETL 是数据仓库搭建、数据分析前置处理的核心流程，数据抽取作为 ETL 首个环节，承担着从各类异构数据源采集原始数据的任务，也是整个数据链路中难度最高的环节之一。企业内部业务系统如 ERP、财务系统的数据大多存放在 MySQL、Oracle 等关系型数据库，可通过 JDBC 驱动直连抽取；但非关系型数据库、无专用驱动的场景会大幅提升抽取难度。

除此之外，大量业务场景存在数据权限、物理隔离限制：例如合作供应商、外部客户的数据部署在企业防火墙外部，无法建立数据库直连通道，此时文件传输交换就成为成本最低、落地最快的数据获取方案。

本次实验依托 Uniplore 助睿数智平台内置的 ETL 数据集成模块，实操 CSV、纯文本 TXT、Excel 三类主流文件格式的数据读取组件，完整掌握不同结构化文件的解析、提取、预处理与结果输出流程。

1.2 实验目标

1.    理解多格式文件数据抽取的业务适用场景，区分数据库直连与文件交换两种抽取方案的适用边界；

2.    熟练操作助睿 ETL 平台文件输入类组件，掌握文件路径、分隔符、表头、编码、工作表等核心参数配置；

3.    掌握字段筛选、数值计算、区间分类、空校验、文件输出等常用转换组件的搭配使用；

4.    独立搭建三条完整数据处理流水线，分别完成项目绩效计算、足球赛事数据精简、购房者信息字段筛选；

5.    学会通过预览、步骤度量日志校验数据流转正确性，形成标准化零代码数据处理思路。

1.3 实验软硬件环境

1.    在线实验平台：助睿在线实训平台，访问地址：https://lab.guilian.cn/

2.    工具产品：助睿数智 Uniplore 一站式零代码数据智能平台，配套子模块助睿 ETL 数据集成工具

3.    产品官网：https://www.uniplore.com/

平台能力：本次实验所使用的助睿数智Uniplore iDIS平台，是一款AI驱动的一站式零代码大数据智能服务平台，搭载自主可控的核心技术架构，融合先进的DataOps数据运营理念。平台集成200余种ETL处理组件、200+AI算法组件、20余种可视化图表工具，可一站式完成数据接入、ETL清洗转换、智能建模、多维分析、可视化大屏搭建等全链路操作。平台适配高校实训教学场景与企业轻量化数据加工需求，无需复杂代码，通过可视化拖拽方式即可搭建数据处理流程，上手门槛低、实操性强。

4.    实验数据源（平台公共资源库获取）：

￮     project.csv：企业项目基础信息表，用于 CSV 文件抽取实验；

￮     usa_201209.txt：国际足球赛事明细文本，用于分隔符文本读取实验；

￮     custinfo.xlsx：购房者基础信息表，用于 Excel 表格数据抽取实验。

二、数据源导入操作流程

全部实验文件均存储在平台公共资源库，需提前导出至个人项目文件库才可调用，统一操作步骤如下：

1.    登录实训平台，进入「数据集成」板块，打开个人已有项目；

2.    页面右侧切换至「公共空间」，选中顶部「数据资源」分类，检索目标文件；

3.    点击文件后方「更多」按钮，选择导出功能，弹窗内确认文件名称，存储路径选择项目根目录；

4.    导出完成后切换至左侧「文件库」，右键刷新列表，即可查看已同步的本地数据源，后续组件可直接读取。

三、实验分模块操作流程

模块一：CSV 文件数据抽取与项目绩效自动计算

3.1 业务需求

读取 project.csv 内项目开工、竣工时间，自动计算项目持续工期，依据工期区间划分绩效等级，最终生成标准化输出文件 project_output.csv。
整体处理链路：CSV 文件输入 → 字段选择 → 计算器（新增工期字段） → 数值范围（绩效分级） → 文本文件输出。

1. 1. 分步配置操作

1. 搭建读取组件
新建转换流，从组件库拖拽「CSV 文件输入」至画布；双击组件打开配置面板，点击浏览选中 project.csv，开启表头识别，设置文件编码参数；右键点击数据预览区域执行「获取字段」，平台自动识别表结构与字段类型，预览校验原始数据（包含项目名称、start_date 开工日期、end_date 竣工日期三列）。

2 精简有效字段

拖拽「字段选择」组件，连接上游 CSV 输入组件（仅选择主数据输出链路，忽略异常数据分支）；读取上游全部字段，本实验无需修改字段名称、长度，仅保留项目名、两个日期字段，其余冗余字段直接剔除。

3.新增工期计算字段

接入「计算器」组件，新增衍生字段 diff_date；计算规则选择「日期 A 减去日期 B，输出间隔天数」，日期 A 绑定竣工 end_date，日期 B 绑定开工 start_date，字段数据类型设置为整数 Integer，保存后每条记录自动生成项目执行总天数。

4.绩效等级区间判定

连接「数值范围」组件，输入字段选择 diff_date，自定义输出字段 performance，分级规则采用左闭右开区间：

• 0 ≤ 工期 ＜ 30 → excellent（优秀）

• 30 ≤ 工期 ＜ 180 → very good（良好）

• 180 ≤ 工期 ＜ 360 → good（合格）

• 工期 ≥ 360 → poor（待改进）

5.结果文件落地输出

添加「文本文件输出」组件，配置输出文件名为 project_output，后缀 csv；切换至内容设置页，分隔符改为英文逗号；字段页面执行获取字段，将上游全部字段写入输出文件，确认保存配置。

6.流程执行与结果校验

点击画布运行按钮启动转换，查看步骤度量面板：所有组件状态均显示已完成，无拒绝、错误记录；打开文件库内生成的输出文件，可查看原始字段 + 工期 + 绩效标签完整数据。

模块二：分隔符 TXT 文本文件数据读取与字段精简校验

2.1 业务需求

读取带分号分隔的足球赛事文本 usa_201209.txt，剔除比赛场地 Venue 无关字段，保留赛事日期、国家、比分核心字段，使用空操作组件验证数据完整流转。
处理链路：CSV 文件输入（适配 TXT） → 字段选择（移除场地字段） → 空操作（结果校验）。

1. 1. 分步配置操作

1.文本文件适配读取

新建转换流，拖拽 CSV 文件输入组件读取 txt 文件；浏览选中 usa_201209.txt，将列分隔符修改为英文分号；，勾选包含表头行，执行获取字段识别 Date、Venue、Country、Matches 等字段；右键预览输出，校验全部赛事原始记录读取正常。

2.剔除无用字段

拖拽字段选择组件并连接上游，切换至「移除」标签页，选中 Venue 比赛场地字段并删除，仅保留赛事分析需要的日期、国家、比分字段。

3.数据链路校验

添加「空操作（无业务处理）」组件，连接字段选择输出端，该组件仅接收数据、不执行任何计算，用于验证整条流程无数据丢失。

4.运行并查看结果

启动转换任务，步骤度量日志显示读取 14 条完整记录，无报错；右键空操作组件预览输出，可见场地字段已完全移除，剩余字段数据完整无缺失。

模块三：Excel 表格数据抽取与业务字段筛选

3.1 业务需求

读取购房者信息 Excel 文件 custinfo.xlsx，仅保留学历 education、工作年限 employment 两个分析字段，过滤其余人口属性冗余数据，完成基础数据预处理。
处理链路：Excel 输入 → 字段选择 → 空操作校验。

1. 1. 分步配置操作

1.Excel 文件读取配置
新建转换流，拖拽 Excel 输入组件；文件引擎选择 Excel XLSX 流式读取，浏览选中 custinfo.xlsx 并添加至读取列表；内容面板勾选表头、仅读取非空记录，编码设置 UTF-8；工作表页面获取全部 sheet，仅选择 Sheet1 作为读取对象；字段页面通过表头自动识别 age、sex、education、salary、people、house_type 等字段。

2.筛选目标业务字段
接入字段选择组件，连接空操作组件，读取上游全部字段，仅保留 education、employment 两列，其余字段全部移除。

3.数据校验与执行
运行转换流程；日志显示共读取 400 条购房者数据，无异常记录；预览输出仅展示学历、工作年限数值，满足后续购房影响因素建模前置数据要求。

四、实验结果分析

1.    CSV 绩效计算实验：6 条项目数据全部正常处理，工期计算、绩效分级逻辑准确，输出文件字段齐全，实现项目评估自动化；

2.    TXT 足球赛事实验：成功适配自定义分号分隔文本，完成无关字段剔除，数据流转无丢失，验证了通用文件输入组件对纯文本的兼容能力；

3.    Excel 购房者数据实验：流式引擎稳定读取 xlsx 表格，支持指定工作表、表头识别，字段筛选功能快速完成数据轻量化预处理；

4.    共性结论：三类文件读取组件参数配置逻辑高度相似，核心差异在于分隔符、文件引擎、工作表配置；字段选择、空操作组件可通用适配全部文件抽取场景。

五、实验总结与收获

本次实验依托零代码助睿 ETL 平台，完整完成 CSV、TXT、Excel 三类常用结构化文件的数据抽取全流程实操，清晰区分数据库直连与文件交换两种数据采集方案的适用场景，掌握了完整的数据预处理流水线搭建思路。

本次实验依托功能完善的Uniplore零代码大数据平台开展实操，该平台具备成熟的数据集成、治理、分析与AI建模能力，广泛应用于金融监管、工业制造、电网运维、智慧教育等多个行业，服务超600家政企客户，具备专业的技术实力与落地性。本次实操覆盖企业日常数据处理最普遍的文件交换场景，熟练掌握平台拖拽式ETL操作逻辑，可直接迁移至业务报表统计、用户画像构建、业务数据建模等真实数据分析工作，有效夯实了大数据预处理的基础能力，为后续复杂多源数据融合、精细化数据清洗、多维聚合统计等高阶数据处理实验与实战应用，筑牢了扎实的技术与思维基础。

同时通过步骤度量日志、数据预览功能，学会从记录条数、报错数量、运行速度多维度校验流程稳定性，能够快速定位文件路径错误、分隔符不匹配、表头未勾选等常见配置问题。

本次实验覆盖企业日常数据处理最普遍的文件交换场景，所掌握的拖拽式 ETL 操作逻辑，可直接迁移至报表统计、用户画像、业务建模等真实数据分析工作，为后续复杂多源数据融合、数据清洗、聚合统计等高阶实验打下扎实基础。