一、实验目的

ETL全称为抽取（Extract）、转换（Transform）、加载（Load），是大数据加工、数据治理、数据分析的核心前置流程，其中数据抽取作为ETL首个核心环节，核心目标是聚合单个或多源异构数据源原始数据，也是全流程难度最高的环节之一，难点集中在数据源异构性、访问权限、环境适配三大维度。

当下业务场景愈发复杂，数据抽取阻力大幅提升，主要分为两类高难度场景：第一，数据源为MongoDB等非关系型数据库，或是无适配官方驱动的自研数据库，无法通过JDBC直连完成数据抽取；第二，跨主体数据互通场景，数据归属外部合作供应商、客户，或是数据部署于企业防火墙外网环境，数据库直连存在权限、安全合规限制，无法打通链路。

针对上述受限场景，标准化文件传输成为最优替代方案，CSV、TXT、Excel是政企、高校、企业通用离线数据交换格式。本次实验依托Uniplore助睿零代码ETL集成平台，实操三类文件数据源抽取、预处理、字段筛选、结果导出全流程，适配高校教学及企业轻量化数据加工场景。

二、实验软硬件与平台环境说明

2.1 平台信息说明

1. 实训平台名称：助睿在线实训平台

1. 实训访问地址：https://lab.guilian.cn

1. 核心商用产品：助睿数智Uniplore iDIS——AI赋能一站式零代码大数据智能服务平台

1. 专项实训子平台：助睿ETL数据集成工作台

1. 产品官方官网：https://www.uniplore.com/

平台能力概述：该平台搭载200+ETL标准化处理组件、全品类数据源适配能力，覆盖数据接入、流批一体ETL加工、AI机器学习建模、多维OLAP分析、可视化大屏搭建全链路零代码能力，适配高校大数据课程实训、企业业务数据轻量化加工两大场景，平台具备自主可控资质，拥有多项大数据、分布式数据库相关发明专利与软著，服务全国600+政企客户。

2.2 实验数据

本次实验全部离线数据源，均可在助睿ETL平台内置【公共资源空间】免费调取，本次三大实验模块对应专属文件如下：

1. CSV文件抽取实验：项目运营数据表 project.csv

1. 纯文本文件抽取实验：国际足球赛事数据表 usa_201209.txt

1. Excel表格抽取实验：居民购房调研信息表 custinfo.xlsx

2.3 公共空间数据文件调取流程

1. 账号登录助睿ETL集成工作台，顶部菜单栏选定【数据集成】功能模块，点开侧边栏【我的项目】，点击目标项目右侧更多操作图标，选择【打开项目】进入工作流编辑页面。

1. 点击编辑页面右侧【公共空间】面板，切换至【数据资源】分类标签，检索对应实验文件名，点击文件右侧更多操作，选择【导出资源】。

1. 弹窗内核验文件名无误，自定义存储路径（建议选择项目根目录），确认导出后资源自动存入项目专属【文件库】。

1. 点击左侧【文件库】，右键空白处刷新目录，即可查看已导入的实验数据源，可随时供组件调用。

三、基于组件实现CSV文件抽取与项目绩效自动化研判

3.1 实验目的

依托平台【CSV文件输入】组件读取工程项目CSV原始数据，搭配字段筛选、日期计算、数值分级、文件输出组件，完成项目工期自动核算，结合工期区间自动划分项目绩效等级，最终生成标准化结果CSV文件，掌握结构化逗号分隔文件的全流程ETL加工逻辑。

3.2 业务判定规则

依托数据表开工日期start_date、竣工日期end_date核算项目工期差值diff_date，依据差值划分四级绩效：

• 0≤工期＜30天：绩效等级excellent（优秀）

• 30≤工期＜180天：绩效等级very good（良好）

• 180≤工期＜360天：绩效等级good（合格）

• 工期≥360天：绩效等级poor（待整改）

3.3 工作流搭建分步实操

1. 新建流转任务：数据集成模块内新建空白转换流，打开右侧组件资源库，拖拽【CSV文件输入】基础组件至画布编辑区。

1. 绑定数据源文件：双击打开组件配置面板，点击浏览调取文件库内project.csv，选定文件后系统自动回填存储路径；

1. 精简业务字段：拖拽【字段选择】组件，连线CSV输入组件，链路类型选择【主输出步骤】；双击组件获取上游全部字段。

在完成数据字段配置后，可通过组件的「预览」功能查看数据读取结果，验证数据是否正常加载、字段是否解析正确

在「字段选择」组件的配置窗口中，选择和修改页签提供了字段管理功能，可对字段信息如名称、长度、精度等进行调整

1. 新增工期计算字段：添加【计算器】计算组件，对接字段选择组件主输出链路；新增自定义字段diff_date，计算公式选定「日期差值计算（天数）」，字段A选定end_date竣工时间、字段B选定start_date开工时间，结果数据类型设置为整型Integer，保存计算规则。

1. 配置绩效分级规则：拖拽【数值范围】分级组件，对接计算器组件；输入字段选定diff_date，新建输出字段performance，按照上述四级工期区间逐条录入分级判定规则，绑定对应等级文本值。

1. 配置结果文件输出：添加【文本文件输出】组件承接分级后数据，自定义输出文件名project_output，后缀设定为csv；切换内容标签，将字段分隔符修改为英文逗号；字段标签页右键获取全量上游字段，同步写入结果文件。

切换至「内容」标签页，将「分隔符」手动修改为英文逗号 ,即输出的文件中以,分割字段，配置如下

切换至「字段」标签页，在字段列表区域右键单击，选择「获取字段」，自动加载上游组件传递的所有字段信息，即将上游组件传递的字段都写入到文件中；

1. 运行并核验结果：保存完整工作流，点击画布左上角运行启动任务，流程执行完毕后，刷新项目文件库，即可查看带绩效等级的成品CSV数据表，核验工期计算、等级判定结果无误。

四、TXT文本文件数据抽取与字段过滤

4.1 实验目的

适配非标准后缀文本数据源，掌握自定义分隔符适配、表头识别、无用字段剔除、链路连通性校验方法，本次读取分号分隔足球赛事txt数据，剔除场地冗余字段，留存赛事分析核心字段。

4.2 核心实操步骤

1. 新建空白转换流程，拖拽【CSV文件输入】组件适配txt文本文件（平台该组件兼容文本类文件读取），浏览选定usa_201209.txt赛事文件。

1. 关键参数配置：列分隔符修改为英文分号;，勾选【首行为表头字段】选项，适配文件原生排版格式，右键获取字段后预览原始赛事数据，确认日期、主队、客队、比分字段解析正常。

1. 搭建处理链路：依次添加【字段选择】、【空校验组件（空操作）】，上下游连线均选择主输出步骤，空操作组件用于校验数据末端传输完整性。

1. 冗余字段删除：打开字段选择组件，切换至【移除字段】面板，获取全量字段后，单独删除赛事场地Venue冗余字段，仅保留赛事时间、对战队伍、比分核心业务字段。

1. 流程试运行核验：启动流转任务，运行结束后右键点开空操作组件预览输出数据，确认场地字段已移除，剩余赛事数据完整无缺失。

选中「空操作（什么也不做）」组件，右键单击并选择「预览」，查看经过字段筛选后的数据输出结果，验证字段剔除是否生效、数据传递是否完整，结果如下

五、Excel表格结构化数据抽取与目标字段筛选

5.1 实验背景与目的

购房行为受学历、就业、收入等多维个人属性影响，本次依托custinfo.xlsx居民购房调研表，利用专属Excel输入组件读取表格数据，过滤无关调研字段，筛选出学历education、就业状态employment两大建模核心字段，完成建模前置数据预处理。

5.2 分步实操流程

1. 新建ETL转换工作流，从组件库调取专属【Excel输入】组件，双击配置面板，选定文件库内custinfo.xlsx，添加至选中文件列表，选用Streaming流式解析引擎读取表格。

1. 文件编码与规则配置：内容标签页勾选首行为表头、仅读取非空数据，文件编码选定UTF-8，规避中文乱码问题。

1. 指定读取工作表：工作表标签页自动获取表格sheet信息，勾选Sheet1业务数据表，确定仅读取该表单数据。

1. 解析表单字段：字段面板右键执行【读取表头生成字段】，系统自动识别字段名称、数据格式，确认字段类型无误后保存组件配置。

1. 搭建筛选链路：串联【字段选择】、【空操作校验组件】，全部连线选用主输出链路；打开字段选择组件，仅勾选保留education学历、employment就业两大分析字段，隐藏其余无关调研字段。

1. 结果核验：执行流程运行指令，通过末端空操作组件预览输出数据，确认仅留存两大目标字段，Excel数据抽取筛选流程闭环完成。

• 遇到的问题

问题现象：运行流程时计算器报错：[B cannot be cast to java.util.Date，读取 CSV 数据后日期差值计算失败，流水线中断。

解决方法：打开 CSV 输入组件，将start_date、end_date设置为 Date 类型，格式yyyy-MM-dd并保存；增加过滤组件，剔除日期为空的脏数据；重建计算器组件，重新配置日期天数差计算规则，重新运行流程即可正常执行。

• 实验总结

本次实验依托Uniplore助睿ETL零代码集成平台，绕过数据库直连抽取限制，完成三大主流离线文件数据源全流程处理：

1. 掌握CSV文件抽取、自定义公式计算、条件分级、结果回写导出完整业务流程，可实现业务指标自动化研判；

1. 掌握TXT文本差异化分隔符适配技巧，区分中英文分隔符适配逻辑，完成轻量化字段降噪处理；

1. 掌握Excel表单引擎选择、工作表选定、编码适配、定向字段筛选预处理操作，适配数据分析建模前置数据加工。