一、实验背景

1. 实验目的

本次实验我使用助睿数智平台完成浏览器原始访问日志全流程 ETL 处理，主要达成两项学习目标：第一，掌握半结构化日志数据的解析、字段拆分、异常数据清洗、衍生指标计算、结构化入库的整套 ETL 实操方法；第二，依托清洗完毕的结构化数据，在助睿 BI 中完成浏览器市场占比、设备终端分布可视化，落地浏览器市场与用户访问画像分析，理解原始杂乱数据转化为可视化业务分析报表的完整链路。

2. 实验环境

• 平台全称：助睿数智（Uniplore）一站式数据科学实验平台
• 平台定位：覆盖数据接入、ETL 处理、机器学习建模到可视化分析的全链路 Agentic 零代码数据智能
• 实验平台地址：https://lab.guilian.cn/
• 产品官网：https://www.uniplore.com/
• 数据库：MySQL 团队实训私有数据库
• 数据源：平台内置浏览器原始访问日志文件，数据为半结构化拼接文本，单条日志混杂用户 ID、访问时间、浏览器名称、操作系统、访问时长、设备型号等多类信息，无固定结构化字段。

3. 整体处理流程

原始日志文件加载 → 正则拆分日志文本生成基础字段 → 过滤缺失、空值等无效脏数据 → 计算器组件衍生画像业务字段 → 结构化数据批量写入 MySQL 业务数据表 → BI 搭建数据集 → 制作饼图、柱状图完成浏览器市场分布可视化 → 仪表盘整合分析图表

二、实验步骤

1. 数据集成模块新建转换流，加载原始日志文件

操作说明：我在助睿平台左侧菜单栏打开【数据集成】模块，点击新建转换流，命名为「浏览器日志 ETL 数据加工」，在组件库拖拽【加载文件】控件至画布，完成原始日志数据源接入。 配置要点：在加载文件配置面板中，数据源选择平台预设的浏览器日志文件，编码格式选定 UTF-8，点击预览查看原始半结构化日志内容，确认数据加载无误。

图 1：新建 ETL 转换流与加载文件组件配置界面

2. 使用正则表达式拆分组件，拆分混合日志文本

操作说明：在加载文件组件下游连线接入【正则表达式拆分】组件，利用正则规则拆分整条混杂日志，将单行文本拆分为 user_id、access_time、browser_name、os_name、stay_time 等独立结构化字段。 配置要点：参照日志格式编写匹配正则表达式，在组件预览界面核对拆分后字段数量，修正正则漏洞，保证每条日志字段对齐不串位。

图 2：拆分组件参数配置与字段预览页面

3. 过滤记录组件剔除脏数据

操作说明：正则拆分完成后，新增【过滤记录】组件，对拆分后的数据做质量筛选，剔除用户 ID 为空、浏览器名称缺失、访问时间异常空值的无效脏数据。 配置要点：设置过滤表达式user_id IS NOT NULL AND browser_name != '' AND access_time IS NOT NULL，保留符合业务规则的有效访问数据。

图 3：过滤记录组件过滤规则配置截图

4. 计算器组件衍生业务画像字段

操作说明：接入【计算器】组件，基于已有操作系统字段，自主生成is_mobile（是否移动端访问）、access_date（访问日期）两个衍生字段，用于后续用户画像与市场统计。 配置要点：条件判定规则：os_name 为 Android、IOS 则is_mobile=1（移动端），Windows、MacOS 则is_mobile=0（PC 端）；通过日期截取函数从 access_time 提取年月日生成 access_date。

图 4：计算器组件新增衍生字段配置界面

5. 表输出组件将结构化数据入库 MySQL

操作说明：拖拽【表输出】组件，对接上游计算器输出数据，连接团队私有 MySQL 数据库，自动新建browser_access_log数据表，完成全量有效数据入库。 配置要点：数据库选择实训库，开启自动建表选项，按需调整字符串类字段长度，防止超长文本入库报错，运行全流程转换流。

图 5：表输出数据库连接与入库参数配置页面

6. 助睿 BI 搭建数据集，制作可视化分析图表

6.1 BI 新建数据源与数据集

操作说明：切换至【助睿 BI】模块，新建 MySQL 数据源连接，关联刚刚入库的browser_access_log数据表，创建「浏览器市场分析数据集」，修改字段备注为中文后保存发布。 配置要点：核对数据源连接参数与 ETL 入库数据库一致，逐一修改字段中文注释，数据集校验无报错后发布。

图 6：BI 新建数据集、修改字段备注界面

6.2 整合仪表盘

操作说明：新建分析仪表盘，将饼图、柱状图拖拽至画布排版，添加文本分析说明，保存并发布仪表盘。

图 7：浏览器市场画像综合仪表盘最终效果

三、实验结果

1. ETL 数据加工结果：原始日志总条数 3325 条，经过正则拆分 + 脏数据过滤后，有效结构化数据 2992 条；最终数据表browser_access_log包含 6 个原始拆分字段、2 个自定义衍生字段，全部成功写入 MySQL，空值率低于 3%，数据结构满足后续分析要求。
2. 浏览器市场分布结果
   • 浏览器份额：Chrome 谷歌浏览器占比 59.1% 位居第一，Edge 占比 21.7%，Safari 占比 12.3%，Firefox 及其他浏览器合计 6.9%；
   • 终端访问结构：移动端访问用户占比 63.4%，PC 端访问用户占比 36.6%，用户访问行为以手机移动端为主。
3. 可视化成果：完成 1 套综合分析仪表盘，包含浏览器市场饼图、终端设备柱状图，可直观展示浏览器市场格局与用户终端偏好，直接支撑产品运营与用户画像分析。

四、问题与解决

问题 1：正则拆分后部分日志字段错位、内容串列

• 问题现象：少量原始日志文本内部包含和拆分规则一致的特殊符号，导致拆分字段顺序错乱，浏览器名称混入操作系统字段。
• 问题原因：固定分隔符拆分无法适配日志内嵌特殊符号的异常数据，正则表达式匹配规则不完善。
• 解决方法：优化正则匹配语句，精准锚定日志首尾标识，放弃简单分隔符拆分，重新运行正则组件，修正字段错位问题。

问题 2：表输出入库时报字段长度溢出错误

• 问题现象：执行表输出运行报错，部分浏览器名称文本超长，超出默认字段长度导致入库失败。
• 问题原因：平台自动创建数据表时，字符串字段默认长度偏小，无法容纳超长浏览器备注文本。
• 解决方法：在表输出配置页手动修改 browser_name、os_name 字段类型为 VARCHAR (255)，调整字段长度后重新运行转换流。

问题 3：BI 图表统计数据缺失

• 问题现象：饼图统计总数少于入库数据表实际条数。
• 问题原因：BI 图表默认数据加载限额 2000 条，超出部分数据被截断。
• 解决方法：进入图形设置，将数据限额调整为 100% 全量加载，图表数据恢复完整。

五、实验总结

1. 实验收获

通过本次完整的浏览器日志 ETL+BI 可视化实验，我熟练掌握了助睿零代码 ETL 平台从原始半结构化日志到结构化数据表的全流程处理：学会正则文本拆分、多规则数据过滤、自定义衍生指标、批量数据入库；同时掌握 BI 数据集搭建、多类型统计图表、业务仪表盘制作方法，理解了从原始数据落地市场画像分析的完整业务逻辑，明白了数据清洗环节对后续数据分析准确性的关键作用。

2. 平台整体评价

助睿数智 ETL+BI 一体化平台采用全拖拽零代码模式，无需编写大量 SQL 与 Python 代码，大幅降低了 ETL 和数据分析的入门门槛，各类数据处理组件覆盖日志拆分、清洗、入库全场景，BI 图表样式丰富，能快速落地业务可视化。不足之处是部分组件报错提示较为简略，异常数据排查需要分步预览定位，大批量数据渲染时图表加载速度偏慢，整体非常适合数据分析课程实训使用。