零代码 ETL 实战|文本关键词特征工程 & 指标衍生计算完整流程
前言
特征工程是数据分析与可视化前置的关键环节。原始明细表仅能记录基础数据,想要挖掘标题文案对作品互动效果的影响,就需要构造衍生指标、文本标签特征。 本文基于实验 7-1 清洗完成的 content_analysis 明细表,使用助睿 ETL 完成指标计算、关键词识别、数据回填、关键词分组统计两套加工流程。全程零代码拖拽,附带 JavaScript 文本匹配实操方案。
一、实验目的
基于 7-1 清洗完毕的数据,完成两类特征计算并落地数据表:
- 作品维度特征
- 计算互动总数 total_interaction = 点赞 + 收藏 + 分享 + 投币
- 通过标题文本提取 5 个 0/1 标识特征:has_best、has_lowcode、has_practice、has_tutorial、has_pit
- 将结果更新回填至 content_analysis 表,不新增重复数据
- 关键词维度汇总特征 统计包含各个关键词作品的平均互动量,生成汇总表 title_feature_analysis
学习目标:
- 理解特征工程在数据分析链路中的价值
- 使用计算器组件构建衍生指标
- 通过 JS 代码组件实现文本关键词自动标记
- 掌握【插入 / 更新】组件,实现增量回填,避免重复数据
- 熟练组合过滤 + 聚合完成分组统计
二、实验环境
实验平台:助睿在线实验平台 工具:Uniplore 助睿数智|助睿 ETL 数据集成平台
助睿 ETL 核心优势不再赘述,本次重点用到组件清单:
表格
| 组件 | 功能 |
|---|---|
| 表输入 | 读取已清洗 content_analysis 明细表 |
| 计算器 | 四则运算生成互动总量指标 |
| JavaScript 代码 | 标题关键词识别,生成 0/1 标签 |
| 插入 / 更新 | 按主键匹配,原地更新数据表字段 |
| 过滤记录、聚合 | 筛选对应关键词数据并统计均值、样本量 |
| 增加常量 | 给每条统计结果打上关键词名称标签 |
| 合并记录、记录集连接 | 汇总多条分支统计结果 |
| 表输出 | 写入关键词汇总统计表 |
三、核心设计思路
- 互动总数:整合各类互动行为,统一衡量作品热度;
- 标题二元特征:使用 0、1 标记标题是否包含目标关键词,方便后续分组对比; 目标关键词:保姆级、零代码、实战、教程 / 指南、踩坑,均属于技术自媒体高频引流词汇。
- 两种数据粒度分开存储
- 明细层:单作品一条记录,用于大屏明细列表、排名、趋势分析;
- 汇总层:每个关键词一行聚合数据,专门用于对比标题关键词效果。
重要区别:不能直接使用表输出覆盖明细表,必须使用【插入 / 更新】,根据 id 主键匹配更新字段,重复运行任务不会产生冗余脏数据。
四、完整实验操作步骤
4.1 第一部分:更新 content_analysis 明细表
步骤 1 读取数据源
表输入组件读取 7-1 产出的content_analysis数据表。
步骤 2 JavaScript 组件实现关键词识别
写入匹配代码:
javascript
运行
var title = title;
var has_best = title.indexOf("保姆级") !== -1 ? 1 : 0;
var has_lowcode = title.indexOf("零代码") !== -1 ? 1 : 0;
var has_practice = title.indexOf("实战") !== -1 ? 1 : 0;
var has_tutorial = (title.indexOf("教程") !== -1 || title.indexOf("指南") !== -1) ? 1 : 0;
var has_pit = title.indexOf("踩坑") !== -1 ? 1 : 0;
输出 5 个字段,命中关键词 = 1,未命中 = 0。
步骤 3 计算器计算互动总量
新增字段: total_interaction = likes + favorites + shares + coins
步骤 4 使用【插入 / 更新】回填数据表
目标表:content_analysis 匹配关键字段:id 待更新字段:total_interaction、has_best、has_lowcode、has_practice、has_tutorial、has_pit
逻辑说明: 根据 id 主键匹配记录,存在则更新指定字段,不存在才新增。适合反复调试 ETL 流程,杜绝重复数据。 如果选用普通【表输出】,每次运行会新增整行数据,造成数据膨胀。
步骤 5 执行转换流,预览校验字段是否成功写入
4.2 第二部分:构建关键词汇总表 title_feature_analysis
步骤 1 创建目标表结构
表格
| 字段 | 类型 | 说明 |
|---|---|---|
| id | INT | 自增主键 |
| platform | VARCHAR(20) | 平台(B 站 / CSDN) |
| feature_name | VARCHAR(50) | 关键词名称 |
| avg_interaction | DECIMAL(10,2) | 含该关键词作品平均互动量 |
| overall_avg | DECIMAL(10,2) | 平台全部作品整体均值 |
| sample_count | INT | 带该关键词作品数量 |
步骤 2 计算平台整体平均互动量
读取明细表,不添加过滤条件,使用聚合组件计算全部作品AVG(total_interaction)得到 overall_avg。 搭配增加常量组件,设置 feature_name 标签,用于后续数据关联。
步骤 3 单关键词统计(示例:保姆级)
- 分支增加过滤记录:
has_best = 1 - 聚合:AVG (total_interaction)、COUNT (id)
- 增加常量:feature_name = "保姆级"
常量标签必不可少,多条分支合并后,用来区分该行属于哪一个关键词。
步骤 4 关联整体均值与关键词均值
使用记录集连接组件,以 feature_name 作为关联键,把整体平均值挂载到关键词统计行。
步骤 5 表输出写入数据表
不要勾选裁剪表,后续还要依次导入其他关键词统计结果。
步骤 6 批量复制分支完成剩余关键词统计
复制整套过滤 - 聚合 - 常量流程,仅修改两处配置:
- 过滤条件:has_lowcode=1 /has_practice=1……
- 常量 feature_name 文字:零代码、实战、教程指南、踩坑
依次运行所有关键词分支,最终汇总 5 条关键词统计数据。
五、两张产出表业务用途
-
content_analysis(更新后) 粒度:单作品明细 用途:大屏作品榜单、时间趋势、各作品互动明细查询
-
title_feature_analysis(新建汇总表) 粒度:关键词维度聚合数据 用途:分析哪种标题话术更容易获得更高互动,指导后续内容选题与标题优化
六、知识点总结
- 二元标签特征:文本关键词转为 0/1 数值,是非结构化文本转为可统计指标的常用手段;
- 插入更新组件:ETL 增量更新标准方案,区别于全量覆盖写入;
- 分支复用思想:多个关键词统计逻辑一致,复制分支仅修改少量条件即可,提升开发效率;
- 分层数据设计:明细层保存原始粒度数据,汇总层存放聚合指标,分别支撑不同可视化模块;
- 常量字段技巧:聚合后数据丢失维度名称,通过增加常量给统计结果打标签,是零代码 ETL 高频实用技巧。
更多推荐



所有评论(0)