前言

特征工程是数据分析与可视化前置的关键环节。原始明细表仅能记录基础数据,想要挖掘标题文案对作品互动效果的影响,就需要构造衍生指标、文本标签特征。 本文基于实验 7-1 清洗完成的 content_analysis 明细表,使用助睿 ETL 完成指标计算、关键词识别、数据回填、关键词分组统计两套加工流程。全程零代码拖拽,附带 JavaScript 文本匹配实操方案。

一、实验目的

基于 7-1 清洗完毕的数据,完成两类特征计算并落地数据表:

  1. 作品维度特征
  • 计算互动总数 total_interaction = 点赞 + 收藏 + 分享 + 投币
  • 通过标题文本提取 5 个 0/1 标识特征:has_best、has_lowcode、has_practice、has_tutorial、has_pit
  • 将结果更新回填至 content_analysis 表,不新增重复数据
  1. 关键词维度汇总特征 统计包含各个关键词作品的平均互动量,生成汇总表 title_feature_analysis

学习目标:

  1. 理解特征工程在数据分析链路中的价值
  2. 使用计算器组件构建衍生指标
  3. 通过 JS 代码组件实现文本关键词自动标记
  4. 掌握【插入 / 更新】组件,实现增量回填,避免重复数据
  5. 熟练组合过滤 + 聚合完成分组统计

二、实验环境

实验平台:助睿在线实验平台 工具:Uniplore 助睿数智|助睿 ETL 数据集成平台

助睿 ETL 核心优势不再赘述,本次重点用到组件清单:

表格

组件 功能
表输入 读取已清洗 content_analysis 明细表
计算器 四则运算生成互动总量指标
JavaScript 代码 标题关键词识别,生成 0/1 标签
插入 / 更新 按主键匹配,原地更新数据表字段
过滤记录、聚合 筛选对应关键词数据并统计均值、样本量
增加常量 给每条统计结果打上关键词名称标签
合并记录、记录集连接 汇总多条分支统计结果
表输出 写入关键词汇总统计表

三、核心设计思路

  1. 互动总数:整合各类互动行为,统一衡量作品热度;
  2. 标题二元特征:使用 0、1 标记标题是否包含目标关键词,方便后续分组对比; 目标关键词:保姆级、零代码、实战、教程 / 指南、踩坑,均属于技术自媒体高频引流词汇。
  3. 两种数据粒度分开存储
  • 明细层:单作品一条记录,用于大屏明细列表、排名、趋势分析;
  • 汇总层:每个关键词一行聚合数据,专门用于对比标题关键词效果。

重要区别:不能直接使用表输出覆盖明细表,必须使用【插入 / 更新】,根据 id 主键匹配更新字段,重复运行任务不会产生冗余脏数据。

四、完整实验操作步骤

4.1 第一部分:更新 content_analysis 明细表

步骤 1 读取数据源

表输入组件读取 7-1 产出的content_analysis数据表。

步骤 2 JavaScript 组件实现关键词识别

写入匹配代码:

javascript

运行

var title = title;

var has_best = title.indexOf("保姆级") !== -1 ? 1 : 0;
var has_lowcode = title.indexOf("零代码") !== -1 ? 1 : 0;
var has_practice = title.indexOf("实战") !== -1 ? 1 : 0;
var has_tutorial = (title.indexOf("教程") !== -1 || title.indexOf("指南") !== -1) ? 1 : 0;
var has_pit = title.indexOf("踩坑") !== -1 ? 1 : 0;

输出 5 个字段,命中关键词 = 1,未命中 = 0。

步骤 3 计算器计算互动总量

新增字段: total_interaction = likes + favorites + shares + coins

步骤 4 使用【插入 / 更新】回填数据表

目标表:content_analysis 匹配关键字段:id 待更新字段:total_interaction、has_best、has_lowcode、has_practice、has_tutorial、has_pit

逻辑说明: 根据 id 主键匹配记录,存在则更新指定字段,不存在才新增。适合反复调试 ETL 流程,杜绝重复数据。 如果选用普通【表输出】,每次运行会新增整行数据,造成数据膨胀。

步骤 5 执行转换流,预览校验字段是否成功写入

4.2 第二部分:构建关键词汇总表 title_feature_analysis

步骤 1 创建目标表结构

表格

字段 类型 说明
id INT 自增主键
platform VARCHAR(20) 平台(B 站 / CSDN)
feature_name VARCHAR(50) 关键词名称
avg_interaction DECIMAL(10,2) 含该关键词作品平均互动量
overall_avg DECIMAL(10,2) 平台全部作品整体均值
sample_count INT 带该关键词作品数量
步骤 2 计算平台整体平均互动量

读取明细表,不添加过滤条件,使用聚合组件计算全部作品AVG(total_interaction)得到 overall_avg。 搭配增加常量组件,设置 feature_name 标签,用于后续数据关联。

步骤 3 单关键词统计(示例:保姆级)
  1. 分支增加过滤记录:has_best = 1
  2. 聚合:AVG (total_interaction)、COUNT (id)
  3. 增加常量:feature_name = "保姆级"

常量标签必不可少,多条分支合并后,用来区分该行属于哪一个关键词。

步骤 4 关联整体均值与关键词均值

使用记录集连接组件,以 feature_name 作为关联键,把整体平均值挂载到关键词统计行。

步骤 5 表输出写入数据表

不要勾选裁剪表,后续还要依次导入其他关键词统计结果。

步骤 6 批量复制分支完成剩余关键词统计

复制整套过滤 - 聚合 - 常量流程,仅修改两处配置:

  1. 过滤条件:has_lowcode=1 /has_practice=1……
  2. 常量 feature_name 文字:零代码、实战、教程指南、踩坑

依次运行所有关键词分支,最终汇总 5 条关键词统计数据。

五、两张产出表业务用途

  1. content_analysis(更新后) 粒度:单作品明细 用途:大屏作品榜单、时间趋势、各作品互动明细查询

  2. title_feature_analysis(新建汇总表) 粒度:关键词维度聚合数据 用途:分析哪种标题话术更容易获得更高互动,指导后续内容选题与标题优化

六、知识点总结

  1. 二元标签特征:文本关键词转为 0/1 数值,是非结构化文本转为可统计指标的常用手段;
  2. 插入更新组件:ETL 增量更新标准方案,区别于全量覆盖写入;
  3. 分支复用思想:多个关键词统计逻辑一致,复制分支仅修改少量条件即可,提升开发效率;
  4. 分层数据设计:明细层保存原始粒度数据,汇总层存放聚合指标,分别支撑不同可视化模块;
  5. 常量字段技巧:聚合后数据丢失维度名称,通过增加常量给统计结果打标签,是零代码 ETL 高频实用技巧。
Logo

一站式 AI 云服务平台

更多推荐