数据采集与埋点知识体系概览
什么是数据采集
数据采集是将用户行为、业务事件、系统日志等数据从各触点收集、传输、存储的过程。埋点是前端/客户端常见的采集手段。
采集方式对比
| 方式 | 实现 | 优点 | 缺点 |
|---|---|---|---|
| 代码埋点 | 开发手动调 SDK | 灵活、数据精确 | 工作量大、依赖发版 |
| 全埋点/无埋点 | 自动采集所有事件 | 无需开发 | 数据量大、缺业务语义 |
| 可视化埋点 | 圈选元素自动生成 | 运营可自助 | 功能受限 |
| 服务端埋点 | 后端接口记录 | 数据准确、防篡改 | 缺少客户端信息 |
推荐组合
- 核心转化路径：代码埋点（精确控制）
- 页面浏览：全埋点（自动覆盖）
- 运营活动：可视化埋点（快速上线）
- 交易/支付：服务端埋点（准确可靠）
核心知识导航
| 主题 | 说明 |
|---|---|
| 埋点方案设计 | 埋点规范、事件分类、命名规范 |
| 事件模型 | Event-User-Property 模型 |
| 前端 SDK 采集 | 数据采集 SDK 设计 |
| 服务端日志采集 | API 日志、ELK、Filebeat |
| 实时与离线采集 | 实时流采集 vs 离线批量导入 |
相关链接
- 前端监控与埋点 - 前端视角的埋点设计
- ETL 与数据管道 - 采集后的数据处理