CDA数据分析师认证之数据挖掘实战培训

【课程大纲】

**部分：数据集基础知识（了解你的数据集）

1、 数据集概述

2、 数据集的类型

3、 数据集属性的类型

Ø 标称

Ø 序数

Ø 度量

4、 数据质量三要素

Ø 准确性

Ø 完整性

Ø 一致性

5、 数据预处理的内容

Ø 数据清理（缺失值、离群值的处理方法）

Ø 数据归约（维灾难、维归约、主成分分析）

Ø 特征子集选择

Ø 特征创建/属性构造

Ø 数据离散化和二元化

Ø 属性/变量转换

6、 数据探索性分析

Ø 统计汇总

Ø 可视化

演练：描述性分析（频数、描述、探索、分类汇总）

第二部分：数据挖掘流程（基础，决定你的高度）

1、 数据挖掘概述

2、 数据挖掘的标准流程（CRISP-DM）

Ø 商业理解

Ø 数据准备

Ø 数据理解

Ø 模型建立

Ø 模型评估

Ø 模型应用

案例：4G终端营销项目挖掘过程分析

案例：客户匹配度模型—数据建模

3、 常用数据统计指标

Ø 集中程度：均值、中位数、众数

Ø 离开程度：方差、标准差、极差

Ø 分布趋势：偏度、峰度

Ø 理解分布：正态分布、T分布、F分布

4、 SPSS基本操作（预处理）

Ø 数据导入

Ø 数据排序（排序个案）

Ø 重复数据处理（标识重复个案）

Ø 缺失值处理（替换缺失值）

Ø 生成新变量（计算变量、重新编码）

Ø 数据分组（分类汇总）

Ø 数据合并（合并文件）

演练：SPSS基本操作

第三部分：数据挖掘实战篇

1、 参数检验分析（样本均值检验）

商业问题：如何验证营销效果的有效性？

Ø 参数检验概述

² 单样本T检验

² 两独立样本T检验

² 两配对样本T检验

Ø 参数检验原理以及步骤

Ø 参数检验适用场景

案例：电信运营商的ARPU值评估分析（单样本）

案例：信用卡消费金额评估分析（单样本）

案例：营销方式与产品销量的影响分析（两独立样本）

案例：吸烟与胆固醇升高的分析（两独立样本）

案例：营销方式有效性评估（两配对样本）

案例：减肥效果评估（两配对样本）

2、 非参数检验分析（样本分布检验）

商业问题：这些属性数据的分布情况如何？如何从数据分布中看出问题？

Ø 非参数检验概述

² 单样本检验

² 两独立样本检验

² 两相关样本检验

² 两配对样本检验

Ø 非参数检验原理

Ø 卡方检验、二项分布、游程检验的原理及适用场景

案例：死亡分布检验（单样本-卡方检验）

案例：产品合格率检验（单样本-二项分布）

案例：身高分布差异检验（单样本-KS检验）

案例：设备正常工作检验（单样本-随机分布）

案例：制造工艺差异检验（两独立样本-MW检验）

案例：训练新方法有效性检验（两配对样本-符号/秩检验）

案例：促销方式效果检验(多相关样本-Friedman检验)

案例：客户满意度差异检验(多相关样本-Cochran Q检验)

案例：评委评判黑幕检验（多相关样本-Kendall W检验）

3、 相关分析（相关程度计算）

商业问题：这两个属性是否会相互影响？影响程度大吗？

Ø 相关分析概述

Ø 计算相关系数的三个公式

案例：家庭生活开支的相关分析（Pearson简单相关系数）

案例：营销费用与销售额的相关分析

案例：哪些因素与汽车销量有相关性

案例：腰围与体重的相关分析（偏相关分析）

4、 方差分析（影响因素分析）

商业问题：哪些才是影响销量的关键因素？

Ø 方差分析原理

Ø 方差分析的步骤

Ø 方差分析适用场景

Ø 如何解读方差分析结果

案例：终端陈列位置对终端销量的影响分析（单因素）

案例：广告形式、地区对销量的影响因素分析（多因素）

案例：2015年大学生工资与父母职业的关系

案例：饲料对生猪体重的影响分析（协方差分析）

5、 回归分析（预测分析）

商业问题：如何预测未来的销售量（定量分析）？

Ø 回归分析概述及适用场景

Ø 回归分析的检验过程

Ø 如何选择**优回归模型

Ø 解读回归分析结果

案例：推广费用、办公费用与销售额的关系（线性回归）

案例：人均现金消费支出对人均食品消费支出的影响（曲线回归）

Ø 带分类变量的回归分析

Ø 比如，如何预测随着季节性变化的销量情况

案例：员工工龄、性别与终端销售的关系分析

案例：产品销量的季节性变化预测

6、 逻辑回归分析（预测分析）

商业问题：如果评估用户购买某产品的概率？

Ø 逻辑回归分析原理

Ø 逻辑回归分析的适用场景

案例：客户购买预测分析（二元逻辑回归）

案例：品牌选择预测分析（多项逻辑回归）

7、 时间序列分析（预测分析）

商业问题：随着时间变化，未来的销量变化趋势如何？

Ø 时序分析概述

² 移动平均MA模型

² 指数平滑ES模型

² 自回归滑动平均ARIMA模型

² 季节分解模型

Ø 时序分析适用场景

案例：汽车销量预测分析（指数平滑）

案例：上交所指数收益率预测分析（ARIMA）

案例：服装销售数据季节性趋势预测分析（季节分解）

第四部分：高级数据挖掘方法

1、 聚类分析（Clustering）

商业问题：我们的客户有几类？各类特征是什么？

Ø 聚类方法原理介绍

Ø 聚类方法适用场景

Ø 系统聚类（层次聚类）算法原理

Ø 如何判定**聚类类别数量

案例：数据聚类分析--小康指数划分（Q型聚类）

案例：变量聚类分析--裁判标准一致性分析（R型聚类）

Ø K均值聚类（快速聚类）算法原理

案例：移动三大品牌细分市场合适吗？

案例：如何评选优秀员工（固定聚类中心）

演练：如何选择新产品试销地点？

2、 决策树分类分析（Classification）

商业问题：这类客户有什么特征？有什么潜在销售机会？

Ø 决策树原理介绍

Ø 构建决策树的三个关键问题

² 如何选择**属性来构建节点

² 如何分裂变量

² 修剪决策树

Ø 选择**优属性

² 熵、基尼索引、分类错误

² 属性划分增益

Ø 如何分裂变量

² 多元划分与二元划分

² 连续变量离散化（**优划分点）

Ø 修剪决策树

² 剪枝原则

² 预剪枝与后剪枝

Ø 如何评估分类性能

案例：银行低信用客户特征分析（决策树分类）

3、 基于规则的分类

Ø 基于规则分类原理介绍

Ø 评估规则的质量

Ø 构建分类规则：顺序覆盖法

Ø 规则增长策略

4、 **近邻分类

5、 朴素贝叶斯分类

Ø 贝叶斯分类原理

Ø 计算类别属性的条件概率

Ø 估计连续属性的条件概率

Ø 预测分类概率（计算概率）

案例：评估银行用户拖欠货款的概率

6、 人工神经网络（ANN）

Ø 神经网络基本原理

Ø 神经网络的结构

Ø ANN关键问题

Ø MLP与RBF

案例：评估银行用户拖欠货款的概率

7、 判别分析

Ø 判别分析原理

Ø 距离判别法

Ø 典型判别法

Ø 贝叶斯判别法

案例：MBA学生录取判别分析

案例：上市公司类别评估

8、 关联分析（Association）

商业问题：购买A产品的顾客还常常要购买其他什么产品？

Ø 关联规则原理介绍

Ø 关联规则的两个关键参数

² 支持度

² 置信度

Ø Apriori算法介绍

Ø FP-Growth算法介绍

Ø 关联规则适用场景

案例：商品套餐设计、商品交叉销售（关联分析）

9、 客户价值评估RFM模型

商业问题：如何评估客户的价值？不同价值客户的营销策略有什么区别？

Ø RFM模型介绍

Ø RFM模型用户分类与业务策略

Ø RFM与客户活跃度分析

案例：客户价值如何评估（什么才是VIP用户）

案例：如何选择促销用户（响应模型与促销）

案例：回头客用户特征分析（决策树分析）

10、 主成分分析

Ø 主成分分析方法介绍

Ø 主成分分析基本思想

Ø 主成分分析步骤

案例：评估汽车购买者关注的哪些因素

第五部分：统计图表篇（看图说话）

1、 柱状图/线图/饼图/高低图/箱图/散点图/直方图

2、 图形的表达及适用场景

案例：各种图形绘制

实战1：客户流失预警与客户挽留之真实数据分析实践

实战2：银行信用风险分析

结束：课程总结与问题答疑。

傅一航老师的其它课程