大数据时代的数据挖掘分析及案例（含CRISP-DM方法论）
 

一、“大数据、大机会”：

1.概述

1)大数据概念和特点

2)大数据需要哪些技术支撑

3)大数据能够带来哪些新应用？

2.大数据时代带来对传统营销的挑战

1)大数据如何成为资产？——GOOGLE的市值远超过制造企业

2)大数据如何体现精细营销

3)大数据的价值——靠空调电表判断气候趋势（“指数”）

3.大数据时代的“互联网思维”营销模式

1)互联网思维——先圈用户再挣钱

2）互联网的营销模式——微博营销、网页营销等

3) CRM——“旧貌焕发新颜”

4)精细营销——装上了GPS，实现“精确打击”

4.如何在海量数据中整合线上、线下数据，形成你对客户的独特洞察力

1)知道客户的各个属性——互联网时代不再“是否是狗”

2)客户的群体特征——“人以群分”

5.如何建立产品分析的数据平台，提供产品的“标尺”

1)产品的数据有哪些？

2)产品设计的互联网思维？——小米手机

3)产品的大数据分析——哪些维度？

4）如何“产品为中心”发展为“客户为中心”？——有数据就有可能

6.大数据对企业的精细管理提升

1）企业的精细管理——不再盲人摸象

2）企业的KPI仪表板——进入驾驶舱

3）预防企业的管理风险——早诊断、早发现

4）员工的量化绩效评定——计件之后计量

7.大数据提升企业的产品质量

1）建立量化的产品管理方法——辣椒的辣度评定

2）产品制造过程的管理控制——监控大数据分析

3）产品问题的及时监控——温度、风速等异常早发现

4）产品订制的范例——好莱坞大片的大数据

5）产品质量的量化管控——挡板安装的故事

二、大数据的“数据挖掘技术”

1.数据挖掘概述

1）基本概念——“啤酒和尿布的故事”

2）与讲师系统、统计分析、人工智能的关系——演进历史分析

3）数据挖掘在制造行业的应用内容——如何体现“智能制造”？

2. CRISP-DM过程描述

1）商业理解——要实现什么“目的”？

2）数据的理解以及收集——手里有哪些数据？

3）数据的准备——数据的清洗及转换

4）应用数据挖掘工具建立模型——使用哪种数据挖掘算法和工具？

5）模型评估——算法评估

6）部署（并形成数据挖掘报告）——实际使用及形成报告  

3.数据挖掘常用算法介绍

预测型

1）分类算法

2）回归分析

3）时间序列

描述型

4）关联分析

5）序列关联分析

6）聚类分析

4.数据挖掘具体算法举例

1）神经网络算法

2）决策树算法

5.根据实际问题选择数据挖掘算法

1）客户离网分析

2）客户分群模型

3）产品关联分析

4）问题的描述

需要解决的关键问题

如何转换成为数据挖掘的描述

数据挖掘算法的选择依据

预测类还是描述类

与各种算法的使用特点结合

6.分析结果的检验

对照组数据的选择方法

对照组数据的时间窗口选择

对照组数据的抽样

数据挖掘模型的修订

1）如何剔除无效的结果数据

2） 根据反馈结果进行模型修订

7.数据挖掘项目的投入产出

数据挖掘项目的投入成本计算

数据挖掘项目的产出计算依据 

8.如何形成分析报告

1）分析报告的组成部分

2）部分优秀的分析报告演示

9．常用数据挖掘工具介绍

   1）SAS

   2 ) SPSS

三、数据挖掘具体案例分析

某电信公司具体数据挖掘案例（某产品营销）详细举例

1. 商业理解：提升哪个KPI指标？（ARPU/MOU等）

2. 数据理解及收集:哪些具体的数据（客户详单、客户资料等）

3. 数据准备：

1）客户数据质量分析

如何保障数据质量——哪些衡量指标

如何发现异常数据——剔除干扰数据

2）客户数据抽样过程

抽样比例分析

抽样的具体方法

3）挖掘应用需求描述

如何筛选有用数据——选择相关变量和汇总数据

如何描述需求

4.数据挖掘工具建立模型

挖掘算法选择

如何选择合适的分析方法

如何剔除无效的干扰数据

选择关键变量

挖掘具体过程

结果数据分析

5.模型（算法）评估

LIFT值等分析

6.实际部署及分析报告

   实际分析报告编写示例

   如何计算该项目的投入、产出

项目的投入计算依据

项目的产出计算方法

项目的投入/产出结果

四、基础数据的收集和整理

1、数据的种类

1）客户数据内容（保险客户的基本资料）

2）产品数据内容（产品的编码）

3）营销数据内容（交易记录的保存）

4）服务数据内容（客户服务数据的保存）

5）制造行业数据的特点：（数据类型杂、数据量大等）

2、数据的存放方法

1）数据的清洗、转换和加载

2）存放在数据库/数据仓库

3）数据的基本分析工具EXCEL等

3、数据的基本整理

1）数据的归类存放（建模型）

2）数据的基本加工

4、数据的基础分析

1）数据的基本汇总

2）数据中的“金子”：从石头中淘金子

5、数据质量的基本保障

1）指标的口径描述和统一

2）后期补数据成本是前提收集数据成本的15倍

3）“差之毫厘谬以千里”

6、制造业企业数据的收集和整理

1）制造环境的数据收集/整理

2）采购数据的收集/整理

3）营销数据的收集/整理：

4）人力资源数据的收集/整理

示例：某企业的数据收集/整理方案

五、云计算技术

1.Hadoop项目简介

2.HDFS体系结构

3.HDFS关键运行机制

4.MapReduce产生背景

5.MapReduce编程模型

6.MapReduce实现机制

7.MapReduce案例分析

8.HIVE介绍

9.HBASE介绍

六、总结和展望

段方老师的其它课程