大数据时代的数据挖掘分析及案例(含CRISP-DM方法论)

  培训讲师:段方

讲师背景:
段方专业背景:曾在中国银行工作现任某集团总部大数据专家、数据仓库项目经理多家培训机构及大学总裁班特邀讲师十几年专注于大数据的研究与推广积累了15年的大数据领域的实际工作经验。带领相关的团队,从系统创建到系统运营,开发了很多大数据领域的各种应 详细>>

段方
    课程咨询电话:

大数据时代的数据挖掘分析及案例(含CRISP-DM方法论)详细内容

大数据时代的数据挖掘分析及案例(含CRISP-DM方法论)
 

一、“大数据、大机会”:

1.概述

1)大数据概念和特点

2)大数据需要哪些技术支撑

3)大数据能够带来哪些新应用?

2.大数据时代带来对传统营销的挑战

1)大数据如何成为资产?——GOOGLE的市值远超过制造企业

2)大数据如何体现精细营销

3)大数据的价值——靠空调电表判断气候趋势(“指数”)

3.大数据时代的“互联网思维”营销模式

1)互联网思维——先圈用户再挣钱

2)互联网的营销模式——微博营销、网页营销等

3) CRM——“旧貌焕发新颜”

4)精细营销——装上了GPS,实现“精确打击”

4.如何在海量数据中整合线上、线下数据,形成你对客户的独特洞察力

1)知道客户的各个属性——互联网时代不再“是否是狗”

2)客户的群体特征——“人以群分”

5.如何建立产品分析的数据平台,提供产品的“标尺”

1)产品的数据有哪些?

2)产品设计的互联网思维?——小米手机

3)产品的大数据分析——哪些维度?

4)如何“产品为中心”发展为“客户为中心”?——有数据就有可能

6.大数据对企业的精细管理提升

1)企业的精细管理——不再盲人摸象

2)企业的KPI仪表板——进入驾驶舱

3)预防企业的管理风险——早诊断、早发现

4)员工的量化绩效评定——计件之后计量

7.大数据提升企业的产品质量

1)建立量化的产品管理方法——辣椒的辣度评定

2)产品制造过程的管理控制——监控大数据分析

3)产品问题的及时监控——温度、风速等异常早发现

4)产品订制的范例——好莱坞大片的大数据

5)产品质量的量化管控——挡板安装的故事


二、大数据的“数据挖掘技术”

1.数据挖掘概述

1)基本概念——“啤酒和尿布的故事”

2)与讲师系统、统计分析、人工智能的关系——演进历史分析

3)数据挖掘在制造行业的应用内容——如何体现“智能制造”?

2. CRISP-DM过程描述

1)商业理解——要实现什么“目的”?

2)数据的理解以及收集——手里有哪些数据?

3)数据的准备——数据的清洗及转换

4)应用数据挖掘工具建立模型——使用哪种数据挖掘算法和工具?

5)模型评估——算法评估

6)部署(并形成数据挖掘报告)——实际使用及形成报告  

3.数据挖掘常用算法介绍

预测型

1)分类算法

2)回归分析

3)时间序列

描述型

4)关联分析

5)序列关联分析

6)聚类分析

4.数据挖掘具体算法举例

1)神经网络算法

2)决策树算法

5.根据实际问题选择数据挖掘算法

1)客户离网分析

2)客户分群模型

3)产品关联分析

4)问题的描述

需要解决的关键问题

如何转换成为数据挖掘的描述

数据挖掘算法的选择依据

预测类还是描述类

与各种算法的使用特点结合

6.分析结果的检验

对照组数据的选择方法

对照组数据的时间窗口选择

对照组数据的抽样

数据挖掘模型的修订

1)如何剔除无效的结果数据

2) 根据反馈结果进行模型修订

7.数据挖掘项目的投入产出

数据挖掘项目的投入成本计算

数据挖掘项目的产出计算依据 

8.如何形成分析报告

1)分析报告的组成部分

2)部分优秀的分析报告演示

9.常用数据挖掘工具介绍

   1)SAS

   2 ) SPSS


三、数据挖掘具体案例分析

某电信公司具体数据挖掘案例(某产品营销)详细举例

1. 商业理解:提升哪个KPI指标?(ARPU/MOU等)

2. 数据理解及收集:哪些具体的数据(客户详单、客户资料等)

3. 数据准备:

1)客户数据质量分析

如何保障数据质量——哪些衡量指标

如何发现异常数据——剔除干扰数据

2)客户数据抽样过程

抽样比例分析

抽样的具体方法

3)挖掘应用需求描述

如何筛选有用数据——选择相关变量和汇总数据

如何描述需求

4.数据挖掘工具建立模型

挖掘算法选择

如何选择合适的分析方法

如何剔除无效的干扰数据

选择关键变量

挖掘具体过程

结果数据分析

5.模型(算法)评估

LIFT值等分析

6.实际部署及分析报告

   实际分析报告编写示例

   如何计算该项目的投入、产出

项目的投入计算依据

项目的产出计算方法

项目的投入/产出结果


四、基础数据的收集和整理

1、数据的种类

1)客户数据内容(保险客户的基本资料)

2)产品数据内容(产品的编码)

3)营销数据内容(交易记录的保存)

4)服务数据内容(客户服务数据的保存)

5)制造行业数据的特点:(数据类型杂、数据量大等)

2、数据的存放方法

1)数据的清洗、转换和加载

2)存放在数据库/数据仓库

3)数据的基本分析工具EXCEL等

3、数据的基本整理

1)数据的归类存放(建模型)

2)数据的基本加工

4、数据的基础分析

1)数据的基本汇总

2)数据中的“金子”:从石头中淘金子

5、数据质量的基本保障

1)指标的口径描述和统一

2)后期补数据成本是前提收集数据成本的15倍

3)“差之毫厘谬以千里”

6、制造业企业数据的收集和整理

1)制造环境的数据收集/整理

2)采购数据的收集/整理

3)营销数据的收集/整理:

4)人力资源数据的收集/整理

示例:某企业的数据收集/整理方案


五、云计算技术

1.Hadoop项目简介

2.HDFS体系结构

3.HDFS关键运行机制

4.MapReduce产生背景

5.MapReduce编程模型

6.MapReduce实现机制

7.MapReduce案例分析

8.HIVE介绍

9.HBASE介绍


六、总结和展望


 

段方老师的其它课程

=============================================================《中国广电5G运营策略》——段方中国移动资深专家教授北京大学博士后=============================================================15G发展概述1.15G概述1.25G技术特征1.

 讲师:段方详情


=============================================================《人工智能基础及应用培训》-段方某世界100强大数据/AI总设计师教授北京大学博士后=============================================================202916811801概述--

 讲师:段方详情


数据安全技术   04.24

《数据安全技术》-段方某世界100强企业大数据总设计师教授北京大学博士后1概述1.1信息安全的概念及范围1.1.1概述1.1.2信息系统潜在威胁被动攻击主动攻击黑客攻击手法1.1.3信息安全技术概览1.1.4信息安全注重体系安全防护检测响应恢复1.2信息安全等级分类1.2.1分级的概念1.2.2分级保护涉及的标准1.2.3职责和角色1.2.4企业信息等级选择

 讲师:段方详情


=============================================================《数据管理及数仓建模》-段方某世界100强企业大数据/AI总设计师教授北京大学博士后=============================================================13465791461概述---

 讲师:段方详情


=============================================================《数智化发展及运用案例分析》-段方某世界100强企业大数据/AI总设计师教授北京大学博士后=============================================================23704858471概念

 讲师:段方详情


=============================================================《数字经济时代内部审计实战技能提升》——段方某世界100强企业大数据/AI总设计师教授北京大学博士后=============================================================13465791

 讲师:段方详情


=============================================================《铁路行业的数字化转型》——段方某世界100强企业大数据/AI总设计师教授北京大学博士后=============================================================13465762131为什么

 讲师:段方详情


《信息技术的国产化发展与展望》-段方总设计师教授北京大学博士后1概述1.1信息技术的发展概况1.2盗版软件的双刃剑1.3美国为何在信息技术领域对中国进行限制1.4中国如何选择应对的方法?2信息技术国产化现状2.1操作系统方面2.2芯片方面2.3数据系统方面2.4工业软件方面2.5应用软件方面2.6互联网软件方面2.7计算机板卡方面2.8服务器方面2.9云计算

 讲师:段方详情


《银行业与中国科技强国战略的融合与创新》——段方某世界100强企业AI/大数据总设计师教授、北京大学博士后【课程目的】:本课程旨在深化学员对中国科技强国战略的理解,并探讨银行业如何利用新兴科技助力战略实施,促进业务创新和转型升级。通过系统学习,学员将能够识别并应对金融科技发展的趋势和挑战,为银行业的可持续发展提供战略支持。【课程提纲】:I.引言A.银行业与科

 讲师:段方详情


=============================================================《元宇宙概念及应用》-段方某世界100强企业资深专家教授北京大学博士后=============================================================14135907071基本概念--------

 讲师:段方详情


COPYRIGT @ 2001-2018 HTTP://WWW.QG68.CN INC. ALL RIGHTS RESERVED. 管理资源网 版权所有