Hadoop 大数据解决方案平台技术培训

  培训讲师:尹传亮

讲师背景:
尹传亮——平安金融高级工程师10年以上的IT工作经验,研发出身,在产品设计,项目管理均有着丰富的实战经验。14-15年,作为产品经理,参与公司爬虫系统设计。15-16年,作为项目负责人,带队在华为实施爬虫项目,并在期间打磨爬虫系统,数据爬取 详细>>

尹传亮
    课程咨询电话:

Hadoop 大数据解决方案平台技术培训详细内容

Hadoop 大数据解决方案平台技术培训

Hadoop 大数据解决方案平台技术培训

【课程目标】
Hadoop
作为开源的云计算平台,为大数据处理提供了一整套解决方案,应用非常广泛。Hadoop
作为一个平台框架,包括了如何存储海量数据,如何处理海量数据,以及相应的数据库
、数据仓库、数据流处理、数据分析和挖掘算法库,
等等。本课程主要介绍 Hadoop 的思想、原理,以及重要技术等相关知识。
通过本课程的学习,达到如下目的∶ 1、全面了解大数据处理技术的相关知识。
2、学习 Hadoop 的核心技术以及应用。
3、深入掌握 Hadoop 的相关工具在大数据中的使用。 4、掌握 Hadoop
的常用模块的工作原理及开发应用技术。
5、掌握传统数据中心向大数据中心转换的关键技术。
6、掌握海量数据处理的性能优化及维护技巧。
【授课时间】
2~5 天时间
【授课对象】
网络部、大数据系统开发部、大数据中心、网络运维部等相关技术人员。
【授课方式】
原理精讲+案例演练+开发实践+系统优化
【课程大纲】
第一部分∶Hadoop 的基本框架
1、大数据时代面临的问题
2、当前解决大数据的技术方案
3、Hadoop 架构和云计算
4、Hadoop 简史及安装部署
5、Hadoop 设计理念和生态系统
二部分∶HDFS分布式文件系统∶海量数据存储的摇篮
1、HDFS 的设计目标
2、HDFS的基本架构
> NameNode 名称节点
> SecondaryNameNode 第二名称节点> DataNode 数据节点
3、HDFS的存储模型
> 数据块存储
> 元数据存储(空间镜像与编辑日志)> 多副本存储
4、多副本放置策略
多数据节点管理机制与交互过程
6、文件系统操作与管理
> 读文件过程
> 写文件过程(数据流管道)
7、数据完整性机制
> 数据校验和> 数据完整性扫描线程元数据备份与合并
8、数据可靠性设计
> 安全模式(数据块与节点映射关系管理)
> 心跳检测机制(节点失效管理)
> 租约机制(多线程并发控制)
9、其它
> HDFS 的安全机制
> 负载均衡
> 文件压缩
10、 操作接口与编程接口
> HDFS ShellHDFS Conmands
> WebHDFS REST API> HDFS Java API演练∶ HDFS 文件操作命令演练∶ HDFS
编程示例
第三部分∶MapReduce分布式计算系统∶海里数据处理的利器
1、MapReduce 的三层设计理念
> 分布治 之的设计思想(Map 与 Reduce)
> 数据处理引擎(编程模型)
> 运行时环境(任务调度与执行)
2、MapReduce 的基本架构
> JobTracker 作业跟踪器
> TaskTracker 任务跟踪器
> MapReduce 与 HDFS 的部署关系
3、MapReduce 编程模型概 述
> 编程接口介绍
> Hadoop 工作流实现原理
MapReduce 作业调度机制
> MapReduce 作业生命周期
> 作业调度策略静态资源管理方案
5、数据并行处理机制(五步骤)
> Input 阶段实现
> Map 阶段实现
> Shuffle 阶段实现
> Reduce 阶段实现
> Output 阶段
6、HapReduce 容错机制
> 任务失败与重新尝试
> 节点失效与重调度
> 单点故障
7、MapReduce 性能优化
> 优化方向与思路
> 磁盘 Io 性能优化
> 分片优化
> 线程数量优化
> 内存优化
>压缩优化
8、MapReduce 操作接口
> Job Shell> Web UI
案例演练∶MapRedce 编程示例 g、YARN∶ 下一代通用资源管理系统
> KRv1 的局限性
> YARN 基本框架
> HA 解决单点故障
HDFS Federatiox 解决扩展性问题
第四部分∶ Hase非关系型数据库∶海里数据的黎明
HBase 的使用场景
2、HBase 的基本架构
> Zookeeper 分布式协调服务器
> Master 主控服务器
> Region Server区域服务器
3、HBase 的数据模型
> Hase 的表结构
> 行键、列键、时间戳
4、Hase 的存储模型
> 基本单位 Region
> 存储格式HFile
数据分裂机制 Split
数据合并机制Compaction> minor compactionmajor compaction
HLog 写前日志
8、数据库读写操作
> 数据库写入
>数据库读取
> 三次寻址
9、Hase 操作接口
Native Java API> HBase Shell
> 批量加载工具
> HiveQL 操作
10、 HBase性能优化
> 写速度优化
> 读速度优化
11、 HBase 集群监控与管理
案例演练∶Hase 命令操作实例
> 数据库写入
> 数据库读取
>三次寻址
9、HBase操作接口
> Native Java APIHBase Shell
> 批量加载工具
> HiveQL 操作
10、 HBase 性能优化
>写速度优化
> 读速度优化
11、 HBase 集群监控与管理
案例演练∶ HBase 命令操作实例
第五部分∶Hive分布式数据仓库∶高级的编程语言
1、Hive是什么
2、Hive与关系数据库的区别
3、Hive系统架构
> 用户接口层
> 元数据存储层
> 驱动层
4、Hive常用服务
5、Hive元数据的三种部署模式
6、Hive的命名空间
7、Hive数据类型与存储格式
> 数据类型
> TextFile/SequenceFile/RCFile
Hive的数据模型管理表外部表分区表桶表
HL语言命令实例
> DDL数据定义语言
> DML数据操作语言
> QUERY数据查询语言
Hive自定义函数
> 基本函数(UDF)
> 聚合函数(UDAF)
> 表生成函数(UDTF)
Hive性能优化
> 动态分区
> 压缩
> 索引
>JVM 重用
案例演练∶ Hive 命令操作实例
第六部分∶Sqoop数据交互工具∶ Hadoop与传统数据库的桥梁
Sqoop 是什么
Sqoop 的架构和功能
>Sqoop 1 架构
> Sqoop2 架构
3、数据双向交换
> 数据导入过程
>数据导出过程
4、数据导入工具与命令介绍
案例演练∶ Sqoop 数据导入/导出实际操作
第七部分∶Pig数据流处理引擎∶ 数据脚本语言
1、Pig 介绍
2、命令行交互工具 Grunt 3、Pig 数据类型
4、Pig Latin却本语言介绍
> 基础知识
> 输入和输出
>关系操作
> 调用静态 Java函数
Pig Lati高级应用
6、开发与测试Pig Lati脚本
>开发工具任务状态监控
>调试技巧
7、脚本性能优化
8、用户自定义函数 UDF
案例演练∶ Pig Latin脚本编写、测试与运行操作
结束∶课程总结与问题答疑。

 

尹传亮老师的其它课程

Python机器学习算法实战【课程目标】本课程为高级课程,专注于机器学习算法,原理,以及算法实现及优化。通过本课程的学习,达到如下目的:熟悉常见的机器学习的算法。掌握机器学习的算法原理,以及数据推导。学会使用Python来实现机器学习算法,以及优化算法。掌握scikit-learn扩展库来实现机器学习算法。【授课时间】2-3天时间【授课对象】IT系统部、大数

 讲师:尹传亮详情


Python开发语言基础实战培训【课程目标】Python已经成为稳居前三的最受欢迎的语言之一,它简单易用、跨平台、功能强大、扩展性强,而且能够将其它语言编写的程序融合起来,实现无缝连接,号称是万能胶水语言。本课程为Python语言基础学习,通过本课程的学习,达到如下目的:全面掌握Python语言以及其编程思想。掌握Python基本格式,以及常用的6种基本语句

 讲师:尹传亮详情


Python课程   06.19

Python课程一、数据挖掘导论数据挖掘的基本任务与步骤:目标、数据探索、数据预处理、建模、模型评价有监督学习无监督学习和半监督学习算法模型Sklean数据挖掘和机器学习算法库介绍大数据建模常见问题问题引出:客户行为分析-用户用电异常的识别二、Python编程快速入门Python编程环境与语法快速入门基础数据结构:字符串处理及应用数据结构:列表、元组、集合、

 讲师:尹传亮详情


Python实现大数据挖掘技术培训【课程目标】Python已经成为数据分析和数据挖掘的首选语言,作为除了Java、C/C++/C#外最受欢迎的语言。本课程基于Python工具来实现大数据的数据分析和数据挖掘项目。基于业务问题,在数据挖掘标准过程指导下,采用Python分析工具,实现数据挖掘项目的每一步操作,从数据预处理、数据建模、数据可视化,到最终数据挖掘结

 讲师:尹传亮详情


Python运用   06.19

PYTHON数据分析第一模块:python语言基础知识0.5H1.python简介2.python的特征3.第一个python程序4.搭建开发环境5.python的开发工具6.不同平台下的python第二模块:Python的基本语法2H1.Python的文件类型2.Python的编码规则3.变量和常量4.数据类型5.运算符与表达式第三模块:python的控制

 讲师:尹传亮详情


大数据变革与商业模式创新【课程目标】大数据时代已经来临,大数据战略已经上升到国家意志,拥有大数据的规模和利用大数据的能力已经成为国家竞争力的一种体现,大数据的重要性已经毋庸置疑。本课程围绕大数据产业,从大数据的基本面出发,分析大数据的应用价值;大数据作为工具,如何帮助企业提升运营效率,提升企业利润;再到大数据引起的思维变革,怎样改变企业管理、社会治理的思维;

 讲师:尹传亮详情


大数据时代的精准营销【课程目标】本课程从实际的市场营销问题出发,了解大数据在市场营销领域的价值以及应用。并对大数据分析与挖掘技术进行了介绍,通过从大量的市场营销数据中分析潜在的客户特征,挖掘客户行为特点,实现精准营销,帮助市场营销团队深入理解业务运作,支持业务策略制定以及营销决策。通过本课程的学习,达到如下目的:了解大数据营销内容,掌握大数据在营销中的应用。

 讲师:尹传亮详情


大数据挖掘工具:SPSSStatistics入门与提高【课程目标】随着大数据分析的需求越来越旺盛,大数据分析工具也越来越琳琅满目,然而,绝大多数的分析工具都只具有单一用途,无法满足企业的复杂的多样化的全面的业务分析需求,因此分析工具的选择成为了一个挑战。一个良好的分析工具必须满足如下要求:易学易用易操作。分析效率要高。满足业务分析需求。如果要说前两个要求,显

 讲师:尹传亮详情


数据分析与建模第一章数据分析与大数据平台1.大数据相关概念2.大数据特征3.大数据平台简介第二章数据分析流程1.数据分析2.数据分析工具3.数据分析流程4.典型模型场景第三章重要的python库1.NumPy2.pandas3.matplotlib4.IPython与Jupyter5.SciPy6.scikit-learn7statsmodels第4章Num

 讲师:尹传亮详情


COPYRIGT @ 2001-2018 HTTP://WWW.QG68.CN INC. ALL RIGHTS RESERVED. 管理资源网 版权所有