Hadoop大数据零基础高端实战-认识Hadoop

  • 时间:
  • 来源:互联网
  • 文章标签:

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档

@[TOC]Hadoop大数据零基础高端实战


前言

首先我想说一下我写这篇文章的初衷,一是为了大家可以一起去沟通交流,毕竟遇到目标一致的人,真的很不容易。二是可以把我学过的知识整理出来,加深自己的理解。初来CSDN,请多关照!

1.要求:
1.1整理好心态,这不是一件简单的事情,需要我们以不变的初心来认识,走下去!如果你没有了继续的信心也可以和你身边的同学或者老师去沟通,当然我也愿意去做你的倾听者。
1.2做一个属于自己的博客/Github(梳理知识点,面试)

2.规划
Hadoop偏向于离线开发
熟悉运用Hadoop然后给自己多一份筹码。

3.常规软件:
VMwareWorkstation
CRT
CentOS-6.7-x86_64-bin-DVD1
FileZilla_3.17.0.0_win64_setup
jdk-8u162-linux-x64.tar
scrt_sfx704-x64

4.什么是Hadoop?
4.1.HADOOP是apache旗下的一套开源软件平台
4.2.HADOOP提供的功能:利用服务器集群,根据用户的自定义业务逻辑,对海量数据进行分布式处理
4.3.HADOOP的核心组件有
A.HDFS(分布式文件系统)
B.YARN(运算资源调度系统)
C.MAPREDUCE(分布式运算编程框架)
4.4.广义上来说,HADOOP通常是指一个更广泛的概念——HADOOP生态圈

1、HADOOP就业整体情况
A.大数据产业已纳入国家十三五规划
B.各大城市都在进行智慧城市项目建设,而智慧城市的根基就是大数据综合平台
C.互联网时代数据的种类,增长都呈现爆发式增长,各行业对数据的价值日益重视
D.相对于传统JAVAEE技术领域来说,大数据领域的人才相对稀缺
E.随着现代社会的发展,数据处理和数据挖掘的重要性只会增不会减,因此,大数据技术是一个尚在蓬勃发展且具有长远前景的领域

5.HADOOP就业职位要求:
大数据是个复合专业,包括应用开发、软件平台、算法、数据挖掘等,因此,大数据技术领域的就业选择是多样的,但就HADOOP而言,通常都需要具备以下技能或知识:

A.HADOOP分布式集群的平台搭建
B.HADOOP分布式文件系统HDFS的原理理解及使用
C.HADOOP分布式运算框架MAPREDUCE的原理理解及编程
D.Hive数据仓库工具的熟练应用
E.Flume、sqoop、oozie等辅助工具的熟练使用
F.Shell/python等脚本语言的开发能力

6.Hadoop各组件简介:

HADOOP(hdfs、MAPREDUCE、yarn) 元老级大数据处理技术框架,擅长离线数据分析
Zookeeper 分布式协调服务基础组件
Hbase 分布式海量数据库,离线分析和在线业务通吃
Hive sql 数据仓库工具,使用方便,功能丰富,基于MR延迟大
Sqoop数据导入导出工具
Flume数据采集框架

总结

以上就是今天要讲的内容,本文仅仅简单介绍了Hadoop,明天同一时间我们来讲一下集群搭建!

本文链接http://www.taodudu.cc/news/show-1782018.html