本文来自gonglue投稿,不代表升华网立场,如若转载,请注明出处:https://54sh.com/middle/67220.html
1 基本概述Hadoop的命令位于${HADOOP_HOME}/bin、${HADOOP_HOME}/sbin、${HADOOP_HOME}/libexec下面。包含了Linux的shell脚本和windows的批处理文件。本文主要解析li...
1 基本概述Hadoop的命令位于${HADOOP_HOME}/bin、${HADOOP_HOME}/sbin、${HADOOP_HOME}/libexec下面。包含了Linux的shell脚本和windows的批处理文件。本文主要解析linux下的shell脚本。2 脚本详解21 start-allsh要启动Hadoop的各节点和其他服务,这是一个绕不开的启动脚本,该脚本位于${HADOOP_HOME}/sbin下。不过在Hadoop的2x版本中,Hadoop官方已经宣布被弃用了。接下来,就详细地分析一下该脚本是如何工作的:1、首先脚本开头有一段注释:# Start all hadoop daemons Run this on master node中文意思是:启动所有的进程(也就是各节点),在管理节点(也就是namenode-名称节点)上运行该脚本2、如果是2x版本会有echo "This script is Deprecated Instead usestart-dfssh and start-yarnsh"的提示,意思该脚本已经过时,该脚本已经被start-dfssh和 start-yarnsh替代使用。3、bin=`dirname"${BASH_SOURCE-$0}"`,提取start-allsh的所在的绝对路径。4、bin=`cd"$bin"; pwd`,切换到start-allsh的所在目录下,并将路径赋值给bin。5、DEFAULT_LIBEXEC_DIR="$bin"//libexec,获取${HADOOP_HOME}/libexec的绝对路径以备后用。6、HADOOP_LIBEXEC_DIR=${HADOOP_LIBEXEC_DIR:-$DEFAULT_LIBEXEC_DIR},为HADOOP_LIBEXEC_DIR变量三元赋值。如果HADOOP_LIBEXEC_DIR为空或者环境变量没有配置,就赋值默认的绝对路径,为下一步执行该目录下面的脚本做准备。大数据培训内容,大数据要学哪些课程第一阶段:大数据技术入门1大数据入门:介绍当前流行大数据技术,数据技术原理,并介绍其思想,介绍大数据技术培训课程,概要介绍。2Linux大数据必备:介绍Lniux常见版本,VMware虚拟机安装Linux系统,虚拟机网络配置,文件基本命令操作,远程连接工具使用,用户和组创建,删除,更改和授权,文件/目录创建,删除,移动,拷贝重命名,编辑器基本使用,文件常用操作,磁盘基本管理命令,内存使用监控命令,软件安装方式,介绍LinuxShell的变量,控制,循环基本语法,LinuxCrontab定时任务使用,对Lniux基础知识,进行阶段性实战训练,这个过程需要动手操作,将理论付诸实践。3CM&CDHHadoop的Cloudera版:包含Hadoop,HBase,Hiva,Spark,Flume等,介绍CM的安装,CDH的安装,配置,等等。第二阶段:海量数据高级分析语言Scala是一门多范式的编程语言,类似于java,设计的初衷是实现可伸缩的语言,并集成面向对象编程和函数式编程的多种特性,介绍其优略势,基础语句,语法和用法, 介绍Scala的函数,函数按名称调用,使用命名参数函数,函数使用可变参数,递归函数,默认参数值,高阶函数,嵌套函数,匿名函数,部分应用函数,柯里函数,闭包,需要进行动手的操作。第三阶段:海量数据存储分布式存储1HadoopHDFS分布式存储:HDFS是Hadoop的分布式文件存储系统,是一个高度容错性的系统,适合部署在廉价的机器上,HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用,介绍其的入门基础知识,深入剖析。2HBase分布式存储:HBase-HadoopDatabase是一个高可靠性,高性能,面向列,可伸缩的分布式存储系统,利用HBase技术可在廉价PC上搭建起大规模结构化存储集群,介绍其入门的基础知识,以及设计原则,需实际操作才能熟练。第四阶段:海量数据分析分布式计算1HadoopMapReduce分布式计算:是一种编程模型,用于打过莫数据集的并行运算。2Hiva数据挖掘:对其进行概要性简介,数据定义,创建,修改,删除等操作。3Spare分布式计算:Spare是类MapReduce的通用并行框架。第五阶段:考试1技术前瞻:对全球最新的大数据技术进行简介。2考前辅导:自主选择报考工信部考试,对通过者发放工信部大数据技能认证书。上面的内容包含了大数据学习的所有的课程,所以,如果有想学大数据的可以从这方面下手,慢慢的了解大数据。《大数据实训课程资料》百度网盘资源免费下载zxcv大数据实训课程资料|云计算与虚拟化课程资源|课程实验指导书综合版|机器学习与算法分析课程资源|Spark课程资源|Python课程资源|Hadoop技术课程资源|云计算课程资料zip|微课zip|算法建模与程序示例zip|spark课程资源zip|hadoop课程资源zip|实验指导书|教学视频|教学PPT
国家免费职业技能培训?
上一篇
12-10
青岛学西点学校哪里好?
下一篇
12-10