Hadoop伪分布式搭建

技术Hadoop伪分布式搭建 Hadoop伪分布式搭建Hadoop伪分布式搭建
伪分布式一开始不需要克隆虚拟机,其余配置和Hadoop完全分布式一样
1. Hadoop安装
1.1 上传文件
用xftp

Hadoop伪分布式搭建

Hadoop伪分布式搭建

伪分布式一开始不需要克隆虚拟机,其余配置和Hadoop完全分布式一样

1. Hadoop安装

1.1 上传文件

用xftp上传hadoop-2.6.0.tar.gz文件到/opt/软件中

1.2 解压文件

进入/opt/软件中解压

CD/opt/软件/进入/opt/软件目录

(tar -zxvf Hadoop包名-丙指定的路径)

tar-zxvf Hadoop-2 . 6 . 0 . tar . gz-C/opt/module//把文件加压到/opt/模块目录中

进入解压后的Hadoop目录修改hadoop-2.6.0为hadoop

CD/opt/模块

mv hadoop-2.6.0 hadoop//修改hadoop-2.6.0为hadoop

1.3 设置环境变量

命令:

vi /root/bash_profile

加入下面内容:

导出HADOOP _ HOME=/opt/module/HADOOP//等号后面是hadoop解压后的路径

导出路径=$PATH:$HADOOP_HOME/bin

导出路径=$PATH:$HADOOP_HOME/sbin

使设置立即生效:

源/根/。bash_profile

验证是否成功:

hadoop版本

1.4 配置Hadoop

配置前进入hadoop中的/etc/hadoop

光盘/opt/模块/Hadoop/etc/Hadoop

1.4.1 修改hadoop-env.sh、yarn-env.sh、mapred-env.sh

找到JAVA_HOME修改他们的JAVA_HOME路径

命令:

六。hadoop-env.sh//进入hadoop-env.sh进行修改

六。yarn-env.sh//进入纱线-环境嘘进行修改

六。mapred-env.sh//进入mapred-env.sh进行修改

配置其中的JAVA_HOME路径(路径根据自己虚拟机上的配置来定)

导出JAVA _ HOME=/opt/module/JDK 1。8 .0 _ 281

1.4.2 配置core-site.xml

命令:

视觉识别系统核心网站。可扩展标记语言

在中添加如下:

!-指定HDFS中名称节点的地址-

财产

namefs.defaultFS/name

价值HDFS ://大师:9000/价值

/property

!-指定Hadoop运行时产生文件的存储目录-

财产

namehadoop.tmp.dir/name

价值/hadoop安装路径/数据/值

/property

1.4.3 配置hdfs-site.xml

命令:

vi hdfs-site.xml

在中添加如下:

!-指定HDFS副本的数量-

财产

namedfs.replication/name

值1/值

/property

1.4.4 配置yarn-site.xml

命令:

视觉识别系统纱线-site.xml

在中添加如下:

!-减速器获取数据的方式-

财产

命名院子。节点管理器。辅助服务/名称

valuemapreduce_shuffle/value

/property

!-指定故事的资源管理器的地址-

财产

nameyarn.resourcemanager.hostname/name

价值主管/值

/property

1.4.5 配置mapred-site.xml

配置前先把mapred-site.xml。模板名字改为mapred-site.xml

mv地图网站。XML。模板映射网站。可扩展标记语言

进入mapred-site.xml进行修改

vi mapred-site.xml

在中添加如下:

!-历史服务器端地址-

财产

namemapreduce.jobhistory.address/name

valuemaster:10020/value

/property

!-历史服务器网端地址-

财产

namemapreduce.jobhistory.webapp.address/name

valuemaster:19888/value

/property

1.5 启动Hadoop

(1)第一次启动要格式化

hdfs名称节点-格式

(2)启动集群(需进入hadoop安装目录)

sbin/start-all.sh

(3)关闭集群(需进入hadoop安装目录)

sbin/stop-all.sh

hdfs网站访问地址:192.168.1.110:50070

内容来源网络,如有侵权,联系删除,本文地址:https://www.230890.com/zhan/77285.html

(0)

相关推荐

  • 如何理解携程架构部开源的配置中心Apollo

    技术如何理解携程架构部开源的配置中心Apollo这篇文章主要讲解了“如何理解携程架构部开源的配置中心Apollo”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“如何理解携程

    攻略 2021年10月20日
  • 方法介绍:回归,regression)

    技术方法介绍:回归,regression) 方法介绍:回归(regression)回归可用于做实证研究,研究自变量和因变量之间的内在联系和规律,常见于社会科学研究中。回归也可用来做预测,根据已知的信息去

    礼包 2021年11月10日
  • 广度优先查找之迷宫问题

    技术广度优先查找之迷宫问题 广度优先查找之迷宫问题1 from collections import deque2 3 maze = [4 [1, 1, 1, 1, 1, 1, 1, 1, 1,

    礼包 2021年12月6日
  • 控制流程语句

    技术控制流程语句 控制流程语句控制流程语句:
    语句:就是使用分号分的代码就是一个语句。
    顺序语句:就式从上往下执行所有代码就是语句。int i = 3;  //声明变量语句;  //空语句Sstem.o

    礼包 2021年12月13日
  • 七年级上册数学计算题大全,七年级上册数学有理数计算题及答案

    技术七年级上册数学计算题大全,七年级上册数学有理数计算题及答案/tk/showsoft.asp?softid=78603这儿有 [-|98|+76+(-87)]*23[56+(-75)-(7)]-(8+4+3) 5+2

    生活 2021年10月25日
  • 画眉鸟翻译,画眉鸟这首古诗是什么意思

    技术画眉鸟翻译,画眉鸟这首古诗是什么意思译文画眉鸟翻译: 千百声的鸟啭,任意回荡著, (就在那)山花万紫千红绽放,高低有致的林木里.
    这才明白:(以前)听到那锁在金笼内的画眉叫声,
    远比不上悠游林中时的自在啼唱.《画

    2021年10月24日