- 浏览: 572439 次
- 性别:
- 来自: 杭州
博客专栏
-
大家一起JS
浏览量:213472
文章分类
- 全部博客 (98)
- WebApp (30)
- javascript (28)
- html (26)
- css (11)
- java (2)
- android (3)
- linux (19)
- spring (1)
- ibatis (1)
- apache (4)
- tomcat (1)
- mysql (4)
- lucene (0)
- 开源产品 (3)
- 关于我 (4)
- nutch (5)
- hadoop (2)
- SEO搜索引擎优化 (1)
- eclipse (4)
- 美工design (4)
- 行业应用 (2)
- php (2)
- 模板 (3)
- maven (1)
- 产品设计 (3)
- ios开发 (0)
- 无线开发 (1)
- Git (0)
- 手游 (0)
最新评论
-
zhunengfei:
mark
报错找不到jquery-1.10.2.min.map解决办法 -
笑笑和坤坤:
...
一个很简短的实现页面滚屏一小段的JS 与之共享 -
xiangkui:
美女,你确定可以这样做??还是 400 错误,可否配置发下?
Form表单如何传递List数组对象到后台的解决办法 -
进击的大树:
[list][*]引用[*][flash=200,200][u ...
报错找不到jquery-1.10.2.min.map解决办法 -
m1037327087:
美女,你好厉害哦!灰常感谢!
ExtJS4.1自带API打不开的问题解决
一、前期准备:
下载hadoop: http://hadoop.apache.org/core/releases.html
http://hadoop.apache.org/common/releases.html
http://www.apache.org/dyn/closer.cgi/hadoop/core/
http://labs.xiaonei.com/apache-mirror/hadoop/core/hadoop-0.20.1/hadoop-0.20.1.tar.gz
http://labs.xiaonei.com/apache-mirror/hadoop/
二、硬件环境
共有3台机器,均使用的CentOS,Java使用的是jdk1.6.0。
三、安装JAVA6
sudo apt-get install sun-java6-jdk
/etc/environment
打开之后加入:#中间是以英文的冒号隔开,记得windows中是以英文的分号做为分隔的
CLASSPATH=.:/usr/local/java/lib
JAVA_HOME=/usr/local/java
三、配置host表
[root@hadoop ~]# vi /etc/hosts
127.0.0.1 localhost
192.168.13.100 namenode
192.168.13.108 datanode1
192.168.13.110 datanode2
[root@test ~]# vi /etc/hosts
127.0.0.1 localhost
192.168.13.100 namenode
192.168.13.108 datanode1
[root@test2 ~]# vi /etc/host
127.0.0.1 localhost
192.168.13.100 namenode
192.168.13.110 datanode2
添加用户和用户组
addgroup hadoop
adduser hadoop
usermod -a -G hadoop hadoop
passwd hadoop
配置ssh:
服务端:
su hadoop
ssh-keygen -t rsa
cp id_rsa.pub authorized_keys
客户端
chmod 700 /home/hadoop
chmod 755 /home/hadoop/.ssh
su hadoop
cd /home
mkdir .ssh
服务端:
chmod 644 /home/hadoop/.ssh/authorized_keys
scp authorized_keys datanode1:/home/hadoop/.ssh/
scp authorized_keys datanode2:/home/hadoop/.ssh/
ssh datanode1
ssh datanode2
如果ssh配置好了就会出现以下提示信息
The authenticity of host [dbrg-2] can't be established.
Key fingerpr is 1024 5f:a0:0b:65:d3:82:df:ab:44:62:6d:98:9c:fe:e9:52.
Are you sure you want to continue connecting (yes/no)?
OpenSSH告诉你它不知道这台主机但是你不用担心这个问题你是第次登录这台主机键入“yes”这将把
这台主机“识别标记”加到“~/.ssh/know_hosts”文件中第 2次访问这台主机时候就不会再显示这条提示信
不过别忘了测试本机ssh dbrg-1
mkdir /home/hadoop/HadoopInstall
tar -zxvf hadoop-0.20.1.tar.gz -C /home/hadoop/HadoopInstall/
cd /home/hadoop/HadoopInstall/
ln -s hadoop-0.20.1 hadoop
export JAVA_HOME=/usr/local/java
export CLASSPATH=.:/usr/local/java/lib
export HADOOP_HOME=/home/hadoop/HadoopInstall/hadoop
export HADOOP_CONF_DIR=/home/hadoop/hadoop-conf
export PATH=$HADOOP_HOME/bin:$PATH
cd $HADOOP_HOME/conf/
mkdir /home/hadoop/hadoop-conf
cp hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml masters slaves /home/hadoop/hadoop-conf
vi $HADOOP_HOME/hadoop-conf/hadoop-env.sh
# The java implementation to use. Required. --修改成你自己jdk安装的目录
export JAVA_HOME=/usr/local/java
export HADOOP_CLASSPATH=.:/usr/local/java/lib
# The maximum amount of heap to use, in MB. Default is 1000.--根据你的内存大小调整
export HADOOP_HEAPSIZE=200
vi /home/hadoop/.bashrc
export JAVA_HOME=/usr/local/java
export CLASSPATH=.:/usr/local/java/lib
export HADOOP_HOME=/home/hadoop/HadoopInstall/hadoop
export HADOOP_CONF_DIR=/home/hadoop/hadoop-conf
export PATH=$HADOOP_HOME/bin:$PATH
配置
namenode
#vi $HADOOP_CONF_DIR/slaves
192.168.13.108
192.168.13.110
#vi $HADOOP_CONF_DIR/core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.13.100:9000</value>
</property>
</configuration>
#vi $HADOOP_CONF_DIR/hdfs-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
<description>Default block replication.
The actual number of replications can be specified when the file is created.
The default is used if replication is not specified in create time.
</description>
</property>
</configuration>
#vi $HADOOP_CONF_DIR/mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>192.168.13.100:11000</value>
</property>
</configuration>
~
在slave上的配置文件如下(hdfs-site.xml不需要配置):
[root@test12 conf]# cat core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://namenode:9000</value>
</property>
</configuration>
[root@test12 conf]# cat mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>namenode:11000</value>
</property>
</configuration>
启动
export PATH=$HADOOP_HOME/bin:$PATH
hadoop namenode -format
start-all.sh
停止stop-all.sh
在hdfs上创建danchentest文件夹,上传文件到此目录下
$HADOOP_HOME/bin/hadoop fs -mkdir danchentest
$HADOOP_HOME/bin/hadoop fs -put $HADOOP_HOME/README.txt danchentest
cd $HADOOP_HOME
hadoop jar hadoop-0.20.1-examples.jar wordcount /user/hadoop/danchentest/README.txt output1
09/12/21 18:31:44 INFO input.FileInputFormat: Total input paths to process : 1
09/12/21 18:31:45 INFO mapred.JobClient: Running job: job_200912211824_0002
09/12/21 18:31:46 INFO mapred.JobClient: map 0% reduce 0%
09/12/21 18:31:53 INFO mapred.JobClient: map 100% reduce 0%
09/12/21 18:32:05 INFO mapred.JobClient: map 100% reduce 100%
09/12/21 18:32:07 INFO mapred.JobClient: Job complete: job_200912211824_0002
09/12/21 18:32:07 INFO mapred.JobClient: Counters: 17
09/12/21 18:32:07 INFO mapred.JobClient: Job Counters
09/12/21 18:32:07 INFO mapred.JobClient: Launched reduce tasks=1
查看输出结果文件,这个文件在hdfs上
[root@test11 hadoop]# hadoop fs -ls output1
Found 2 items
drwxr-xr-x - root supergroup 0 2009-09-30 16:01 /user/root/output1/_logs
-rw-r--r-- 3 root supergroup 1306 2009-09-30 16:01 /user/root/output1/part-r-00000
[root@test11 hadoop]# hadoop fs -cat output1/part-r-00000
(BIS), 1
(ECCN) 1
查看hdfs运行状态,可以通过web界面来访问http://192.168.13.100:50070/dfshealth.jsp;查看map-reduce信息,
可以通过web界面来访问http://192.168.13.100:50030/jobtracker.jsp;下面是直接命令行看到的结果。
出现08/01/25 16:31:40 INFO ipc.Client: Retrying connect to server: foo.bar.com/1.1.1.1:53567. Already tried 1 time(s).
的原因是没有格式化:hadoop namenode -format
发表评论
-
Windows/Linux下Apache日志按日期分类输出配置
2012-03-27 10:02 2005Windows下更改apache httpd.conf配置: ... -
access_log查看方法
2012-03-20 09:17 26151 access_log.1 昨天一天的 ... -
cp: omitting directory”错误的解释和解决办法
2012-03-15 10:17 42129在linux下拷贝的时候有时候会出现cp:omitting d ... -
Ubuntu下彻底卸载mysql
2012-03-14 16:28 17261 sudo apt - get autoremove ... -
Linux(ubuntu下安装)apache2的步骤说明
2012-03-09 13:50 2074在ubuntu上安装apache不难 但是中间很可能会遇到下列 ... -
ubuntu下三种MYSQL的安装过程说明
2012-03-06 13:17 1313三种安装方式: 1. 从网上安装 sudo apt- ... -
Linux(ubuntu)下Eclipse的安装与配置详解
2012-03-01 09:13 9343顺利完成了Eclipse的安装和配置,现将步骤写下,希望对大家 ... -
Linux(ubuntu)下安装以及配置Tomcat详解
2012-02-29 14:31 2118今天在ubuntu上顺利安装上了Tomcat,网上的教 ... -
Linux中常用的APT命令搜集
2012-02-29 13:38 1205常用的APT命令参数: apt-cache sea ... -
Linux的TAR解压命令详解及范例说明
2012-02-29 13:25 1120tar [-cxtzjvfpPN] 文件与目 ... -
Linux中的文件类型
2012-02-29 10:37 1230在介绍属性时,提到了最前面的标志(d或 -)可以表 ... -
解决ubuntu下输入法切换的问题
2012-02-29 10:34 2731新装了ubuntu 11.10,装了fcitx输入法, ... -
Linux解压命令详细介绍
2012-02-28 16:35 1171.tar 解包:tar xvf FileName.tar ... -
如何在ubuntu上安装JDK
2012-02-28 15:55 2492今天搞了一天才在ubuntu上把JDK安装好,安装好一个累啊, ... -
Linux的RPM命令解析
2012-02-28 14:09 1457在Linux操作系统中,有 ... -
Linux的sudo命令和chmod命令
2012-02-28 11:06 14893Linux的两个权限命令。 ... -
Linux目录解析
2012-02-28 10:00 1133目录结构 ——— ... -
在windows7环境下安装Linux系统
2012-02-27 14:48 1974现在很多开源框架限于脚本只能运行在LINUX环境下 ... -
转自-51cto-福布斯 不得不了解的大数据工具-Hadoop
2012-02-22 14:17 1044如今Apache Hadoop已成为大数据行业发展背后的驱动 ...
相关推荐
Linux系统上安装Hadoop的详细步骤,该文档详细的描述了在linux上面如何安装hadoop,如何信息配置,初始化,启动hadoop等等,喜欢的朋友可以拿去使用
大数据组件 详细安装步骤(linux配置 hadoop集群搭建 hive flume kafka spark zk 搭建安装)
hadoop安装详解步骤,里面详细介绍了linux安装hadoop的步骤,以及遇到的问题和解决方法!
资源中包含linux平台编译Hadoop源码的所有软件和详细步骤: 1、下载安装各种软件库 yum -y install svn ncurses-devel gcc* yum -y install lzo-devel zlib-devel autoconf automake libtool cmake openssl-devel 2...
、tar xvzf hadoop-0.20.2.tar.gz3、安装JDK,从oracle网站上直接下载JDK,地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html4、chmod +x jdk-6u21-linux-i586.bin;./jdk-6u21-linux-i586....
本篇文章主要介绍了Linux中安装配置hadoop集群详细步骤,具有一定的参考价值,感兴趣的小伙伴们可以参考一下。
hadoop1升级到hadoop2具体步骤及方法
linux下详细的hadoop环境安装步骤,处理方法,解释,对新手安装很有帮助
详细的hadoop集群搭建步骤
搭建hadoop伪分布式集群的步骤,希望能帮到各位,多多
在Windows环境下直接安装和配置Apache Hadoop的过程相对复杂,因为Hadoop原生设计是面向Linux/Unix环境的。尽管如此,仍然可以在Windows上搭建一个用于学习和开发的单节点Hadoop环境。以下是简化版的在Windows上安装...
Hadoop搭建全程步骤:1.准备Linux环境;2.安装JDK;3.安装Hadoop;4.配置ssh免登陆
在Windows环境下直接安装和配置Apache Hadoop的过程相对复杂,因为Hadoop原生设计是面向Linux/Unix环境的。尽管如此,仍然可以在Windows上搭建一个用于学习和开发的单节点Hadoop环境。以下是简化版的在Windows上安装...
尽管安装其实很简单,书上有写到,官方网站也有 Hadoop 安装配置教程,但由于刚接触对 Linux 环境不熟悉。加上网上不少教程比较乱,导致新手折腾老几天愣是没装好,很是打击学习热情。本文主要介绍hadoop2.6版本的...
很简单,很完善的步骤,有我操做时出现的错误,有解决办法,可以参考,这是我们上大数据实验课做的
该文档提供了linux环境中搭建hadoop集群(大数据)的步骤,个人认为比较详细,供大家学习
Win7中使用Eclipse连接虚拟机中的Linux中的Hadoop2.5.0经验总结. 我自己测试在Hadoop2.5.0,但应该也能解决2.5.0以上版本问题,文档中包含解决步骤及所需要的包,如hadoop.dll及winutils.exe。还有一个修改过的...
这是本人在单机上的Cent-OS系统中配置Hadoop-0.19.1伪分布式时的总结文档,但该文档也适合其他版本的Linux系统和目前各版本的Hadoop(Hadoop-0.20之后的版本配置文件hadoop-site.xml被拆分成了三个core-site.xml,...
三、实验步骤(每个步骤下均需有运行截图) 1.熟悉常用的Linux操作 1)cd命令:切换目录 (1) 切换到目录“/usr/local” (2) 切换到当前目录的上一级目录 (3) 切换到当前登录Linux系统的用户的自己的主文件夹
最近在研究Hadoop,在度娘找了几百几千份文档,拼凑起来才勉强部署好,太耗时,太耗时,太耗时 现在我整理好我过程中的每一个步骤,供大家一起学习共勉。