ChinaUnix.net
相关文章推荐:

Hadoop DependencyResolutionException

有木有做运维的同事维护hadoop+hbase的啊 ?想取取经!

by split_two - Hadoop和大数据技术 - 2012-06-05 09:05:46 阅读(1854) 回复(9)

相关讨论

参考
http://hadoop.apache.org/common/docs/current/streaming.html
http://dongxicheng.org/mapreduce/hadoop-streaming-programming/
1、
hadoop Streamimg是随hadoop发布的一个编程工具,允许使用任何可执行文件或脚本创建和运行map/reduce job。
例如:最简单的
$hadoop_HOME/bin/hadoop  jar $hadoop_HOME/hadoop-streaming.jar \
  ...

by xjc2694 - NoSQL技术 - 2011-12-23 02:32:19 阅读(1322) 回复(0)

一篇介绍hadoop lzo的文档:
hadoop-at-twitter-part-1-splittable-lzo-compression/" target="_blank" target="_blank">http://www.cloudera.com/blog/2009/11/hadoop-at-twitter-part-1-splittable-lzo-compression/

1、在所有node安装lzo的动态链接库文件。
下载:http://www.oberhumer.com/opensource/lzo/
h...

by xjc2694 - NoSQL技术 - 2011-12-23 02:32:19 阅读(1803) 回复(0)

原文地址:http://blog.csdn.net/calvinxiu/archive/2007/02/09/1506112.aspx hadoop 是Google MapReduce 的一个Java实现。MapReduce是一种简化的分布式编程模式,让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考虑内存泄露一样, MapReduce的run-time系统会解决输入数据的分布细节,跨越机器集群的程序执行调度,处理机器的失效,并且管理机器之间的通讯请求。这样的模式允许程序员可以不需要...

Hadoopjava分布式

by surpass_li - NoSQL技术 - 2011-01-28 15:02:44 阅读(10318) 回复(5)

hadoop 是Google MapReduce 的一个Java实现。MapReduce是一种简化的分布式编程模式,让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考虑内存泄露一样, MapReduce的run-time系统会解决输入数据的分布细节,跨越机器集群的程序执行调度,处理机器的失效,并且管理机器之间的通讯请求。这样的模式允许程序员可以不需要有什么并发处理或者分布式系统的经验,就可以处理超大的分布式系统得资源。...

by xpjjy - Java文档中心 - 2009-01-09 16:47:36 阅读(1148) 回复(0)

1.解压 [color="#555555"]1 tar -zvxf hadoop-0.16.1.tar.gz 同时设置环境变量 [color="#555555"]1 2 3 4 5 6 7 8 9 10 11 12 13 14 # vi /etc/profile JAVA_HOME=/usr/local/jrockit export JAVA_HOME PATH=$PATH:$JAVA_HOME/bin export PATH CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export CLASSPATH hadoop_HOME=/usr/local/hadoop export hadoop_HOME hadoop_LOG_DIR=/var/log/hadoop export hadoop_LOG_DIR hadoop_...

by 剑心通明 - BSD文档中心 - 2008-03-23 20:47:00 阅读(1630) 回复(0)

hadoop通常被认定是能够帮助你解决所有问题的唯一方案。 当人们提到“大数据”或是“数据分析”等相关问题的时候,会听到脱口而出的回答:hadoop!实际上hadoop被设计和建造出来,是用来解决一系列特定问题的。对某些问题来说,hadoop至多算是一个不好的选择。对另一些问题来说,选择hadoop甚至会是一个错误。对于数据转换的操作,或者更广泛意义上的抽取-转换-装载的操作(译者注:Extraction Transformation Load,ETL,数据仓...

by send_linux - 数据仓库与数据挖掘 - 2013-11-25 20:06:50 阅读(17902) 回复(4)
by patagonia - 下载共享 - 2015-09-02 22:30:44 阅读(36405) 回复(196)

[code] -bash-3.2$ hadoop jar /home/hadoop/mahout-distribution-0.7/mahout-examples-0.7-job.jar RunJar jarFile [mainClass] args... [/code]

by zhaopingzi - NoSQL技术 - 2013-12-16 10:12:00 阅读(1030) 回复(0)

-bash-3.2$ hadoop namenode -format 13/11/19 09:58:22 INFO namenode.NameNode: STARTUP_MSG: /************************************************************ STARTUP_MSG: Starting NameNode STARTUP_MSG: host = mysql3/192.168.7.81 STARTUP_MSG: args = [-format] STARTUP_MSG: version = 1.0.3 STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.0 -r 1335192; compiled ...

by zhaopingzi - 分布式文件系统(FastDFS) - 2014-03-27 16:40:03 阅读(1330) 回复(3)

HTTP ERROR 500 Problem accessing /nn_browsedfscontent.jsp. Reason: Cannot issue delegation token. Name node is in safe mode. The reported blocks 0 needs additional 10 blocks to reach the threshold 0.9990 of total blocks 10. Safe mode will be turned off automatically Caused by: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot issue delegation token. Name node is in safe mode....

by zhaopingzi - 分布式文件系统(FastDFS) - 2013-11-14 21:41:06 阅读(2036) 回复(2)