1、编写代码:
package crt.hadoop.test;
import java.io.IOException;
import java.io.InputStream;
import java.net.MalformedURLException;
import java.net.URL;
import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;
import org.apache.hadoop.io.IOUtils;
public class URLCat {
static{
URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
}
/**
* @param args
*/
public static void main(String[] args) {
// TODO Auto-generated method stub
InputStream in = null;
try{
in = new URL(args[0]).openStream();
IOUtils.copyBytes(in, System.out, 4096, false);
} catch (Exception e) {
// TODO Auto-generated catch block
e.printStackTrace();
} finally{
}
}
}
2、在$HADOOP_HOME下新建目录build/classes/crt/hadoop/test/
3、把URLCat.java复制到$HADOOP_HOME/build/classes/crt/hadoop/test/
4、编译:
$ javac -classpath $HADOOP_HOME/hadoop-common-0.21.0.jar
$HADOOP_HOME/build/classes/crt/hadoop/test/URLCat.java
5、新建测试文件
$ cd /home/hadoop/workspace
$ mkdir readdata
$ cd readdata
$ echo "hello hadoop" > readdatatest.txt
$ hdfs dfs put readdatatest.txt hdfs://namenode:9001/tmp
6、运行:
$ export HADOOP_CLASSPATH=build/classes
$ hadoop crt.hadoop.test.URLCat hdfs://hadoop-namenode:9001/tmp/readdatatest.txt
运行结果:
hello hadoop
分享到:
相关推荐
hadoop权威指南代码 (Hadoop: The Definitive Guide code) http://www.hadoopbook.com
本书是hadoop权威参考,程序员可从中探索如何分析海量数据集,管理员可以从中了解如何安装与运行hadoop集群。 什么是谷歌帝国的基石?mapreduce算法是也!apache hadoop架构作为mapreduce算法的一种开源应用,是...
hadoop权威指南4和源码hadoop权威指南4和源码hadoop权威指南4和源码hadoop权威指南4和源码
Hadoop权威指南中文版(完全版)Hadoop权威指南中文版(完全版)Hadoop权威指南中文版(完全版)Hadoop权威指南中文版(完全版)
本文带来的资源是hadoop权威指南第四版中文版,适合hadoop深入学习
Hadoop权威指南
Hadoop权威指南 大数据的存储与分析 第四版
Hadoop权威指南----读书笔记
hadoop权威指南第四版高清 pdf下载 hadoop权威指南第四版高清 pdf下载
绝对第四版!绝对中文!绝对完整!绝对第四版!绝对中文!绝对完整! Hadoop权威指南 大数据 第四版 修订版&升级版 中文版 pdf格式。Tom White 著,王海 等译,清华大学出版社,最新第4版。
新版已上市!全面深度解读Hadoop的指南,驰骋于云计算和大数据领域的通俗读本
Hadoop编程书籍,由浅入深,介绍Hadoop编程,特别适合初学者以及企业开发人员以及大学生以及其他深造学习者
本书从Hadoop的缘起开始,由浅入深,结合理论和实践,全方位地介绍Hadoop这一高性能处理海量数据集的理想工具。
Hadoop权威指南(中文版)(带书签 Hadoop权威指南(中文版)(带书签 Hadoop权威指南(中文版)(带书签 Hadoop权威指南(中文版)(带书签
hadoop权威指南第四版,内容以hadoop2.x为主,还包含一些hadoop的stable版本的新特性,增加了介绍YARN , Parquet , Flume, Crunch , Spark的章节
Hadoop权威指南中文第四版 pdf Hadoop权威指南中文第四版 pdf
Hadoop权威指南第四版中文版,高清扫描版,有源码 本文带来的资源是hadoop权威指南第四版中文版以及配套的源码,内容以Hadoop2.x为主,包含一些hadoop的stable版本的新特性,与之前 的版本相比增加了介绍YARN , ...
Hadoop权威指南.大数据的存储与分析.第4版.修订版&升级版,
本书是Hadoop权威参考,程序员可从中探索如何分析海量数据集,管理员可以从中了解如何安装与运行Hadoop集群。 目录 第1章 初识Hadoop 数据!数据! 数据存储与分析 与其他系统相比 关系型数据库管理系统...