idea 搭建hadoop开发环境

前文学习了hadoop一些的理论知识，本文介绍如何在idea上搭建hadoop开发环境，进行实战编程。

1、创建项目：File-->new-->Project

2、创建项目名

3、pom.xml添加相关hadoop jar包依赖，我本地虚拟机部署的是hadoop 2.10.0版本，配置如下：<?xml  version="1.0" encoding="UTF-8"?>

xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">

4.0.0

com.oraclejsq.www

myHadooop

1.0-SNAPSHOT

UTF-8

2.10.0

org.apache.hadoop

hadoop-common

${hadoop.version}

org.apache.hadoop

hadoop-hdfs

${hadoop.version}

org.apache.hadoop

hadoop-client

${hadoop.version}

junit

junit

3.8.1

test

${project.artifactId}

4、加载好相关依赖jar包后，就可以开始编写一个简单的hadoop程序，查找一个特定的文件是否存在，如下：

package hdfs;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

public class HdfsLearn {

public static void main(String[] args) {

try {

String filename = "hdfs://192.168.100.100:9000/NOTICE.txt";

Configuration conf = new Configuration();

//conf.set("fs.defaultFS", "hdfs://192.168.100.100:9000");

FileSystem fs = FileSystem.get(conf);

if(fs.exists(new Path(filename))){

System.out.println("文件存在");

}else{

System.out.println("文件不存在");

}

} catch (Exception e) {

e.printStackTrace();

}

}

}

5、运行代码看下情况，发现会遇到如下报错信息，那是虽然你的远程hdfs系统已经运行，但是本地开发运行也需要core-site.xml和hdfs-site.xml这两个配置文件知道要访问的hdfs文件部署在哪里，所以把集群上/hadoop/etc/hadoop目录下的两个配置文件复制到当前工程项目下。

6、再次运行项目，发现可以正常运行了。

7、也可以利用conf.set方法告知配置类，要访问的具体hadoop hdfs文件系统的地址，如下也可以正常访问文件系统。conf.set("fs.defaultFS", "hdfs://192.168.100.100:9000");