Eclipse에서 Hadoop 실행하기

<Eclipse에서 라이브러리 추가하기>

 

 

자바에서 쓰던 이클립스에서 프로젝트를 생성한다.

 

 

 

라이브러리에서 외부 JARs 추가하기를 누른다.

 

 

 

 

share 아래의 폴더들에서

 

 

 

 

다 갖고온다.

 

 

 

 

 

<간단한 예제>

 

 

 

클래스 파일 생성

 

 

 

package hadoopJava;
 
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
 
public class singleFileWriteRead {
 
    public static void main(String[] args) {
        
        //입력 파라미터 확인
        if(args.length != 2) {
            System.err.println ("Usage: SingleFileWriteRead <filename><contents>");
            System.exit(2);
            //프로그램 종료해라
        }
        
        try {
            //파일 시스템 제어 객체 생성
            Configuration conf = new Configuration();
            FileSystem hdfs = FileSystem.get(conf);
            
            //경로 체크
            Path path = new Path(args[0]);
            if(hdfs.exists(path)) {
                hdfs.delete(path, true);
            }
            
            //파일 저장
            FSDataOutputStream outStream = hdfs.create(path);
            outStream.writeUTF(args[1]);
            outStream.close();
            
            //파일 출력
            FSDataInputStream inputStream = hdfs.open(path);
            String inputString = inputStream.readUTF();
            inputStream.close();
            
            System.out.println("##inputString: " + inputString);
            
        } catch(Exception e) {
            e.printStackTrace();
        }
 
    }
 
}

 

하둡 파티션에 파일 객체를 생성하고 내용을 기입한 후 그 내용을 읽어서 콘솔에 출력하는 예제

 

 

 

 

JAR 파일로 export

 

 

 

 

소스 내보내기, 오버라이트 체크한 뒤 경로 지정

 

 

 

 

hadoop 밑에 bin을 저장 경로로 지정

 

 

 

 

메인 클래스를 지정해준다.

 

 

 

 

 

finish

 

 

 

 

hadoop 폴더 밑에 bin 밑에 jar파일이 export 되었다.

 

 

 

 

 

 

cmd 창을 켜고 sbin 경로로 이동한 뒤 start-all 명령을 이용해 hadoop을 실행한다.

 

 

 

 

yarn jar 명령을 통해 메소드 실행

-ls 명령으로 생성된 파일을 확인한 뒤

-cat 명령을 사용해 입력한 텍스트를 읽어온다.

 

 

*Yarn(ver 2.0 이상) -> Hadoop 실행

*Hadoop(ver 1.0) -> 컨트롤러를 거치지 않고 직접 실행

-> 인자 두 개: input.txt에 내용을 읽어 저장했다.

 

 

 

 

 

<삭제 명령>

 

 

 

 

 

 

 

 

 

out이 들어간 모든 파일 삭제