20.03 ~ 20.08 국비교육/Hadoop 7

데이터 입력

데이터를 받을 수 있는 홈페이지 선생님이 올려주신 파일을 받을 것이다. 많은 양의 데이터를 읽을 수 있는 프로그램 다운로드 맨 위의 두 줄을 지워야 한다. shift + 아래방향 키 + del -> 저장 bin 폴더의 리스트를 확인하다. mkdir 명령을 사용해 air 폴더를 생성한다. put 명령을 사용해 데이터 파일을 air 폴더 아래로 옮긴다. localhost 50070으로 접속하면 하둡 파티션을 확인할 수 있다. live nodes 데이터노드 정보를 볼 수 있다. 이런 저런 정보를 볼 수 있다.

Eclipse에서 Hadoop 실행하기

자바에서 쓰던 이클립스에서 프로젝트를 생성한다. 라이브러리에서 외부 JARs 추가하기를 누른다. share 아래의 폴더들에서 다 갖고온다. 클래스 파일 생성 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 package hadoopJava; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FSDataOutputStream; import or..