윈도우기반 Hadoop 설치기

윈도우기반 Hadoop 설치기.

여러명을 대상으로 학습을 진행하다보니 모두 리눅스를 설치하라고 할 수가 없어서 윈도우 기반으로 Hadoop 설치 결정.

처음에 나름 최신버전으로 설치하겠다고 시작했으나 넘어야 할 오류의 산이 너무 많고 높아 설치가 보장된 버전으로 진행.

1. 설치 OS :  Windows 7

2, 참고가이드 : 무려 2009년 버전 (http://v-lad.org/Tutorials/Hadoop/00%20-%20Intro.html )

3. 설치 소프트웨어 버전

   - Cygwin 2.844 : http://cygwin.com/install.html

   - JDK 1.7  : http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

   - Hadoop 0.19.1 : https://archive.apache.org/dist/hadoop/core/hadoop-0.19.1/

   - Eclipse Europa : http://www.eclipse.org/downloads/packages/release/europa/winter

4. 확인사항

   - 컴퓨터명은 영문이어야 함. SSH 실행이 안될수 있음.

   - JDK 는 Program Files 하위 말고 다른 위치에 설치. Cygwin에서 폴더명 인식을 못함.

   - Cygwin 메시지가 깨질경우 아래와 같이 OPTION 수정

     Locale : C  , Characterset : EUC-KR

5. 설치시 주의사항

대부분 가이드대로 진행하면 되지만 아래 사항은 주의

1) Cygwin 설치

   -  Select Package 화면에서 조회되는 항목이 많으므로 SS로 search 해서 필요한 사항만 설치

   -  설치후 cygwin 실행시 권한 문제가 발생할 가능성이 있으므로 아래 세 명령어 실행

      # chmod +r  /etc/passwd

      # chmod +r  /etc/group

      # chmod  755  /var

   - Cygwin 실행은 관리자권한으로 실행

   -  가이드의 대로했는데 에러메시지가 나오면

       /etc/ssh_config 파일에서 AddressFamily 항목을 다음과 같이 고친다.

       AddressFamily inet

2) Hadoop 설치 후 logs 디렉토리 생성 후  해당 디렉토리 755 mode로 변경 (ex : chmod 755  /logs)

 

 

6. 소스수정

  - 가이드대로 수정후  실행하면 에러발생. 아래와 같이 수정

   //conf.setOutputKeyClass(Text.class);   -> 주석처리

   //conf.setOutputValueClass(IntWritable.class); -> 주석처리
   conf.setOutputKeyClass(LongWritable.class);
   conf.setOutputValueClass(Text.class);

아래는 Hadoop 1.2.1 을 설치하다 발생한 문제들. 참고용.

1. Eclipse Plugin은 설치된 Haoop과 Eclipse 버전에서 컴파일된 플러그인을 찾아 사용한다. (직접 빌드해도 된다)

2. 디렉토리의 권한을 줬음에도  0755 Permission error가 발생할 경우 가능하면 Hadoop 버전을 낮추는게 정신건강에 이롭다.

   버그픽스가 있기는 하나 어디서 또 발생할지 모름

3. 버전이 올라갈때마다 설정파일들의 위치가 바뀐다.

4. Name node is in safe mode 라는 메시지는 Hadoop 이 비정상적인 종료를 했을 경우임. 아래 command 시전

$ bin/hadoop dfsadmin -safemode leave