virtual box centos6.7 환경에서 클라우데라 매니저(cloudera manager)로 하둡 설치하기-2

지난 포스팅에서 클라우데라(cloudera) 환경에서 아파치 하둡을 설치했습니다.

더불어서 주키퍼(zookeeper), 얀(yarn)도 설치했죠.

https://lsjsj92.tistory.com/432

이제 이후의 기본적인 설정 방법입니다.

아무래도 vm 환경이다 보니 높은 퍼포먼스로 진행하기 힘듭니다.

저는 램이 16G인데도 각 노드 램을 4, 4, 2로 주니까 죽을라고 하네요 ㅋㅋㅋㅋㅋ

그래서 필요한 설정 등을 할 수 있습니다.

먼저 호스트에 들어가서 역할에 들어가봅니다

그러면 클러스터에서 각 노드들의 역할을 볼 수 있습니다~

어떤 노드에 무엇이 설치되어 있는지 한 눈에 볼 수 있죠

그리고 클라우데라 매니저 메인으로 가서 HDFS 오른쪽의 화살표 버튼을 누르면 역할 인스턴스 추가가 보입니다.

이걸 누르시면

위와 같이 나오게 됩니다.

여기서 datanode를 추가하겠습니다

server01에 추가합니다.

그러면 이렇게 오른쪽에 추가된 역할이 보이게 됩니다

확인을 누르면

이 화면이 나옵니다. 완료를 눌러 진행합니다

그리고 만약 위처럼 서비스가 중지되어 있는 것이 있다면

작업쪽을 누르셔서

재시작을 해줍니다. 아니면 시작을 눌러주시면 시작이 됩니다!

자 시작이 된 것을 볼 수있죠?

이제 다시 구성으로 들어갑니다

여기서 복제 계수를 입력하게 되면 복제 계수가 나오는데요.

원래 기본 디폴트 값으로 3개가 replication value로 지정되어 있습니다

근데 성능이 성능이다보니.. 2개로 줄여줍니다.

변경 내용 저장!

자 이제 다시 한 번 HDFS에 들어가봅니다

다시 구성으로 들어가구요

hdfs 권한이 있습니다. 이것을 해제시켜줍니다

저장!

그리고 HDFS 블록을 치시면 128MB인가 되어 있습니다.

하지만 여기서 진행하는 환경에서는 128 이상의 데이터보다 100MB 정도 되는 데이터가 나오기 때문에 64로 줄여줘서 진행합니다.

다음으로 YARN 얀 설정입니다.

마찬가지로 얀을 클릭한 후 구성으로 들어갑니다

최대 컨테이너 메모리를 수정해줍니다.

yarn.scheduler.maximum을 검색해서

1.5GIB로 바꿔줍니다

그리고 yarn.nodemanager.resource를 검색해서 컨테이너 메모리를 5G로 바꿔줍니다.

그리고 scheduler class를 2번째 fifoscheduler로 바꿔줍니다.

셋팅이 끝났으면 재시작을 진행합니다

그러면 위와 같은 화면이 나오면서 재시작이 완료될 것입니다~

만약 계속 빨간색 버튼으로 바뀌어도 신경쓰지 않으셔도 됩니다.

자원이 부족해서 그러는 것이니까요.

그럴 때는 클라우데라 매니저(cloudera management service)를 끄시면 됩니다.

꺼도 쓰는데 지장없고 단지 위 화면처럼 그래프나 이런 것들을 보지 못합니다.

이 상태로 서버에 커널로 접속해보고 하둡이 실행되고 있는지 확인할 수 있습니다.

hdfs dfs -ls /  명령어를 통해 하둡 명령어가 실행되는 것을 확인할 수 있습니다.

put도 마찬가지로 되구요

hdfs dfsadmin -report를 입력하시면 노드들의 상태도 볼 수 있습니다.

그리고 server02에 접속해서 

zookeeper-client 명령어를 실행시켜서 주키퍼가 실행되는지 확인할 수 있습니다.

만약 별 이상이 없다면 위와 같은 콘솔에 들어오게 되게 됩니다!

책에서 소개한 예제를 쳐보면 잘 동작하는 것을 볼 수 있습니다

이후에는 실무로 배우는 빅데이터 기술 책에서 진행하는 파일럿 프로젝트 환경을 구축합니다.

디렉토리 및 권한 설정을 진행해주고

자바를 잡아줍니다.

다음엔 이 책에서 진행한 플럼과 카프카 설치 방법에 대해서 작성하겠습니다