꿈 많은 사람의 이야기

얼마전에 도커 기반에다가 하둡을 설치하려고 하다가 애먹은 적이 있었다.본인은 docker에 centos7을 설치하고 그 위에 hadoop(하둡)을 설치하려고 했는데 단순히 docker run -i -t centos /bin/bash를 해서 진행하니까 systemctl 명령어도 안먹히고 hostctl등 먹히지 않는 명령어가 너무 많았다.에러는 failed to get D-Bus connection: Operation not permitted였다구글링해서 찾아보니까 다른 방법으로 실행시켜야 한다고 하였다 docker run --privileged -d --name namenode centos:7 init이었는데 -d옵션이나 --name 옵션은 그리 중요한게 아니고 --priviledged와 init이 중요한..

이번에는 도커의 가장 강력한 기능중 하나인 docker compose에 대해서 알아보고 이걸 이용해서 빅데이터 분석 도구로 사용되고 있는 Elasticsearch-Logstash-Kibana(ELK)를 설치해보겠습니다. 먼저 도커 컴포즈(docker compose)에 대해서 알아봐야겠죠?복수개의 컨테이너가 하나의 애플리케이션으로 구동되는 경우 컨테이너 조합이 복잡해지기 쉽습니다. 예를 들어서 웹 애플리케이션을 하나 구축하려고 하면 web 서버 컨테이너 + WAS 서버 컨테이너 + DB 컨테이너 등을 생성해야하죠.근데 이걸 하나하나 run 시킨다?? 이건 너무 불편하죠.그래서 docker compose가 나옵니다. 도커 컴포즈는 여러개의 컨테이너를 개별 서비스로 인지하게 해서 컨테이너 묶음으로 관리하게 해..

지난 포스팅에서 도커에 대해서 공부해봤습니다. 도커를 이용하면 어려운 아키텍처 설치 및 설정들을 한 번에 관리하기가 쉽습니다.그리고 간단하게 설치도 해보았죠.https://lsjsj92.tistory.com/395 데이터베이스인 mysql도 설치해보았습니다.이번에는 우분투(ubuntu16.04)환경의 도커에서 cenots7을 설치해보고 실행시켰던 컨테이너를 삭제도 해보겠습니다. docker pull 명령어를 이용해서 centos7을 받겠습니다.지난 포스팅에서는 run으로 했는데요.run을 하면 다운을 받고 바로 실행시킵니다.pull은 그냥 다운만 받는 상태로 두는 것이죠.그래서 docker pull centos:7로 다운을 받습니다.이후 docker images 명령어를 치시면 centos가 받아져 있는..

지난 포스팅에서 빅데이터 도구인 ELK 스택 설치 부분에서 엘라스틱 서치 설치를 진행했고 키바나(kibana)를 설치해서 엘라스틱 서치와 연동했습니다.https://lsjsj92.tistory.com/398https://lsjsj92.tistory.com/396 을 참고하시면 되겠습니다.396이 엘라스틱 서치, 398은 키바나설치 및 엘라스틱 연동입니다. 이번 포스팅에서는 로그스태시(logstash)를 설치하고 엘라스틱 서치와 연동하겠습니다. 엘라스틱 서치와 연동하면 자동으로 키바나와 연동이 됩니다. 왜냐하면 이미 kibana랑 elasticsearch와 연동이 되어 있기 때문입니다. 그리고 파이썬 웹 프레임워크인 Django와 연동해서 화면에 띄어보겠습니다. https://www.elastic.co/k..

https://lsjsj92.tistory.com/396 지난 포스팅에서 엘라스틱 서치(elasticsearch)를 설치했습니다. 이번에는 우분투(ubuntu)에 kibana를 설치해봅니다. 앞선 글에서 설명했듯이Elasticsearch, kibana, logstash 3개는 각기 다른 서버에 구성합니다.그래서 설정을 각 서버 포트로 설정할겁니다. 키바나를 설치해보고 엘라스틱 서치와 연동해보겠습니다 https://www.elastic.co/kr/downloads/kibana 사이트에 들어가시면 최신 키바나 버전을 볼 수 있습니다.저는 우분투에 설치할 것이기 떄문에 DEB 64bit로 받았습니다.저 때까지만 해도 최신 버전이 6.4.3버전이네요. 이걸로 받겠습니다. 다 받아졌으면 sudo dpkg -i k..

ELK는 Elasticsearch, Logstash, Kibana로 구성된 데이터 분석을 할 수 있는 오픈소스 데이터 시각화입니다각 요소가 하는 역할을 간단히 살펴보면Elasticsearch : 데이터 처리/검색엔진 => 일종의 DBLogstash : 실시간 데이터 파이프라인을 통하여 데이터 수집Kibana : 시각화 로 구성되어 있습니다. 이번 포스팅은 이 중 엘라스틱 서치를 설치하도록 하겠습니다.elasticsearch와 logstash, kibana는 각각 다른 서버에 구축할 것입니다.즉 3대의 서버에 따로따로 설치하려고 합니다. 어차피 설정에서 ip 주소등을 설정해주면 되니까요! 먼저 엘라스틱 서치를 설치해보죠.조건! java가 설치되어 있어야 합니다.https://lsjsj92.tistory.c..

요즘 도커가 정말 핫합니다.정말정말 편하기 때문이고 강력하기 때문이죠그 복잡한 설치 작업들을 그냥 딱! 해주니까 너무 좋은게 도커입니다. 도커는 2013년 3월 산타클라라에서 열린 pycon conference에서 solomon hykes가 the future of linux containers라는 세션을 발표하면서이 세상에 알려졌습니다.https://www.youtube.com/watch?v=wW9CAH9nSLs&feature=youtu.be 해당 영상입니다. 참고하시면 되겠습니다. 도커란?도커라는 것은 컨테이너 기반의 오픈소스 가상화 플랫폼입니다.이 컨테이너는 서버에서 이야기 하는 것인데 다양한 프로그램, 환경 등을 컨테이너로 추상화하고 동일한 인터페이스를 제공해서 배포 및 관리를 매우 단순하게 해줍..

안녕하세요~ 지난 글까지 centos7을 설치하고, vmware에 복사하는 일을 마쳤습니다. 이제 하둡을 본격적으로 설치할 것입니다. 먼저 주의사항 및 당부사항을 말씀드릴게요 저는 하둡을 처음에 책으로 공부했습니다. 근데 설치가 중간중간 설명이 없어서 구글링으로 했습니다. 그래도 잘 되질 않았습니다. 진행이 안되었어요. 나중에서야 알게 되었지만 이 블로그, 저 블로그 보면서 해서 설정이 꼬였었습니다. 또한, 시간이 오래 걸리다 보니 잠은 자야겠고 출근은 해야겠고 그래서 껐다가 다음날에 다시 하고 이러다 보니까 좀 꼬였어요. 하둡은 시행착오가 계속 있어요. 물론 1번에 되면 좋기야 하겠지만요! 그래서 시간이 부족하신 분들은 2파트로 나누어서 진행하면 편하실 겁니다 1. java 설치 및 ssh 설정 2. ..

이번 글은 centos7을 설치하고 나서 그 설치를 복사하는 방법입니다~ 하나 설치하고 또 하나 설치하고 또 설치하고 그러기엔 시간 소모가 너무 오래걸립니다 특히, 이 글은 하둡을 위한 게시글인데요 서버가 4개가 필요합니다. 1개도 설치가 시간이 꽤 걸리는데 4개를 설치하면 정말 오래걸려요 그때를 대비한 복사 방법입니다! vmware기준입니다~ 설치된 하둡 파일 탭에서 마우스 오른쪽 클릭을 하면 저렇게 나오는데요 거기서 manage -> clone을 선택합니다. 이 화면 나오면 다음을 누릅니다! 위에 것을 선택합니다. 스냅샷을 저장한게 없기 때문에요! 그리고 전 전체 복사를 했습니다. 이것도 필요에 따라서 선택이 달리지는데요 저는 전체 복사가 나을 것 같아서 전체를 선택했습니다. 가상머신 이름을 입력합니..

안녕하세요~ 이번 포스팅 내용은 윈도우에 vmware를 이용해서 centos7을 설치하는 방법을 설명하는 글입니다.이 설치 부분은 하둡을 위한 centos7 설치 부분이지만 그것 외의 용도로도 centos7을 설치할 수 있습니다 준비물은 centos7 iso 파일과, vmware가 필요합니다 iso 파일은 검색하면 쉽게 구하실 수 있습니다. vmware가 조금 문제네요. vmware는 제품 key가 필요합니다. 키가 없으신 분들은 요즘 virtual box를 많이 쓰기도 하더라고요! 어느 것이던 방법은 비슷합니다 먼저 vmware를 실행하고 가상머신 만들기를 클릭하면 아래 사진처럼 나옵니다. 여기서 아래 사진 처럼 선택합니다. 나중에 cd를 넣겠다는 겁니다 마지막에 centos7을 실행하기 전에 cd를 ..