꿈 많은 사람의 이야기

윈도우에서 도커를 쓰면 정말 에러 해결하기가 힘들다.특히 도커 툴 박스는 더욱이 그런 것 같다. 이게 virtual box 위에서 동작하다보니까 더 까다롭다.얼마전 도커를 사용하다가 계속 컨테이너가 1개 뿐이 안올라가고Error response from daemon: cgroups: cannot find cgroup mount destination: unknow 라는 에러가 계속 나왔다.그래서 컨테이너 1개만 실행해도 저 에러가 계속 나와서 여간 까다로운 것이 아니었다. 구글링을 해도 안나오고.. 결국 찾다 찾다 겨우 찾아서 저 도커 에러에 대해 포스팅을 남긴다. Error response from daemon: cgroups: cannot find cgroup mount destination: unkn..

지난 포스팅에서 도커(docker)환경 centos7에서 하둡(hadoop)을 설치했습니다. https://lsjsj92.tistory.com/418 이번 포스팅에서는 하둡을 설치한 해당 도커 컨테이너에 아파치 스파크(apache spark)를 2버전으로 설치하려고 합니다. 아파치 스파크는 하둡의 맵리듀스 단점을 보완해줍니다.실시간 데이터 처리 기능(spark streaming)도 되고, 맵 리듀스, 나아가서 머신러닝 알고리즘(spark MLlib)도 지원해줍니다. 그렇기에 하둡과 연동해서 자주 사용하죠!이번 포스팅은 이 스파크를 설치해봅니다. 그리고 현재 도커 centos7에 하둡과 스파크까지 다 설치하고 docker hub(도커 허브)에 배포해봅니다. 도커 허브에 배포하면 해당 이미지를 가지고 다른 ..

안녕하세요. 날씨가 많이 춥네요벌써 연말입니다. 모두들 2018년 마지막 마무리 잘 하시길 바라구요. 행복한 2019년을 맞이하시길 바랍니다! 이번에는 도커( docker) 환경에다가 하둡2(hadoop)와 스파크(spark)를 설치하는 과정을 포스팅 하려고 합니다.이번 포스팅은 하둡만 설치해보고 다음 포스팅에서 스파크를 설치해보려고 합니다. 도커라는 것이 정말 강력해서 이렇게 환경 설정 해놓으면 docker hub에 올려 언제든지 재사용할 수 있다는 것이 매우 좋은데요하둡을 이렇게 설치해놓으면 매우 간편합니다. 시작해봅니다. 저는 윈도우 환경에서 도커를 설치해서 진행했습니다.뭐 어느 환경이던 상관없습니다 먼저 centos 7버전을 pull합니다.docker pull centos:7을 이용하면 됩니다. ..

얼마전에 도커 기반에다가 하둡을 설치하려고 하다가 애먹은 적이 있었다.본인은 docker에 centos7을 설치하고 그 위에 hadoop(하둡)을 설치하려고 했는데 단순히 docker run -i -t centos /bin/bash를 해서 진행하니까 systemctl 명령어도 안먹히고 hostctl등 먹히지 않는 명령어가 너무 많았다.에러는 failed to get D-Bus connection: Operation not permitted였다구글링해서 찾아보니까 다른 방법으로 실행시켜야 한다고 하였다 docker run --privileged -d --name namenode centos:7 init이었는데 -d옵션이나 --name 옵션은 그리 중요한게 아니고 --priviledged와 init이 중요한..

얼마전 도커(docker) 환경 centos7에서 mysql을 새로 깔다가 예전과 다른 설치 방법? 에러? 등이 있어서 글 남겨본다 yum -y install http://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm yum -y install mysql-community-server 먼저 당연히 위와 같은 방법으로 mysql을 설치한다. 문제는 여기서부터였다! systemctl start mysqld로 mysql을 시작한다. 그러면 서비스가 시작될 것이다. 처음 mysql을 실행하면 당연히 root로 로그인해서 비밀번호를 바꿔주어야 한다.그래서 /var/log/mysqld.log로 들어가서 root 비밀번호를 확인한다맨 처음 시작할 때 임..

이번에는 도커의 가장 강력한 기능중 하나인 docker compose에 대해서 알아보고 이걸 이용해서 빅데이터 분석 도구로 사용되고 있는 Elasticsearch-Logstash-Kibana(ELK)를 설치해보겠습니다. 먼저 도커 컴포즈(docker compose)에 대해서 알아봐야겠죠?복수개의 컨테이너가 하나의 애플리케이션으로 구동되는 경우 컨테이너 조합이 복잡해지기 쉽습니다. 예를 들어서 웹 애플리케이션을 하나 구축하려고 하면 web 서버 컨테이너 + WAS 서버 컨테이너 + DB 컨테이너 등을 생성해야하죠.근데 이걸 하나하나 run 시킨다?? 이건 너무 불편하죠.그래서 docker compose가 나옵니다. 도커 컴포즈는 여러개의 컨테이너를 개별 서비스로 인지하게 해서 컨테이너 묶음으로 관리하게 해..

지난 포스팅에서 도커에 대해서 공부해봤습니다. 도커를 이용하면 어려운 아키텍처 설치 및 설정들을 한 번에 관리하기가 쉽습니다.그리고 간단하게 설치도 해보았죠.https://lsjsj92.tistory.com/395 데이터베이스인 mysql도 설치해보았습니다.이번에는 우분투(ubuntu16.04)환경의 도커에서 cenots7을 설치해보고 실행시켰던 컨테이너를 삭제도 해보겠습니다. docker pull 명령어를 이용해서 centos7을 받겠습니다.지난 포스팅에서는 run으로 했는데요.run을 하면 다운을 받고 바로 실행시킵니다.pull은 그냥 다운만 받는 상태로 두는 것이죠.그래서 docker pull centos:7로 다운을 받습니다.이후 docker images 명령어를 치시면 centos가 받아져 있는..

요즘 도커가 정말 핫합니다.정말정말 편하기 때문이고 강력하기 때문이죠그 복잡한 설치 작업들을 그냥 딱! 해주니까 너무 좋은게 도커입니다. 도커는 2013년 3월 산타클라라에서 열린 pycon conference에서 solomon hykes가 the future of linux containers라는 세션을 발표하면서이 세상에 알려졌습니다.https://www.youtube.com/watch?v=wW9CAH9nSLs&feature=youtu.be 해당 영상입니다. 참고하시면 되겠습니다. 도커란?도커라는 것은 컨테이너 기반의 오픈소스 가상화 플랫폼입니다.이 컨테이너는 서버에서 이야기 하는 것인데 다양한 프로그램, 환경 등을 컨테이너로 추상화하고 동일한 인터페이스를 제공해서 배포 및 관리를 매우 단순하게 해줍..