꿈 많은 사람의 이야기

매번 centos 환경에 python3.x을 설치할 때 구글링을 해서 봤는데 이번 기회에 확 정리를 해버립니다 이 환경은 centos7 환경이구요. python3.x 버전을 설치합니다. 파이썬 설치해보기 갑시다 먼저 repository를 추가해야합니다. yum install -y https://centos7.iuscommunity.org/ius-release.rpm 를 입력합니다. 그러면 뭔가 쭉쭉 실행됩니다~ 위 사진처럼요~ 그리고 이제 필요한 라이브러리를 설치합니다 저는 python3.6을 주로 사용합니다. 그래서 파이썬 3.6 버전을 기준으로 설치합니다. yum -y install python36u python36u-libs python36u-devel python36u-pip 를 입력하면 됩니다...

벌써 꽤 되었지만 지난 포스팅에서 도커(docker)에다가 centos7을 구축하고그 위에 하둡, 스파크, 제플린을 설치해서 배포까지 했습니다.과정은 아래 링크를 따라가시면 됩니당https://lsjsj92.tistory.com/418이거는 도커에 하둡(hadoop) 설치https://lsjsj92.tistory.com/422도커에 하둡(hadoop) 설치 후 아파치 스파크(apache spark) 설치https://lsjsj92.tistory.com/425아파치 제플린(apache zeppelin) 설치순서대로 따라가시면 1편부터 보실 수 있습니다. 이번 포스팅은현재 아파치 제플린까지 설치되어 있는 상태인데요여기에 이제 apache hive를 설치해보려고 합니다.하이브는 기존의 맵리듀스(mapreduc..

지난 포스팅에서 도커(docker)환경 centos7에서 하둡(hadoop)을 설치했습니다. https://lsjsj92.tistory.com/418 이번 포스팅에서는 하둡을 설치한 해당 도커 컨테이너에 아파치 스파크(apache spark)를 2버전으로 설치하려고 합니다. 아파치 스파크는 하둡의 맵리듀스 단점을 보완해줍니다.실시간 데이터 처리 기능(spark streaming)도 되고, 맵 리듀스, 나아가서 머신러닝 알고리즘(spark MLlib)도 지원해줍니다. 그렇기에 하둡과 연동해서 자주 사용하죠!이번 포스팅은 이 스파크를 설치해봅니다. 그리고 현재 도커 centos7에 하둡과 스파크까지 다 설치하고 docker hub(도커 허브)에 배포해봅니다. 도커 허브에 배포하면 해당 이미지를 가지고 다른 ..

얼마전에 도커 기반에다가 하둡을 설치하려고 하다가 애먹은 적이 있었다.본인은 docker에 centos7을 설치하고 그 위에 hadoop(하둡)을 설치하려고 했는데 단순히 docker run -i -t centos /bin/bash를 해서 진행하니까 systemctl 명령어도 안먹히고 hostctl등 먹히지 않는 명령어가 너무 많았다.에러는 failed to get D-Bus connection: Operation not permitted였다구글링해서 찾아보니까 다른 방법으로 실행시켜야 한다고 하였다 docker run --privileged -d --name namenode centos:7 init이었는데 -d옵션이나 --name 옵션은 그리 중요한게 아니고 --priviledged와 init이 중요한..

얼마전 도커(docker) 환경 centos7에서 mysql을 새로 깔다가 예전과 다른 설치 방법? 에러? 등이 있어서 글 남겨본다 yum -y install http://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm yum -y install mysql-community-server 먼저 당연히 위와 같은 방법으로 mysql을 설치한다. 문제는 여기서부터였다! systemctl start mysqld로 mysql을 시작한다. 그러면 서비스가 시작될 것이다. 처음 mysql을 실행하면 당연히 root로 로그인해서 비밀번호를 바꿔주어야 한다.그래서 /var/log/mysqld.log로 들어가서 root 비밀번호를 확인한다맨 처음 시작할 때 임..

얼마전 서버를 설치하다가 겪은 일들을 통해서리눅스 서버(이 글의 경우는 centos7입니다.) 보안 강화를 해야한다는 것을 깨닫게 되었습니다.무슨 일이었냐??그냥 학교에다가 서버컴퓨터를 설치하고 '에이 뭐 공격이 오겠어?' 라고 생각했습니다.하지만 아니더군요. 도대체 어떻게 알았을까?2일만에 무려 3100번 가까이 되는 공격이 들어왔습니다.공격이라기보단 root 권한에 접속하려고 했던 것이죠.이게 설치되었는지는 어떻게 알고 저런 시도를 했는지 참 그래서 이번 글은 centos7 기준 기본적인 보안을 강화하는 방법을 알아봅니다.1. root로 바로 접근하지 못하게 막는다.2. 지속적인 접근에서 계속 실패하면 ip 자동 차단3. 특정 ip만 ssh 접속 가능하도록 설정이런 과정을 거치겠습니다. 먼저 1. r..

centos등 서버와 관련된 리눅스를 다루다 보면 특정 사용자에게 sudo권한을 줄 필요가 있습니다. root로 사용할 수는 없으니까 특정 유저에 sudo 권한을 주어서 이용하는 것이죠 그 방법은 간단합니다centos7 기준으로 설명합니다. 먼저 sudo를 주고 싶은 아이디로 접속해서 다음과 같이 진행해봅니다. sudo bash를 입력하면 패스워드를 입력하라고 하는데요패스워드를 입력하면 해당 계정은 is not in the sudoers file이라고 나옵니다자 이제 root로 로그인해보죠그리고 아래와 같이 진행합니다. 빨간줄 모자이크 처리된 부분에 계정 이름을 쓰시면 됩니다usermod -aG wheel 유저이름그리고 visudo로 이동 sudo visudo를 통해 이제 설정을 바꿔줍시다 이 부분이 있..

안녕하세요~ 이번 포스팅 내용은 윈도우에 vmware를 이용해서 centos7을 설치하는 방법을 설명하는 글입니다.이 설치 부분은 하둡을 위한 centos7 설치 부분이지만 그것 외의 용도로도 centos7을 설치할 수 있습니다 준비물은 centos7 iso 파일과, vmware가 필요합니다 iso 파일은 검색하면 쉽게 구하실 수 있습니다. vmware가 조금 문제네요. vmware는 제품 key가 필요합니다. 키가 없으신 분들은 요즘 virtual box를 많이 쓰기도 하더라고요! 어느 것이던 방법은 비슷합니다 먼저 vmware를 실행하고 가상머신 만들기를 클릭하면 아래 사진처럼 나옵니다. 여기서 아래 사진 처럼 선택합니다. 나중에 cd를 넣겠다는 겁니다 마지막에 centos7을 실행하기 전에 cd를 ..