꿈 많은 사람의 이야기

가끔 웹 크롤러를 개발하다 보면 이런 상황이 있습니다. 윈도우에서 web crawler를 개발하면 당연히 화면이 있죠? 여기서 화면이라는 것은 window가 있다는 것입니다. 즉, 크롬 브라우저를 띄울 수 있고 그걸 볼 수 있습니다. 이러한 환경은 ubuntu나 centos에서도 마찬가지입니다. 하지만, 모든 환경이 다 이렇지 않습니다. linux 계열의 서버를 사용할 때 이런 window 개념이 없을 수도 있습니다. 말 그대로 kernel 상태만 주어지고 display가 없는 상태이죠 그럼 이 display가 없는 상태에서 python seleinum으로 웹 크롤러를 어떻게 개발할까요? selenium은 web browser를 화면에 띄우고 거기서 html 데이터를 가지고 옵니다. 근데 이 displa..

매번 centos 환경에 python3.x을 설치할 때 구글링을 해서 봤는데 이번 기회에 확 정리를 해버립니다 이 환경은 centos7 환경이구요. python3.x 버전을 설치합니다. 파이썬 설치해보기 갑시다 먼저 repository를 추가해야합니다. yum install -y https://centos7.iuscommunity.org/ius-release.rpm 를 입력합니다. 그러면 뭔가 쭉쭉 실행됩니다~ 위 사진처럼요~ 그리고 이제 필요한 라이브러리를 설치합니다 저는 python3.6을 주로 사용합니다. 그래서 파이썬 3.6 버전을 기준으로 설치합니다. yum -y install python36u python36u-libs python36u-devel python36u-pip 를 입력하면 됩니다...

벌써 꽤 되었지만 지난 포스팅에서 도커(docker)에다가 centos7을 구축하고그 위에 하둡, 스파크, 제플린을 설치해서 배포까지 했습니다.과정은 아래 링크를 따라가시면 됩니당https://lsjsj92.tistory.com/418이거는 도커에 하둡(hadoop) 설치https://lsjsj92.tistory.com/422도커에 하둡(hadoop) 설치 후 아파치 스파크(apache spark) 설치https://lsjsj92.tistory.com/425아파치 제플린(apache zeppelin) 설치순서대로 따라가시면 1편부터 보실 수 있습니다. 이번 포스팅은현재 아파치 제플린까지 설치되어 있는 상태인데요여기에 이제 apache hive를 설치해보려고 합니다.하이브는 기존의 맵리듀스(mapreduc..

지난 포스팅에서 도커(docker)환경에 빅데이터 솔루션인 하둡(apache hadoop)과 스파크(apache spark)를 설치했습니다.https://lsjsj92.tistory.com/422해당 글을 참조하시면 되겠습니다. 오늘은 세번째 포스팅입니다. 제플린을 설치해보도록 하겠습니다.제플린은 스파크 개발 시 편리하게 도와주는 일종의 파이썬 주피터 노트북(jupyter notebook)과 같은 역할을 합니다.https://zeppelin.apache.org/해당 사이트에서 다운로드를 받으시면 됩니다.저는 하둡과 스파크가 설치되어 있는 centos7에서 wget으로 다운 받았습니다. 이렇게요!그리고 압축을 풀어주시면 됩니다. 먼저 동작이 잘 되는지 테스트를 해봅니다.아직 설정은 하지 않고 그냥 화면이 ..

얼마전에 도커 기반에다가 하둡을 설치하려고 하다가 애먹은 적이 있었다.본인은 docker에 centos7을 설치하고 그 위에 hadoop(하둡)을 설치하려고 했는데 단순히 docker run -i -t centos /bin/bash를 해서 진행하니까 systemctl 명령어도 안먹히고 hostctl등 먹히지 않는 명령어가 너무 많았다.에러는 failed to get D-Bus connection: Operation not permitted였다구글링해서 찾아보니까 다른 방법으로 실행시켜야 한다고 하였다 docker run --privileged -d --name namenode centos:7 init이었는데 -d옵션이나 --name 옵션은 그리 중요한게 아니고 --priviledged와 init이 중요한..

얼마전 도커(docker) 환경 centos7에서 mysql을 새로 깔다가 예전과 다른 설치 방법? 에러? 등이 있어서 글 남겨본다 yum -y install http://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm yum -y install mysql-community-server 먼저 당연히 위와 같은 방법으로 mysql을 설치한다. 문제는 여기서부터였다! systemctl start mysqld로 mysql을 시작한다. 그러면 서비스가 시작될 것이다. 처음 mysql을 실행하면 당연히 root로 로그인해서 비밀번호를 바꿔주어야 한다.그래서 /var/log/mysqld.log로 들어가서 root 비밀번호를 확인한다맨 처음 시작할 때 임..

지난 포스팅에서 도커에 대해서 공부해봤습니다. 도커를 이용하면 어려운 아키텍처 설치 및 설정들을 한 번에 관리하기가 쉽습니다.그리고 간단하게 설치도 해보았죠.https://lsjsj92.tistory.com/395 데이터베이스인 mysql도 설치해보았습니다.이번에는 우분투(ubuntu16.04)환경의 도커에서 cenots7을 설치해보고 실행시켰던 컨테이너를 삭제도 해보겠습니다. docker pull 명령어를 이용해서 centos7을 받겠습니다.지난 포스팅에서는 run으로 했는데요.run을 하면 다운을 받고 바로 실행시킵니다.pull은 그냥 다운만 받는 상태로 두는 것이죠.그래서 docker pull centos:7로 다운을 받습니다.이후 docker images 명령어를 치시면 centos가 받아져 있는..

centos등 서버와 관련된 리눅스를 다루다 보면 특정 사용자에게 sudo권한을 줄 필요가 있습니다. root로 사용할 수는 없으니까 특정 유저에 sudo 권한을 주어서 이용하는 것이죠 그 방법은 간단합니다centos7 기준으로 설명합니다. 먼저 sudo를 주고 싶은 아이디로 접속해서 다음과 같이 진행해봅니다. sudo bash를 입력하면 패스워드를 입력하라고 하는데요패스워드를 입력하면 해당 계정은 is not in the sudoers file이라고 나옵니다자 이제 root로 로그인해보죠그리고 아래와 같이 진행합니다. 빨간줄 모자이크 처리된 부분에 계정 이름을 쓰시면 됩니다usermod -aG wheel 유저이름그리고 visudo로 이동 sudo visudo를 통해 이제 설정을 바꿔줍시다 이 부분이 있..

안녕하세요~ 이번 포스팅 내용은 윈도우에 vmware를 이용해서 centos7을 설치하는 방법을 설명하는 글입니다.이 설치 부분은 하둡을 위한 centos7 설치 부분이지만 그것 외의 용도로도 centos7을 설치할 수 있습니다 준비물은 centos7 iso 파일과, vmware가 필요합니다 iso 파일은 검색하면 쉽게 구하실 수 있습니다. vmware가 조금 문제네요. vmware는 제품 key가 필요합니다. 키가 없으신 분들은 요즘 virtual box를 많이 쓰기도 하더라고요! 어느 것이던 방법은 비슷합니다 먼저 vmware를 실행하고 가상머신 만들기를 클릭하면 아래 사진처럼 나옵니다. 여기서 아래 사진 처럼 선택합니다. 나중에 cd를 넣겠다는 겁니다 마지막에 centos7을 실행하기 전에 cd를 ..