목록Apache (4)
꿈 많은 사람의 이야기
도커(docker)에 하둡과 아파치 하이브(apache hive) 설치 및 배포 - 4
벌써 꽤 되었지만 지난 포스팅에서 도커(docker)에다가 centos7을 구축하고그 위에 하둡, 스파크, 제플린을 설치해서 배포까지 했습니다.과정은 아래 링크를 따라가시면 됩니당https://lsjsj92.tistory.com/418이거는 도커에 하둡(hadoop) 설치https://lsjsj92.tistory.com/422도커에 하둡(hadoop) 설치 후 아파치 스파크(apache spark) 설치https://lsjsj92.tistory.com/425아파치 제플린(apache zeppelin) 설치순서대로 따라가시면 1편부터 보실 수 있습니다. 이번 포스팅은현재 아파치 제플린까지 설치되어 있는 상태인데요여기에 이제 apache hive를 설치해보려고 합니다.하이브는 기존의 맵리듀스(mapreduc..
아파치 플럼과 카프카란?(apache flume & kafka) 그리고 설치해보기
어느덧 설이 끝나고 한 주가 지났네요몸도 안좋았고 좀 정신이 없습니다 이번 포스팅은 apahce flume(아파치 플럼)과 apache kafka에 대해서 알아봅니다.빅데이터와 관련된 공부를 하게 되면 당연히 apache open source project에 대해서 많이 공부하게 되는데요대표적인게 하둡이죠.저장 하기 전에 수집 단계에서 많이 사용되는 소프트웨어가 플럼과 카프카입니다.먼저 플럼을 알아보고 그 다음 카프카(kafka)에 대해서 알아봅니다.이번 포스팅은 지난 게시글(하둡과 주키퍼, 얀 설치) 이후의 글입니다.https://lsjsj92.tistory.com/432https://lsjsj92.tistory.com/433을 참고하시면 되겠습니다.그리고 이 내용은 실무로 배우는 빅데이터 기술 책의 ..
도커(docker)에 하둡(hadoop) 스파크(spark) 설치 및 도커 허브 배포하기-2
지난 포스팅에서 도커(docker)환경 centos7에서 하둡(hadoop)을 설치했습니다. https://lsjsj92.tistory.com/418 이번 포스팅에서는 하둡을 설치한 해당 도커 컨테이너에 아파치 스파크(apache spark)를 2버전으로 설치하려고 합니다. 아파치 스파크는 하둡의 맵리듀스 단점을 보완해줍니다.실시간 데이터 처리 기능(spark streaming)도 되고, 맵 리듀스, 나아가서 머신러닝 알고리즘(spark MLlib)도 지원해줍니다. 그렇기에 하둡과 연동해서 자주 사용하죠!이번 포스팅은 이 스파크를 설치해봅니다. 그리고 현재 도커 centos7에 하둡과 스파크까지 다 설치하고 docker hub(도커 허브)에 배포해봅니다. 도커 허브에 배포하면 해당 이미지를 가지고 다른 ..
스프링(spring) 프레임워크 개발 - 설치 및 프로젝트 생성하기
Java 언어로 JSP 등의 프로그램도 가능하지만요즘은 JSP를 넘어서 스프링 프레임워크를 많이 쓰고 있습니다.이번 포스팅은 윈도우 이클립스 환경에서 스프링 프레임워크를 설치하는 과정에 대해 포스팅합니다. 사실 개인적으론 스프링 프레임워크를 독학하고 있습니다.그래서 설치과정이 좀 어려웠어요뭐 설치 이 설치, 버전마다 다르고 완전 복잡하더라구요그 과정을 제 개인적인 경험으로 총괄 정리했습니다. 먼저 프레임워크라는 것은 무엇일까요?프레임워크(framework)는 뼈대입니다. 기본 구조를 말합니다.소프트웨어에서 프레임워크라는 것은 소프트웨어 제작을 편리하게 할 수 있도록 미리 구조를 이루는인터페이스, 클래스 등을 제작하여 모아둔 것입니다.웹 애플리케이션에서는 주로 스프링 프레임워크라는 것을 자주 사용합니다. ..