꿈 많은 사람의 이야기

https://lsjsj92.tistory.com/396 지난 포스팅에서 엘라스틱 서치(elasticsearch)를 설치했습니다. 이번에는 우분투(ubuntu)에 kibana를 설치해봅니다. 앞선 글에서 설명했듯이Elasticsearch, kibana, logstash 3개는 각기 다른 서버에 구성합니다.그래서 설정을 각 서버 포트로 설정할겁니다. 키바나를 설치해보고 엘라스틱 서치와 연동해보겠습니다 https://www.elastic.co/kr/downloads/kibana 사이트에 들어가시면 최신 키바나 버전을 볼 수 있습니다.저는 우분투에 설치할 것이기 떄문에 DEB 64bit로 받았습니다.저 때까지만 해도 최신 버전이 6.4.3버전이네요. 이걸로 받겠습니다. 다 받아졌으면 sudo dpkg -i k..

ELK는 Elasticsearch, Logstash, Kibana로 구성된 데이터 분석을 할 수 있는 오픈소스 데이터 시각화입니다각 요소가 하는 역할을 간단히 살펴보면Elasticsearch : 데이터 처리/검색엔진 => 일종의 DBLogstash : 실시간 데이터 파이프라인을 통하여 데이터 수집Kibana : 시각화 로 구성되어 있습니다. 이번 포스팅은 이 중 엘라스틱 서치를 설치하도록 하겠습니다.elasticsearch와 logstash, kibana는 각각 다른 서버에 구축할 것입니다.즉 3대의 서버에 따로따로 설치하려고 합니다. 어차피 설정에서 ip 주소등을 설정해주면 되니까요! 먼저 엘라스틱 서치를 설치해보죠.조건! java가 설치되어 있어야 합니다.https://lsjsj92.tistory.c..

얼마전 지인에게 롯데 빼빼로에서 새로운 맛이 나왔다고 들었습니다 무려 빅데이터(정확힌 인공지능)으로 사람들이 좋아하는 맛으로 만든 빼빼로라고 들었어요 바로 깔라만시 요거트 빼빼로입니다 (제가 봤을 땐 최근 깔라만시가 핫해지면서 태그를 많이 달아 나온 데이터 같지만요) 아무튼 저는 깔라만시를 정말 좋아합니다 그래서 '오 뭐지 이건?' 이러면서 바로 질렀습니다 나름 기대를 하고 샀는데요 지인은 별로 맛이 없다고 했었습니다 조금 평이 갈리는 것 같아요 결론적으로 말하면 전 맛있었어요! 이렇게 생겼습니다 박스는 좀 커요 저는 그냥 일반적인 빼빼로 박스인줄 알았는데 2배는 크더라고요 하지만 내용물은.. 조금 초라하네요 왜 박스를 크게 만든건지 ㅠㅠ 안에 한 5~6개 정도 들어가 있습니다 그니까 총 10~12개 정..

R에서 프레임 다루는 것을 공부해봅니다 프레임으로 저장되어 있는 데이터 및 정보를 출력할 수 있는 기능이 있습니다 head( )와 tail( ), view( ), str( ), summary( )를 알아볼까 합니다 저는 데이터 프레임을 csv 파일에서 가지고 왔습니다. 그리고 head를 통해 출력해보죠 head는 위에서부터 출력해줍니다. 이렇게 숫자를 넣으면 개수만큼 출력을 해주죠! tail은 아래서부터 출력을 해줍니다. head와 마찬가지로 숫자를 넣으면 개수만큼 출력해줍니다. 그리고 view라는 것은 마치 엑셀 파일처럼 출력을 해줍니다. 이렇게 써서 출력을 해보면 아래 사진처럼 나오게 됩니다. 새로운 스크립트같이 하나가 추가되면서 엑셀처럼 보여주죠! str은 열에 대한 정보를 간단하게 보여줍니다. s..

R 에서는 엑셀뿐 아니라 CSV 파일도 불러올 수 있습니다. CSV 파일은 Comma-separated Values의 약자로써 말 그대로 ,로 이어져 있는 것을 뜻합니다! 이런식으로 말이죠! 이제 이 CSV 파일을 불러오는 방법을 알아보겠습니다 매우 간단합니다 엑셀처럼 패키지를 설치할 필요가 없습니다. R에 기본적으로 내장이 되어 있는 read.csv( )를 이용합니다. 현재 프로젝트 디렉터리에 csv 파일을 놓고 위처럼 사용하면 됩니다. 그러면 읽는 것만 되는건가 싶죠? 쓸 수도 있습니다~ 아래 처럼 말이죠! wrtie.csv()를 이용하면 csv 파일을 만들 수 있습니다. 먼저 ex7에 데이터 프레임을 만들어 둡니다. 저렇게 만들면 열 3개(영어, 수학, class)와 각 열에 행으로 값이 들어가게 ..

R에서는 엑셀에 쓰여 있는 데이터를 사용할 수 있습니다 엑셀에 한 열에 주제를 넣고 값을 넣으면 관리하기 편한데 그걸 이용하는 것입니다 엑셀 파일을 불러오는 방법은 해당 프로젝트 폴더에 파일을 두거나, 절대 경로로 불러올 수 있습니다 먼저 해당 프로젝트 폴더에 파일을 두고 불러오겠습니다 위 사진에서 화살표를 보면 현재 디렉터리에 excel_exam.xlsx라는 파일이 존재하는 것을 볼 수 있습니다 그리고 엑셀 파일을 불러오려면 그 기능을 담당하는 패키지를 설치해야 합니다! install.packages()로 readxl 패키지를 설치합니다~ 그리고 library()를 통해 라이브러리 등록을 합니다 이후 read_excel()함수를 이용해서 해당 파일 명을 불러오면 저렇게 불러와집니다! 참고로 불러온 엑셀..

이번엔 R에서의 변수 생성과 패키지에 관해서 공부할까 합니다~ 다른 언어들과 마찬가지로 R도 변수가 있습니다 저도 R은 처음이라 아직 R 변수에 대해서 적응이 잘 안되네요 c, java, python 등 다른 언어와는 변수가 좀 특이하더라고요 R의 변수 생성은 위 사진처럼 진행됩니다 a

안녕하세요 ~ 오늘은 책 후기를 하나 남기려고 합니다 최근에 하둡을 공부하기 시작했습니다 그래서 책이 필요했었는데요! 시중에 책이 그렇게 많지 않더라고요 고민 끝에 '시작하세요! 하둡 프로그래밍' 개정 2판 책을 사게 되었습니다 이렇게 생긴 책입니다 표지에 코끼리가 그려져있네요 ㅎㅎ 목차를 봅시다 목차를 보면 다양한 설명이 나와있는 것을 볼 수 있습니다 하둡 설명부터, 설치, 맵리듀스, 얀, 하둡2 등등 다양한 주제가 나와있습니다~ 필요한 개념들에 대한 설명도 이해하기 좋게 적혀있습니다 제가 원하던 설치에 대한 설명도 나와있습니다 이론적인 설명과 엔지니어적으로 필요한 설명이 적혀있습니다. 각종 소스 내용, 소스 설명 등도 있어요~ 결론적으로 제 평점은 5점 중 3점이네요 왜냐하면 일단 설치 부분이 설명이..