본문 바로가기

개발 일지

(3)
[개발일지] Kubernetes를 활용한 ELK 구축 (1/3) 이제 본격적으로 쿠버네티스를 이용해서 ELK를 구축해보려고 합니다! 국내 블로그에는 이상하게 이것에 대한 글이 없는 것 같아서 해외에 블로그를 참고하여 작성하였습니다! 우선 이전에도 보셨듯이 Logstash에서 로그를 수집하고, Elasticsearch에서 데이터를 저장하고, Kibana에서 시각화해줍니다. 저의 목표는 Logstash에서 Kafka에 있는 메시지를 수집하여 Elasticsearch에 넣어주는 것을 최종 목표로 하고 있는데, 이는 추후 개발해나가면서 진행해보도록 하겠습니다! ELK를 구축하는 방법은 다양하게 있겠지만, 저는 Helm Chart를 이용하여 구성하도록 하겠습니다! 우선 쿠버네티스 클러스터를 생성해준 후, 헬름을 설치해줍니다. 헬름의 경우 helm.sh/docs/intro/in..
[개발 일지] 쿠버네티스란? 이번 프로젝트에서 쿠버네티스는 제가 맡은 부분은 아니긴 하지만, 프로젝트를 진행하면서 저도 개념을 알고 있어야 할 것 같아서 간단하게 개념을 정리해보고 넘어가려 합니다! kubernetes.io/ko/docs/concepts/overview/what-is-kubernetes/ 쿠버네티스란 무엇인가? 쿠버네티스는 컨테이너화된 워크로드와 서비스를 관리하기 위한 이식할 수 있고, 확장 가능한 오픈소스 플랫폼으로, 선언적 구성과 자동화를 모두 지원한다. 쿠버네티스는 크고 빠르게 성장하 kubernetes.io bcho.tistory.com/1255 쿠버네티스 #1 - 소개 Kubernetes #1 - 소개 조대협 (http://bcho.tistory.com) 배경 도커와 쿠버네티스를 알게 된건 수년전인데, 근래..
[개발 일지] Elastic Stack (Elastic Search, Logstash, Kibana, Beats) 프로젝트를 진행하면서 로그 데이터를 분석 및 시각화해야 할 일이 있어서, Elastic Stack을 사용해야 할지 고민을 하는 중이므로 고민에 도움이 됐으면 하는 마음으로 간단한 개념 정리를 하게 되었습니다! 최근 사용을 하기로 결정을 하였고, 공부를 하는 느낌으로 앞으로 개발을 해나가며 동시에 기록을 해보려 합니다ㅎㅎㅎ Elastic Stack이란? 사용자의 로그를 분석하는 것은 매우 중요한 일이지만, 대규모 서비스에서 발생하는 수많은 로그 데이터들을 실시간으로 집계하여 분석하는 일은 매우 어렵습니다. 아직 회사에서 업무를 해본 적은 없지만, 만약 업무를 하게 된다면 이에 관련해서 많은 어려움이 있을 것으로 예상이 됩니다. 현재 많은 서비스들이 MSA로 운영되고 있지만, MSA의 주요 문제는 마이크로서..