본문 바로가기

분류 전체보기

(35)
[개발일지] Kubernetes를 활용한 ELK 구축 (1/3) 이제 본격적으로 쿠버네티스를 이용해서 ELK를 구축해보려고 합니다! 국내 블로그에는 이상하게 이것에 대한 글이 없는 것 같아서 해외에 블로그를 참고하여 작성하였습니다! 우선 이전에도 보셨듯이 Logstash에서 로그를 수집하고, Elasticsearch에서 데이터를 저장하고, Kibana에서 시각화해줍니다. 저의 목표는 Logstash에서 Kafka에 있는 메시지를 수집하여 Elasticsearch에 넣어주는 것을 최종 목표로 하고 있는데, 이는 추후 개발해나가면서 진행해보도록 하겠습니다! ELK를 구축하는 방법은 다양하게 있겠지만, 저는 Helm Chart를 이용하여 구성하도록 하겠습니다! 우선 쿠버네티스 클러스터를 생성해준 후, 헬름을 설치해줍니다. 헬름의 경우 helm.sh/docs/intro/in..
[일기장] AWS 요금폭탄(?) & 대학교 마지막 학기 처음 블로그를 개설한 후 쓴 글 말고는, 최근 재밌는(?) 경험을 했기에 두 번째로 공부와 관련되지 않은 글을 써봅니다.ㅎㅎㅎ 아마 저를 포함하여 AWS 프리 티어를 사용하시는 학생분들 중 이런 문제를 겪은 분들이 꽤 있을 것이라고 생각하여 같은 상황인 분들께 도움이 될 것 같아서 글을 적어봅니다! 저는 AWS를 공부하면서 프리 티어를 사용 중이고, 항상 사용이 끝나면 인스턴스를 중지시키고 안쓰는 자원들을 삭제하여 요금이 부과되지 않도록 노력을 많이 했다고 생각을 하였습니다. 하지만 최근 AWS로부터 사용 요금을 받았는데 40달러정도를 청구받았습니다. 10월에는 나름 AWS를 적게 사용했다고 생각했는데 생각보다 많은 요금을 받아서 당황했고, 얼른 AWS로 들어가 확인을 해봤습니다. 확인을 해보니.. 저는..
[개발 일지] 쿠버네티스란? 이번 프로젝트에서 쿠버네티스는 제가 맡은 부분은 아니긴 하지만, 프로젝트를 진행하면서 저도 개념을 알고 있어야 할 것 같아서 간단하게 개념을 정리해보고 넘어가려 합니다! kubernetes.io/ko/docs/concepts/overview/what-is-kubernetes/ 쿠버네티스란 무엇인가? 쿠버네티스는 컨테이너화된 워크로드와 서비스를 관리하기 위한 이식할 수 있고, 확장 가능한 오픈소스 플랫폼으로, 선언적 구성과 자동화를 모두 지원한다. 쿠버네티스는 크고 빠르게 성장하 kubernetes.io bcho.tistory.com/1255 쿠버네티스 #1 - 소개 Kubernetes #1 - 소개 조대협 (http://bcho.tistory.com) 배경 도커와 쿠버네티스를 알게 된건 수년전인데, 근래..
[개발 일지] Elastic Stack (Elastic Search, Logstash, Kibana, Beats) 프로젝트를 진행하면서 로그 데이터를 분석 및 시각화해야 할 일이 있어서, Elastic Stack을 사용해야 할지 고민을 하는 중이므로 고민에 도움이 됐으면 하는 마음으로 간단한 개념 정리를 하게 되었습니다! 최근 사용을 하기로 결정을 하였고, 공부를 하는 느낌으로 앞으로 개발을 해나가며 동시에 기록을 해보려 합니다ㅎㅎㅎ Elastic Stack이란? 사용자의 로그를 분석하는 것은 매우 중요한 일이지만, 대규모 서비스에서 발생하는 수많은 로그 데이터들을 실시간으로 집계하여 분석하는 일은 매우 어렵습니다. 아직 회사에서 업무를 해본 적은 없지만, 만약 업무를 하게 된다면 이에 관련해서 많은 어려움이 있을 것으로 예상이 됩니다. 현재 많은 서비스들이 MSA로 운영되고 있지만, MSA의 주요 문제는 마이크로서..
[용어 정리] Edge Computing Edge Computing 엣지 컴퓨팅이란 사용자 또는 데이터 소스의 물리적인 위치나 그 위치와 가까운 곳에서 컴퓨팅을 수행하는 것을 의미합니다. 즉, 데이터가 생성되는 곳과 가까운 곳에서 데이터를 바로 처리할 수 있는 것을 의미합니다. 이는 디바이스가 될 수도 있고, 디바이스와 가까운 다른 디바이스가 될 수도 있습니다. 컴퓨팅 서비스를 사용자가 사용하는 단말 장치와 가까운 위치에서 처리를 하게 된다면, 사용자는 더욱 빠르고 안정적인 서비스를 제공받을 수 있습니다. Cloud Computing vs Edge Computing 클라우드 컴퓨팅은 데이터를 처리하는 곳이 데이터 센터인 반면에, 엣지 컴퓨팅은 스마트폰과 같은 디바이스에서 데이터를 처리합니다. 클라우드 컴퓨팅 시스템은 더 나은 액세스와 공동 작업..
[AWS] CloudFormation CloudFormation 이전에 Infrastructure as Code에 대해 글은 쓴 적이 있습니다. (hanjustudy.tistory.com/7?category=788393) 소스 코드를 통해 인프라를 관리할 수 있으며, git 등의 버전 관리 시스템을 사용하여 인프라의 버전 또한 관리할 수 있습니다. 이에 따라 인프라 구축 또한 코드 리뷰, PR 등을 사용하여 어플리케이션 개발과 같은 맥락으로 사용할 수 있습니다. CloudFormation은 AWS에서 제공하는 구축 자동화를 위한 서비스입니다. CloudFormation Template CloudFormation은 AWS에 구축한 구성을 템플릿으로 만들고, 재사용하기 쉽게 만들어주는 서비스입니다. CloudFormation은 JSON 또는 Y..
[용어 정리] IaaS, PaaS, SaaS 자주 접해보았지만 항상 헷갈리던 용어인 IaaS, PaaS, SaaS에 대해 알아보기 위해 우선 먼저 알아야 할 것 몇가지를 정리해보면, Cloud Computing 클라우드 컴퓨팅은 인터넷을 통해 가상화된 컴퓨터의 리소스를 요구하는 즉시 제공하는 것입니다. 인터넷 기반 컴퓨팅의 일종으로 정보를 자신의 컴퓨터가 아닌 인터넷에 연결된 다른 컴퓨터가 처리를 하는 것을 의미합니다. 즉, 서로 다른 물리적인 위치에 존재하는 컴퓨터의 리소스를 가상화 기술로 통합하여 제공해주는 것입니다. 가상화와 클라우드 컴퓨팅의 차이점은, 가상화는 하이퍼바이저가 하드웨어에 직접 연결되어 가상 머신을 만들고, 이러한 가상 머신이 자원을 적절히 배분받은 후 사용합니다. 클라우드 컴퓨팅은 이와 달리 네트워크, 스토리지, 어플리케이션 ..
[AWS] CloudFront Amazon CloudFront는 짧은 지연 시간과 빠른 전송 속도로 데이터, 동영상, 애플리케이션 및 API를 전 세계 고객에게 안전하게 전송하는 고속 콘텐츠 전송 네트워크(CDN) 서비스입니다. Amazon CloudFront CDN은 전 세계에 216개(7/24 기준)의 PoP(Point of Presence)를 가지고 있으며 최종 사용자에게 높은 성능과 가용성을 제공합니다. (CDN이란? - hanjustudy.tistory.com/27) CloudFront는 정적 및 동적 웹 컨텐츠들을 사용자에게 더 빠르게 배포하도록 도와주며, 엣지 로케이션이라고 하는 데이터센터의 전 세계 네트워크를 통해 컨텐츠를 제공합니다. CloudFront를 통해 서비스하는 컨텐츠를 사용자가 요청하면 지연 시간이 가장 낮..
[용어 정리] CDN CDN(Content Delivery Network)은 서버와 사용자 사이의 물리적인 거리를 줄여서 사용자에게 컨텐츠를 더욱 빠르게 제공할 수 있게 해주는, 분산된 서버로 이루어진 플랫폼입니다. 요약하면, 전 세계에 촘촘히 분산된 서버 네트워크입니다. CNN의 목표는 웹 페이지에 대한 요청이 이동해야 하는 물리적 거리를 줄여 요청을 제출한 시간과 웹 페이지가 완전히 로딩될 때까지의 지연 시간을 줄이는 것입니다. 예를 들면, 우리가 만약 미국 기반 서버에서 생성된 콘텐츠를 보려는 경우에, 이 요청은 매우 긴 거리를 이동해야 하므로 로딩 시간이 길어질 수 있습니다. 이를 위해 CDN은 PoP(Points of Presence)에 전 세계의 여러 지역에서 캐시된 버전의 웹사이트 컨텐츠를 저장하고, PoP에는 ..
[AWS] S3 Amazon S3 Amazon S3(Simple Storage Service)는 AWS에서 제공하는 온라인 스토리지 웹 서비스입니다. 사용자는 S3에서 제공하는 웹 서비스 인터페이스를 이용하여 손쉽게 원하는 양의 데이터를 저장 및 검색할 수 있습니다. 또한 Amazon이 자체 웹 사이트의 글로벌 네트워크 운영에 사용하는 것과 같은 높은 확장성과 신뢰성을 갖춘 빠르고 경제적인 데이터 스토리지 인프라에 액세스 할 수 있습니다. 웹 서비스를 운영할 때 많이 이용하는 서비스로서 이미지나 html 파일 같은 정적 데이터부터 서버에서 생성된 로그 파일 등 다양한 목적의 파일들을 보관하는데 사용되는 편입니다. 파일의 수와 저장 용량에 제한이 없고, S3에 업로드만 하면 S3에서 알아서 파일들을 관리해줍니다. 이를 실..