공부

엘라스틱서치에 대해 공부하던 중, 검색 속도가 빠른 이유 중 하나로 역색인 구조라는 것을 알게 되었고 이에 대해 정리해 보았다. 색인과 역색인먼저 색인 구조는 문서의 위치에 대한 인덱스를 만들어 빠르게 문서에 접근하는 방법으로 문서를 중심으로 정보를 찾는다. 역색인 구조는 이와 반대로 단어로부터 문서를 찾는 형태이다.일상생활에서 볼 수 있는 예시로는 책 맨 앞의 차례(목차)와 맨 뒤의 찾아보기(둘러보기) 페이지가 있다.왼쪽의 차례와 같이 문서에서 키워드를 찾아보기 쉽도록 나열된 형태가 색인 구조, 오른쪽의 찾아보기 페이지처럼 문서에서 키워드를 통해 문서를 찾는 형태를 역색인 구조라고 할 수 있다. 역색인 구조가 검색 성능이 좋은 이유그렇다면 왜 역색인 구조가 색인 구조보다 검색 성능이 좋을까?다음과 같은..

RabbitMQ 란?* AMQP를 기반으로 한 오픈 소스 메시지 브로커로, 메시지를 송신하는 애플리케이션과 수신하는 애플리케이션 간의 비동기 통신을 가능하게 한다. 또 여러 소비자에게 메시지를 분산시켜 시스템의 부하를 균형 있게 분산 가능하다. * AMQP(Advanced Message Queuing Protocol) 란?메시지 지향 미들웨어를 위한 애플리케이션 계층 프로토콜주로 메시지 브로커 시스템에서 표준화된 통신 방식을 제공하며, 메시지 기반의 데이터 송수신을 안전하고 신뢰성 있게 처리할 수 있도록 설계되어 있다. RabbitMQ는 이러한 AMQP 표준을 따르며 AMQP의 주요 개념(교환기, 큐, 바인딩 등)을 기반으로 메시지를 라우팅하고 처리한다. 주요 구성 요소주요 구성 요소와 흐름을 간단하게 ..

개념데이터 시각화 및 분석을 돕는 오픈소스 도구다양한 데이터 소스와 통합하여 데이터를 시각화하고, 대시보드를 통해 효율적으로 모니터링할 수 있다. 예를 들어 Prometheus로 데이터를 수집하면, 그 수집한 데이터를 Grafana를 통해 시각화 해 모니터링 할 수 있다. 주요 특징다양한 데이터 소스를 지원해 여러 데이터를 통합해 시각화 할 수 있다.대시보드 기능을 지원해 복잡한 데이터를 여러 형태로 시각화 할 수 있다.특정 조건이 충족되면 이메일, Slack 등 다양한 수단을 통해 알림이 보내지도록 설정할 수 있다. 실습https://github.com/muncool39/study-monitor/wiki/Grafana Grafana모니터링 강의를 들으며 정리한 내용. Contribute to munco..

개념오픈 소스 기반의 시스템 모니터링 및 경고 도구.SoundCloud에서 시작되어 CNCF(Cloud Native Computing Foundation)의 프로젝트로 성장했으며 시계열 데이터 수집 및 분석에 최적화된 도구로 사용되고 있다. 주요 특징시계열 데이터 저장 데이터를 시간 단위로 수집 및 저장한다.라벨 기반으로 데이터를 분류할 수 있다.PromQL(Prometheus Query Language)를 데이터를 분석하고 시각화할 수 있다. 사용 이유분산 시스템 모니터링 컨테이너화된 환경에서 서비스 간 상태를 확인하기에 적합하다.실시간 데이터 수집 및 경고 빠르게 데이터를 수집하고 특정 조건이 충족되었을 때 알림을 보낼 수 있다시각화 도구와의 연동 Grafana와 통합해 대시보드를 구성해 직관적으로 ..

트래픽 개념트래픽(Traffic)은 네트워크 상에서 데이터를 주고받는 흐름을 의미한다. 웹 서비스에서는 주로 사용자가 서버에 요청을 보내고 응답을 받는 데이터의 양을 가리키며, 이는 인터넷 또는 내부 네트워크를 통해 이동한다.즉, 네트워크와 서버 자원의 사용량을 나타내는 중요한 지표로, 특정 시간 동안 얼마나 많은 사용자가 웹 서비스나 애플리케이션에 접속했는지를 파악할 수 있다. 이는 서비스의 성능과 안정성을 결정짓는 중요한 요소이기 때문에 시스템이 안정적으로 동작할 수 있도록 적절한 기술과 도구를 활용해 효과적으로 관리하는 것이 중요하다. 트래픽의 구성 요소요청(Request): 사용자가 웹 브라우저를 통해 페이지를 요청하거나 API 호출을 수행할 때 발생하는 데이터 흐름 응답(Response): 서버..

개념메시지 브로커(Message Broker)란 애플리케이션, 서비스, 또는 시스템 간에 데이터를 교환하기 위한 중간 매개체 역할을 하는 소프트웨어로 애플리케이션들이 서로 직접 통신하지 않고, 메시지 브로커를 통해 데이터를 주고받음으로써 애플리케이션 간 결합도를 줄이고, 데이터 전달을 더 안정적이고 유연하게 만들 수 있다. 이러한 이유로 분산 시스템과 마이크로서비스 환경에서 데이터와 명령을 안전하게 전달하기 위해 메시지 브로커는 매우 중요한 역할을 한다.기본적인 동작 방식은 한 애플리케이션이 메시지를 발행(Publish)하면, 브로커는 이를 저장하고 적절한 방식으로 다른 애플리케이션에게 전달(Deliver)한다. 이 때 브로커는 메시지의 전송, 대기열 관리, 순서 보장, 재전송 등의 작업을 처리한다. 주..

캐싱 개념데이터를 임시 저장소에 저장해 더 빠르게 접근할 수 있도록 하는 기술로 일반적으로 메모리를 사용해 저장되며, 반복적으로 요청되는 데이터를 빠르게 제공해 시스템의 성능을 향상시킨다.캐싱의 주요 목적성능 개선: 데이터베이스나 원격 서버와의 통신 시간을 줄여 응답 속도를 높인다.비용 절감: 자주 사용되는 데이터에 대한 요청 부하를 줄여 서버 자원을 효율적으로 사용한다.확장성 향상: 서버에 가해지는 부하를 줄여 더 많은 사용자를 처리할 수 있게 만든다. Redis의 주요 캐싱 전략Cache Aside먼저 캐시에 접근하고, 캐시에 데이터가 없을 경우 데이터베이스에서 데이터를 가져와 캐시에 저장하는 방식사용하기 적합한 경우데이터가 자주 변경되지 않고, 자주 읽히는 경우특정 데이터에 대한 캐시 사용률을 극대..

도커 컴포즈 개념다중 컨테이너 애플리케이션을 정의하고 관리하기 위한 도구로 도커가 하나의 컨테이너를 실행하고 관리하는 데 초점을 맞춘다면, 도커 컴포즈는 여러 컨테이너를 동시에 설정하고 실행할 수 있도록 설계되었다. docker-compose.yml 파일을 사용하여 애플리케이션의 각 컨테이너 서비스, 네트워크, 볼륨 등의 환경을 설정할 수 있다. 파일 구조 예시version: Docker Compose 파일의 버전을 지정합니다.services: 애플리케이션의 각 서비스를 정의합니다.web, app, db: 각각의 서비스 이름web: nginx 서버를 실행하며 호스트의 8080 포트를 컨테이너의 80 포트에 연결app: 애플리케이션 컨테이너로 로컬 디렉토리를 컨테이너 내부로 마운트db: PostgreSQL..

도커 개념도커(Docker)는 애플리케이션과 그 의존성을 하나의 컨테이너에 묶어 실행할 수 있도록 해주는 소프트웨어 플랫폼이다. 컨테이너란 독립적인 환경에서 애플리케이션이 동작하도록 만들어진 가볍고 이식 가능한 단위로 어디서든 동일하게 실행된다. 도커를 사용하면 이러한 컨테이너를 효율적이고 쉽게 생성하고 관리할 수 있다. 도커와 가상머신(VM)의 차이구조VM은 하드웨어 수준에서 완전히 독립된 환경을 제공한다. VM을 실행하려면 각각의 운영체제(게스트 OS)가 설치되어야 하고, 이로 인해 무겁고 느리다. 하지만 하나의 가상머신에서 문제가 발생해도 다른 가상 머신에 영향을 주지 않는다. 반면 도커는 동일한 OS의 커널을 공유하며, 애플리케이션과 필요한 라이브러리만 패키징한다. 이로 인해 VM보다 훨씬 가볍고..

프로세스와 스레드 차이점프로세스: 일반적으로 cpu에 의해 메모리에 올려져 실행중인 프로그램을 말하며, 자신만의 메모리 공간을 포함한 독립적인 실행 환경을 가지고 있다쓰레드: 프로세스안에서 실질적으로 작업을 실행하는 단위를 말하며, 자바에서는 JVM(Java Virtual Machine)에 의해 관리된다. 프로세스에는 적어도 한개 이상의 스레드가 있으며, Main 스레드 하나로 시작하여 스레드를 추가 생성하게 되면 멀티 스레드 환경이 된다. 이러한 스레드들은 프로세스의 리소스를 공유하기 때문에 효율적이긴 하지만 잠재적인 문제점에 노출될 수도 있다동시성(concurrency) 이슈여러 스레드가 동시에 하나의 자원을 공유하고 있기 때문에 같은 자원을 두고 경쟁상태(raceCondition) 같은 문제가 발생..

가비지 컬렉션 개념가비지 컬렉션 Garbage Collection(GC)이란 메모리 관리 기법 중의 하나로, 프로그램이 동적으로 할당했던 메모리 영역 중에서 필요없게 된 영역을 해제하는 기능을 의미한다. 자바에서는 JVM(Java Virtual Machine)이 자동으로 메모리를 관리하여 프로그램에서 더 이상 사용되지 않는 객체를 식별하고, 해당 객체가 차지하고 있는 메모리를 해제하여 새로운 객체를 위한 공간을 확보하는 것을 의미한다. 별도의 스레드에서 실행되며 일반적으로 백그라운드에서 작동하므로 프로그램 실행에 영향을 미치지 않는다. 가비지 컬렉션 동작객체가 더 이상 프로그램에서 참조되지 않으면 가비지 컬렉션의 대상이 되며 가비지 컬렉터가 주기적으로 자바에서 모든 객체가 저장되는 힙 메모리를 스캔하여 ..

본격적으로 MSA에 대해 공부하게 되면서 Spring Cloud를 사용한다는 것을 알게 되어 조사해 보았다. Spring Cloud 란분산 시스템을 구현하고 운영하기 위해 필요한 다양한 기능들을 제공하는 스프링  프레임워크의 확장 서비스로, 마이크로서비스 아키텍처를 구현할 때 유용하게 사용된다. 제공하는 주요 기능과 모듈Service Discovery 서비스 디스커버리:마이크로서비스 환경에서 서비스를 검색하고 호출하기 위한 기능Eureka, Consul, ZookeeperAPI Gateway API 게이트웨이:여러 개의 마이크로서비스에서 제공하는 API를 단일 진입점으로 노출시켜 주는 역할Zuul, Spring Cloud GatewayDistributed Configuration 분산 설정:마이크로서비스..