[Logstash] Logstash란?

Logstash란?

데이터 집계, 변환, 저장

서버의 데이터 처리 파이프라인인 오픈 소스 Logstash는 다양한 소스에서 데이터를 수집하여 변환한 후 자주 사용하는 저장소로 전달합니다.

Logstash는 형식이나 복잡성과 관계 없이 데이터를 동적으로 수집, 전환, 전송합니다. grok을 이용해 비구조적 데이터에서 구조를 도출하여 IP 주소에서 위치 정보 좌표를 해독하고, 민감한 필드를 익명화하거나 제외시키며, 전반적인 처리를 손쉽게 해줍니다.

 

 

 

 

 

 

입력: 모든 형태, 크기, 소스의 데이터 수집 (ex. Filebeat)

데이터는 여러 시스템에 다양한 형태로 보관된 경우가 많습니다. Logstash는 일반적인 다수의 소스에서 동시에 이벤트를 가져오는 다양한 입력을 지원합니다. 로그, 메트릭, 웹 애플리케이션, 데이터 저장소 및 다양한 AWS 서비스에서 모두 지속적으로 스트리밍되는 방식으로 손쉽게 수집할 수 있습니다.

 

필터: 데이터 이동 과정에서의 구문 분석 및 변환 (ex. Grok)

Logstash 필터는 데이터가 소스에서 저장소로 이동하는 과정에서 각 이벤트를 구문 분석하고 명명된 필드를 식별하여 구조를 구축하며, 이를 공통 형식으로 변환 통합하여 분석을 더욱 강력하게 만드는 동시에 비즈니스 가치를 높여줍니다.

 💡 Grok은 임의의 텍스트를 구문 분석하고 구조화합니다. 구조화되지 않은 로그 데이터를 구조화되고 쿼리 가능한 것으로 구문 분석하는 좋은 방법입니다.

 

출력: 스태시를 선택하여 데이터 전송 (ex. Elasticsearch)

Logstash는 Elasticsearch를 포함하여 원하는 곳으로 데이터를 라우팅할 수 있는 다양한 출력을 지원하기 때문에 여러 저장소로 데이터를 다운스트림하는 유연성을 확보할 수 있습니다.

 

 

Logstash 사용예시

• 이벤트 저장
• Apache 웹 로그를 입력으로 사용
• 로그를 파싱
• 파싱된 데이터를 Elasticsearch 클러스터에 쓰는 고급 파이프라인 생성
• 여러 입출력 플러그인을 연결하여 서로 다른 다양한 소스의 데이터를 통합

 

 

Logstash 파이프라인에는 input(입력) 및 output(출력)이라는 두 가지 필수 요소와 filter(필터)라는 하나의 선택적 요소가 있습니다. 입력 플러그인은 원본의 데이터를 가져오고 필터 플러그인은 지정한 대로 데이터를 수정하며 출력 플러그인은 대상에 데이터를 씁니다.

 

 

Reference

- https://www.elastic.co/kr/logstash/

- https://www.elastic.co/guide/en/logstash/current/introduction.html