제이슨

·

빅데이터 검색 처리 언어 SPL(Search Process Language)

고급 빅데이터 검색을 위해
SPL(Search Process Language, 검색처리 언어) 사용
데이터를 분석하기 위해 검색 언어인 SPL(Search Process Language)를 제공
통계함수와 머신러닝 등의 고급 분석을 위한 130여개의 기능을 포함
Linux, Unix 의 pipe(|) 문법으로 초보자들도 쉽게 구현
실시간 및 시계열 데이터에 대한 용량 제한 없는 검색
검색명령어 조합 = Pipe 구조
sourcetype = syslog ERROR top user fields - percent
sourcetype raw IP fields…
syslog
syslog …ERROR… userA
source
syslog …ERROR… userA
syslog WARNING… userA
syslog WARNING… userA
source
syslog …ERROR… userA
source
<events…>
데이터 모집단
user count percent
user_01 65 21
user_02 25 5
user_10 31 6
1차 정제
user count percent
user_01 65 21
user_02 25 5
user_10 31 6
2차 정제
user count
user_01 65
user_02 25
user_10 31
최종 결과
SPL을 사용한 검색 결과 제공
모든 데이터 검색
스키마 온 더 플라이
(Schema on the fly)
검색 결과 즉각 제공

데이터 가시화

내장 UI 컴포넌트를 활용한 즉각적인 데이터 가시화

빅데이터를 검색하는 순간
마우스 클릭만으로도 차트, 대시보드 등의
UI화면 구현 가능
Splunk Web을 통해 데이터를 검색ㆍ분석하고, 대시보드 생성 및 스케줄링 가능
이벤트 발생, 임계치 초과시 알람을 발생하여 email 통보 및 SMS 연동
대시보드, 스케줄링 작업 등 추가 개발 없이 click-by-click으로 간단하게 구현
기술을 모르는 현업들도 손쉽게 분석 및 시각화 할 수 있는 pivot 기능을 포함
분석된 결과를 대시보드, 리포트로 권한 별로 공유 및 PDF, 엑셀 등으로 리포팅
  • 검색결과의 즉각적인 시각화
  • 검색문(SPL)으로 원시 데이터 분석/검색
  • 피봇기능 : 현업을 위한 손쉬운 분석/시각화
  • 통합 대시 보드 구현

QUICK 머신러닝

빅데이터 엔진은 머신러닝(Machine Learning) 뿐만 아니라
통계적 분석(Data Science) 상관분석(Correlation Analysis)
등과 같은 분석툴과 기능을 포함합니다.

과거 실제 데이터

미래 예측 데이터

  • 이상 수치 분석

    (Detect Numeric Outliers)

  • 시계열 예측

    (Forecast Time Series)

  • 수치 예측

    (Predict Numeric Fields)

  • 분류 예측

    (Predict Categorical Fields)

  • 군집 이벤트 분석

    (Cluster Event)

  • 이상 분류 분석

    (Predict Categorical Fields)