데 이 터 조 회 · 검 색 기 술
SPL (검색 언어)
Search Process Language
빅데이터 검색 처리 언어 SPL(Search Process Language)
-
고급 빅데이터 검색을 위해
SPL(Search Process Language, 검색처리 언어) 사용 -
데이터를 분석하기 위해 검색 언어인 SPL(Search Process Language)를 제공
통계함수와 머신러닝 등의 고급 분석을 위한 130여개의 기능을 포함
Linux, Unix 의 pipe(|) 문법으로 초보자들도 쉽게 구현
실시간 및 시계열 데이터에 대한 용량 제한 없는 검색
검색명령어 조합 = Pipe 구조
sourcetype = syslog ERROR
top user
fields - percent
| sourcetype | raw | IP | fields… |
|---|---|---|---|
| syslog | … | … | … |
| syslog | …ERROR… | userA | … |
| source | … | … | … |
| syslog | …ERROR… | userA | … |
| syslog | WARNING… | userA | … |
| syslog | WARNING… | userA | … |
| source | … | … | … |
| syslog | …ERROR… | userA | … |
| source | … | … | … |
| <events…> | … | … | … |
데이터 모집단
| user | count | percent |
|---|---|---|
| user_01 | 65 | 21 |
| user_02 | 25 | 5 |
| … | … | … |
| user_10 | 31 | 6 |
1차 정제
| user | count | percent |
|---|---|---|
| user_01 | 65 | 21 |
| user_02 | 25 | 5 |
| … | … | … |
| user_10 | 31 | 6 |
2차 정제
| user | count |
|---|---|
| user_01 | 65 |
| user_02 | 25 |
| … | … |
| user_10 | 31 |
최종 결과
SPL을 사용한 검색 결과 제공
모든 데이터 검색
스키마 온 더 플라이
(Schema on the fly)
(Schema on the fly)
검색 결과 즉각 제공
데이터 가시화
내장 UI 컴포넌트를 활용한 즉각적인 데이터 가시화
-
빅데이터를 검색하는 순간
마우스 클릭만으로도 차트, 대시보드 등의
UI화면 구현 가능 -
Splunk Web을 통해 데이터를 검색ㆍ분석하고, 대시보드 생성 및 스케줄링 가능
이벤트 발생, 임계치 초과시 알람을 발생하여 email 통보 및 SMS 연동
대시보드, 스케줄링 작업 등 추가 개발 없이 click-by-click으로 간단하게 구현
기술을 모르는 현업들도 손쉽게 분석 및 시각화 할 수 있는 pivot 기능을 포함
분석된 결과를 대시보드, 리포트로 권한 별로 공유 및 PDF, 엑셀 등으로 리포팅
-
검색결과의 즉각적인 시각화
-
검색문(SPL)으로 원시 데이터 분석/검색
-
피봇기능 : 현업을 위한 손쉬운 분석/시각화
-
통합 대시 보드 구현
QUICK 머신러닝
빅데이터 엔진은 머신러닝(Machine Learning) 뿐만 아니라
통계적 분석(Data Science) 상관분석(Correlation Analysis)
등과 같은 분석툴과 기능을 포함합니다.
과거 실제 데이터
미래 예측 데이터
-
이상 수치 분석
(Detect Numeric Outliers)
-
시계열 예측
(Forecast Time Series)
-
수치 예측
(Predict Numeric Fields)
-
분류 예측
(Predict Categorical Fields)
-
군집 이벤트 분석
(Cluster Event)
-
이상 분류 분석
(Predict Categorical Fields)