제이슨

SPLUNK

Insight in everything We Analyze.

데이터 조회·검색 기술

검색 언어(SPL)
빅데이터 검색 처리 언어 - SPL(Search Process Language)

고급 빅데이터 검색을 위해 SPL(Search Process Language, 검색처리 언어)을 사용

  • 데이터를 분석하기 위해 검색 언어인 SPL(Search Process Language)를 제공
  • 통계함수와 머신러닝 등의 고급 분석을 위한 130여개의 기능을 포함
  • Linux, Unix 의 pipe(|) 문법으로 초보자들도 쉽게 구현
  • 실시간 및 시계열 데이터에 대한 용량 제한 없는 검색
검색명령어 조합 = Pipe 구조
sourcetype = syslog ERROR top user fields - percent
sourcetype raw IP fields…
syslog
syslog …ERROR… userA
source
syslog …ERROR… userA
syslog WARNING… userA
syslog WARNING… userA
source
syslog …ERROR… userA
source
<events…>
데이터 모집단
user count percent
user_01 65 21
user_02 25 5
user_10 31 6
1차 정제
user count percent
user_01 65 21
user_02 25 5
user_10 31 6
2차 정제
user count
user_01 65
user_02 25
user_10 31
최종 결과
SPL을 사용한 검색 결과 제공
모든 데이터 검색
스키마 온 더 플라이
(Schema on the fly)
검색 결과 즉각 제공