데이터 조회·검색 기술
검색 언어(SPL)
빅데이터 검색 처리 언어 - SPL(Search Process Language)
고급 빅데이터 검색을 위해 SPL(Search Process Language, 검색처리 언어)을 사용
- 데이터를 분석하기 위해 검색 언어인 SPL(Search Process Language)를 제공
- 통계함수와 머신러닝 등의 고급 분석을 위한 130여개의 기능을 포함
- Linux, Unix 의 pipe(|) 문법으로 초보자들도 쉽게 구현
- 실시간 및 시계열 데이터에 대한 용량 제한 없는 검색
검색명령어 조합 = Pipe 구조
sourcetype = syslog ERROR
top user
fields - percent
| sourcetype | raw | IP | fields… |
|---|---|---|---|
| syslog | … | … | … |
| syslog | …ERROR… | userA | … |
| source | … | … | … |
| syslog | …ERROR… | userA | … |
| syslog | WARNING… | userA | … |
| syslog | WARNING… | userA | … |
| source | … | … | … |
| syslog | …ERROR… | userA | … |
| source | … | … | … |
| <events…> | … | … | … |
데이터 모집단
| user | count | percent |
|---|---|---|
| user_01 | 65 | 21 |
| user_02 | 25 | 5 |
| … | … | … |
| user_10 | 31 | 6 |
1차 정제
| user | count | percent |
|---|---|---|
| user_01 | 65 | 21 |
| user_02 | 25 | 5 |
| … | … | … |
| user_10 | 31 | 6 |
2차 정제
| user | count |
|---|---|
| user_01 | 65 |
| user_02 | 25 |
| … | … |
| user_10 | 31 |
최종 결과
SPL을 사용한 검색 결과 제공
모든 데이터 검색
스키마 온 더 플라이
(Schema on the fly)
(Schema on the fly)
검색 결과 즉각 제공