빅 데이터

빅 데이터는 기존 데이터베이스 혹은 도구를 통해 처리하기 어려운 정도로 크고 복잡한 데이터 집합 - 위키피디아

빅 데이터 = 

high volume + high velocity + high variety + Value (Gartner)      -> 3v에서 value추가되어  4v됨

빅 데이터 트렌드의 변화 #1

데이터 저장의 요구사항 충족 -> 데이터 내 인사이트 발굴

수집/저장 중심                                     분석/활용 중심(spark)

Hadoop 시스템                                    인 메모리 솔루션

빅 데이터 트렌드의 변화#2

전통적인 구축 방법론           ->        Agile 방법론(Quick Win)

순차적인 접근 방식                                        중요 use case 중심

1~2년 구축 기간                                            3~4개월 단위로 진화

빅 데이터 트렌드의 변화#3

 빅 데이터 자체만 관심         ->           빅 데이터 프로세스에 결합

소셜/비정형 분석                                        End-to-End 연결

데이터 패턴 분석                                            DATA-driven

빅 데이터 활용 사례

1. Real-time Risk Detection - 중국 관세청

빅 데이터를 활용하여 위험을 미리 실시간으로 예측한다.

2. Circular Trading Analysis - 인도 주정부

부과세를 징수하지 못한 상태에서 부과세를 환급하는 상황

A가 부가세 면제된 상태로 세금안내고 B에게 팔고 B는 부가세 포함해서 C,D에 팔고 E는 부가세 환급받고 부가세 면제로 A한테 파는... 이해안되지만

-> 관련된 trader가 6을 초과하면 인지하기 어렵다. 이걸 빅 데이터로 파악하여 잡아낸다.

3. Advanced Text Search - 미국 사례

RATB(Recovery Act Transparency Board)

예산 오남용 된 데이터를 빅 데이터로 처리하여 real-time으로 감시해서 조사,통제 한다.

4. Fraud Detection

DHS(Department of Human Service) - 호주의 보건복지부

연간 60억 호주 달러가 부정하게 복지 급여로 지급되는 문제

-> 연 수 억건에 달하는 청구 건을 대상으로 부정 탐지수행

-> 급여가 정상적으로 지급되었는지 여부 및 소셜 데이터를 포함한 여러 시스템에 분산되어 있는 데이터를 사용하여 부정한 급여 청구자를 탐지.

-> 탐지 정보를 자동으로 생성하고 CRM Workflow를 통해 조치를 위한 서류를 자동으로 생성

5. Dynamic Maintenance

Trenitalia(이탈리아 국영철도)

열차에 대한 실시간 모니터링, 단기 이상 진단, 알고리즘을 활용한 고장 예측, 분석에 기반한 정비 스케쥴링

열차에 여러가지 센서를 달아 측정해서 데이터화 한다.

-> 정비 비용감소, 열차 다운타임 감소

-> 도입 효과 : 비용은 줄고 리스크도 줄어들었다.

6. Smart City

아르헨티나 부에노스아이레스 시

과제 : 대홍수 발생으로 피해액 큼. 수해 방지위해 물 관리 시스템 개선과 예방대책 필요

해결책 : 시내 배수 관로를 비롯해 가로등, 버스 정류장, 공원, 다리 등 7십만여 장소에 센서를 설치하고 실시간으로 데이터 수집/분석한 결과,

3일 이상 폭우에도 홍수 발생하지 않음

소셜 미디어 상의 시민의 불만을 모니터링하고 즉각적인 조치를 통해 80% 이상의 응답률 달성

6. Smart Logistics

독일 함부르크 항만청

항만 관련 Supply Chain 최적화를 통한 Smart Logistics

-> 5천 hr/day 대기 절감

-> 물동 수용 능력 2배 목표(항만에서 컨테이너를 얼마나 처리할수 있느냐가 수용 능력이다.)

7. 지식기반 심사시스템

건강보험 심사평가원

과제 : 연간 수 억건 이상의 의료비 청구에 대한 심사업무 처리

심사 전문인력의 경험에 의한 처리 프로세스에 Data-driven 기반 지식을 반영할 수 있는 프로세스로 고도화가 필요

해결책 : 심사 대상 데이터를 복제하여 의료비 청구 심사 업무에 실시간으로 반영

과거 심사결정 데이터를 기반으로 심사 모델을 개발하고 생성된 심사 모델을 심사 시스템에 적용

심사 모델은 데이터 변화에 따라 지속적인 학습 환경 구축