빅데이터(Big data)의 개념과 무료 빅데이터 확보 가능한 사이트

 

 

빅데이터(Big data)의 개념

 

빅데이터란 디지털 환경에서 생성되는 모든 데이터를 의미한다. 과거에는 아날로그 방식으로 데이터를 확보할 수 있었다. 요즈음에는 디지털 방식으로 데이터를 확보한다. 아날로그 방식에 비해 데이터의 생성 규모가 방대하다. 생성 주기도 짧다. 수치 데이터는 기본으로 포함되며, 문자, 영상, 소리 등 다양한 데이터가 지금도 생성되고 있다. 

 

빅데이터의 개념- 디지털 환경에서 생성되는 모든 데이터

 

빅데이터의 중요성

빅데이터는 많은 관심을 받고 있다. 빅데이터라는 대량의 데이터가 쏟아지고 있다. 우선 내가 사용하고 있는 스마트폰에서도 수많은 데이터가 생성되는 중이다. 나의 위치정보, 나의 소비 습관, 내가 찍은 사진, 내가 쓴 글, 내가 자주 방문하는 사이트, 요즘 관심 있는 분야 등등 많인 데이터가 나오고 있다. 

이러한 데이터는 우리의 잠재의식 너머의 사실을 기록하고 있다. 빅데이터를 분석함으로써, 내가 진정 원했던 것을 파악할 수 있으며, 인류의 데이터가 다 모인다고 전 세계 사람들은 관심과 미래를 향하는 방향까지도 이해될 수 있을 것이다. 

 

 

빅데이터와 일반데이터의 차이 비교

 

빅데이터의 개념을 좀 더 싶어 이해하기 위해 일반 데이터와 비교를 해보았다. 

일반데이터는 내부에서 수집하며, 각종 분석 모델링을 이용하여 데이터의 의미를 파악한다. 분석 모델링에 적용하기 위해 정형화된 데이터가 대부분이며, 기업이나 연구소의 서버 시스템이나 개인 컴퓨터를 이용하여 분석하는 경우가 많다. 

반면 빅데이터는, 모든 곳에서 데이터를 얻을 수 있으며, 비정형화된 데이터를 인공지능을 이용하여 분석한다. 수많은 데이터를 처리하고 위해 클라우드 컴퓨터 등 높은 사양의 컴퓨터 자원이 요구된다. 

구분	일반 데이터	빅데이터
데이터의 원천 (Source)	내부에서 수집	내부/외부에서 수집
데이터의 분석 방법	모델링	인공지능
데이터의 형태	정형화된 데이터	비정형화된 데이터
데이터 분석 환경	기업 내 서버시스템	클라우드

 

 

빅데이터 관련 산업

 

빅데이터를 이용한 사업 분야는 무궁무진하다. 아래는 각 분야별로 빅데이터 관련한 활용하고 있는 사례이다. 

• 제조산업 : 생산 공정의 최적화와 품질 관리, 센서를 통한 생산 공정에서의 이상현상 미리 감지, 불량률 감소
• 판매 및 마케팅 : 고객의 구매이력 선호도 파악하여 마케팅 전략 수립
• 의료 : 환자의 건강 기록, 생체 데이터 분석 하여 질병을 미리 예측하고, 치료 방법 개발
• 금융 : 거래 데이터를 분석하여 사기 거래 미리 감지. 금융 리스크 관리
• 교통 : 교통 데이터 분석하여 교통 혼잡 방지 및 개선 방안 도출
• 스포츠 : 경기 내용 분석으로 팀 내 전략 강화 및 상대팀 약점 파악
• 부동산 : 주변의 시세 및 부동산 동향 파악

빅데이터는 현대 산업에서 중요성이 점차 더 커지고 있다. 빅데이터를 잘 분석하고 활용한다면 미래에 다양한 분야에서 기회가 창출될 수 있을 것이다. 

 

 

정부의 무료로 공개된 빅데이터 얻을 수 있는 곳

국가에서도 수많은 데이터를 제공하고 있다. 이런 데이터를 무료로 다운로드하여 개인적으로 사용해도 되며 아래의 사이트에서 제공하는 API(Application Programming Interface)를 이용한다면 내가 만든 프로그램에서 정부가 제공하는 다양하도고 양질의 데이터를 분석할 수 있다. (API는 소프트웨어나 애플리케이션 사이에서 정보를 주고받게 하는 중간 매개체를 의미함)

 

1. 미국

 

미국 정부의 공개데이터

 

2. 한국

 

한국 정부의 공개데이터

 

---

빅데이터는 AI 기술에도 활용이 되는 중요한 자원이다. 빅데이터를 잘 활용하여 미래의 산업환경에 잘 대응하자. 아래는 인공지능에 대한 내용이다. 관심 있는 사람은 확인해 보길 바란다. 

 

[Learn/과학공학기술] - 인공지능(AI)의 정의, 머신러닝, 딥러닝 기술과의 구분 및 개념 정리

인공지능(AI)의 정의, 머신러닝, 딥러닝 기술과의 구분 및 개념 정리