big data tutorial beginners what is big data
이 튜토리얼은 빅 데이터 기본 사항에 대한 모든 것을 설명합니다. 자습서에는 빅 데이터의 응용 프로그램과 함께 이점, 과제, 기술 및 도구가 포함됩니다.
기술 발전이있는이 디지털 세상에서 우리는 다음과 같이 매일 많은 양의 데이터를 교환합니다. 테라 바이트 또는 페타 바이트 .
매일 그 양의 데이터를 교환하는 경우 데이터를 유지하고 어딘가에 저장해야합니다. 빠른 속도와 다양한 다양성으로 대용량 데이터를 처리하는 솔루션은 빅 데이터.
다른 데이터베이스, 웹 사이트, 위젯 등과 같은 여러 소스에서 오는 복잡한 데이터를 처리 할 수 있습니다. 또한 다른 소스에서 오는 데이터를 연결하고 일치시킬 수 있습니다. 실제로 데이터에 더 빠르게 액세스 할 수 있습니다 ( 예를 들어 소셜 미디어).
이 빅 데이터 시리즈의 자습서 목록
튜토리얼 # 1 : 빅 데이터 란? (이 튜토리얼)
튜토리얼 # 2 : Hadoop이란? 초보자를위한 Apache Hadoop 자습서
튜토리얼 # 3 : Hadoop HDFS – Hadoop 분산 파일 시스템
튜토리얼 # 4 : Hadoop 아키텍처 및 HDFS 명령 가이드
튜토리얼 # 5 : 예제가 포함 된 Hadoop MapReduce 자습서 | MapReduce 란 무엇입니까?
튜토리얼 # 6 : 초보자를위한 Apache Hadoop YARN 자습서 | YARN이란?
튜토리얼 # 7 : 포괄적 인 Hadoop 테스트 자습서 | 빅 데이터 테스트 가이드
학습 내용 :
빅 데이터 란?
Huge라는 단어는 BigData를 설명하기에 충분하지 않으며 특정 특성은 데이터를 BigData로 분류합니다.
BigData의 3 가지 주요 특징이 있으며, 이러한 특성을 만족하는 데이터가 있으면 BigData로 취급됩니다. 나는 t는 아래에 언급 된 세 가지 V의 조합입니다.
- 음량
- 속도
- 종류
음량 : 데이터는 방대한 양이어야합니다. 빅 데이터는 테라 바이트 또는 페타 바이트의 대량 데이터를 유지하는 솔루션을 가지고 있습니다. BigData에서 CRUD (Create, Read, Update, Delete) 작업을 쉽고 효과적으로 수행 할 수 있습니다.
Windows 10을위한 최고의 성능 소프트웨어
속도 : 데이터에 대한 빠른 액세스를 담당합니다. 예를 들어 오늘날 소셜 미디어는 짧은 시간 내에 빠른 데이터 교환을 필요로하며 BigData가이를위한 최상의 솔루션입니다. 따라서 속도는 또 다른 특성이며 데이터 처리 속도입니다.
종류 : 소셜 미디어에서 우리는 오디오 또는 비디오 녹화, 이미지 등과 같은 비정형 데이터를 다루고 있습니다. 또한 은행 도메인과 같은 다양한 부문에는 구조화 및 반 구조화 데이터가 필요합니다. BigData는 두 가지 유형의 데이터를 한곳에 유지하는 솔루션입니다.
다양성은 여러 소스에서 오는 구조화 / 비 구조화 데이터와 같은 다양한 유형의 데이터를 의미합니다.
구조화 된 데이터 : 적절한 구조를 가지고 있거나 Oracle, SQL Server 또는 MySQL과 같은 모든 관계형 데이터베이스에서 표 형식으로 쉽게 저장할 수있는 데이터를 Structured Data라고합니다. 이를 쉽고 효율적으로 처리하거나 분석 할 수 있습니다.
구조화 된 데이터의 예로는 SQL (Structured Query Language)을 사용하여 관리 할 수있는 관계형 데이터베이스에 저장된 데이터가 있습니다. 예를 들어 직원 데이터 (이름, ID, 지정 및 급여)는 표 형식으로 저장할 수 있습니다.
기존 데이터베이스에서는 형식화되거나 관계형 데이터베이스에 맞는 후에 만 비정형 또는 반 정형 데이터를 처리하거나 작업을 수행 할 수 있습니다. 예 구조화 된 데이터 중 ERP, CRM 등이 있습니다.
반 구조화 된 데이터 : 반 구조화 된 데이터는 완전히 형식화되지 않은 데이터입니다. 데이터 테이블이나 데이터베이스에 저장되지 않습니다. 그러나 여전히이 데이터에는 태그 또는 쉼표로 구분 된 값 등이 포함되어 있으므로 쉽게 준비하고 처리 할 수 있습니다. 예 반 구조화 된 데이터 중 XML 파일, CSV 파일 등이 있습니다.
비정형 데이터 : 구조화되지 않은 데이터는 구조가없는 데이터입니다. 모든 형식이 될 수 있으며 사전 정의 된 데이터 모델이 없습니다. 기존 데이터베이스에는 저장할 수 없습니다. 그것을 검색하고 처리하는 것은 복잡합니다.
또한 비정형 데이터의 양이 매우 많습니다. 예 비정형 데이터는 이메일 본문, 오디오, 비디오, 이미지, 달성 문서 등입니다.
기존 데이터베이스의 과제
- 기존 데이터베이스는 다양한 데이터를 지원하지 않습니다. 즉, 비정형 및 반 정형 데이터를 처리 할 수 없습니다.
- 기존 데이터베이스는 많은 양의 데이터를 처리하는 동안 느립니다.
- 기존 데이터베이스에서는 대량의 데이터를 처리하거나 분석하는 것이 매우 어렵습니다.
- 기존 데이터베이스는 테라 바이트 또는 페타 바이트 단위의 데이터를 저장할 수 있습니다.
- 기존 데이터베이스는 기록 데이터 및 보고서를 처리 할 수 없습니다.
- 일정 시간이 지나면 데이터베이스의 데이터 정리가 필요합니다.
- 많은 양의 데이터를 유지하는 데 드는 비용은 기존 데이터베이스의 경우 매우 높습니다.
- 기존 데이터베이스에서는 전체 기록 데이터가 유지되지 않으므로 데이터 정확도가 떨어집니다.
빅 데이터기존 데이터베이스에 대한 이점
- 빅 데이터는 구조화, 반 구조화 및 비 구조화와 같은 다양한 유형의 데이터를 처리, 관리 및 처리 할 책임이 있습니다.
- 많은 양의 데이터를 유지하는 측면에서 비용 효율적입니다. 분산 데이터베이스 시스템에서 작동합니다.
- BigData 기술을 사용하여 많은 양의 데이터를 장기간 저장할 수 있습니다. 따라서 기록 데이터를 쉽게 처리하고 정확한 보고서를 생성 할 수 있습니다.
- 데이터 처리 속도가 매우 빠르기 때문에 소셜 미디어는 빅 데이터 기술을 사용하고 있습니다.
- 데이터 정확성은 빅 데이터의 큰 장점입니다.
- 이를 통해 사용자는 현재 및 과거 데이터를 기반으로 비즈니스에 대한 효율적인 결정을 내릴 수 있습니다.
- 오류 처리, 버전 제어 및 고객 경험은 BigData에서 매우 효과적입니다.
추천 읽기 => 빅 데이터 vs 빅 데이터 분석 vs 데이터 과학
빅 데이터의 도전과 위험
과제 :
- 빅 데이터의 주요 과제 중 하나는 많은 양의 데이터를 관리하는 것입니다. 오늘날 데이터는 다양한 소스에서 시스템으로 전달됩니다. 따라서 제대로 관리하는 것은 기업에게 매우 큰 도전입니다. 예를 들어 지난 20 년간의 데이터가 포함 된 보고서를 생성하려면 시스템의 지난 20 년간의 데이터를 저장하고 유지해야합니다. 정확한 보고서를 제공하려면 관련 데이터 만 시스템에 입력하면됩니다. 관련이 없거나 불필요한 데이터를 포함해서는 안됩니다. 그렇지 않으면 그 양의 데이터를 유지하는 것이 회사에 큰 도전이 될 것입니다.
- 이 기술의 또 다른 과제는 다양한 유형의 데이터 동기화입니다. 우리 모두 알고 있듯이 빅 데이터는 서로 다른 소스에서 오는 구조적, 비 구조적 및 반 구조적 데이터를 지원하므로이를 동기화하고 데이터의 일관성을 확보하는 것은 매우 어렵습니다.
- 기업이 직면 한 다음 과제는 시스템에서 직면 한 문제를 돕고 구현할 수있는 전문가의 격차입니다. 이 분야의 인재에는 큰 격차가 있습니다.
- 준수 측면을 처리하는 것은 비용이 많이 듭니다.
- BigData의 데이터 수집, 집계, 저장, 분석 및보고에는 막대한 비용이 듭니다. 조직은 이러한 모든 비용을 관리 할 수 있어야합니다.
위험 :
- 다양한 데이터를 처리 할 수 있지만 기업이 요구 사항을 제대로 이해하고 데이터 소스를 제어하지 못하면 결함이있는 결과를 제공합니다. 결과적으로 결과를 조사하고 수정하려면 많은 시간과 비용이 필요합니다.
- 데이터 보안은 BigData의 또 다른 위험입니다. 데이터 양이 많으면 누군가가 데이터를 훔칠 가능성이 높습니다. 데이터 해커는 회사의 중요한 정보 (이력 데이터 포함)를 훔치고 판매 할 수 있습니다.
- 또한 데이터 프라이버시는 BigData의 또 다른 위험입니다. 해커로부터 개인 및 민감한 데이터를 보호하려면 데이터를 보호해야하며 모든 개인 정보 보호 정책을 통과해야합니다.
빅 데이터 기술
다음은 빅 데이터를 관리하는 데 사용할 수있는 기술입니다.
- Apache Hadoop
- Microsoft HDInsight
- SQL 없음
- 하이브
- Sqoop
- Excel의 빅 데이터
이러한 기술에 대한 자세한 설명은 다음 자습서에서 다룹니다.
빅 데이터 개념을 사용하는 도구
다음은 빅 데이터 개념을 사용하는 데 도움이 될 수있는 오픈 소스 도구입니다.
Windows OS에서 실행되는 데스크톱 가상 머신
# 1) 아파치 하둡
# 2) Lumify
# 3) 아파치 스톰
# 4) 아파치 사모아
# 5) Elasticsearch
# 6) MongoDB
# 7) HPCC 시스템 빅 데이터
빅 데이터의 응용
다음은 사용되는 도메인입니다.
- 은행업
- 미디어 및 엔터테인먼트
- 의료 서비스 제공자
- 보험
- 교육
- 소매
- 조작
- 정부
빅 데이터 및 데이터웨어 하우스
데이터웨어 하우스는 Hadoop 또는 BigData Testing을 논의하기 전에 이해해야하는 기본 개념입니다.
실시간 예제를 통해 데이터웨어 하우스를 이해해 보겠습니다. 예를 들면 , 3 개국에 지사를 설립 한 회사가 있는데 인도, 호주, 일본에 지사를두고 있다고 가정 해 보겠습니다.
모든 지점에서 전체 고객 데이터는 로컬 데이터베이스에 저장됩니다. 이러한 로컬 데이터베이스는 Oracle, MySQL 또는 SQL Server 등과 같은 일반적인 기존 RDBMS 일 수 있으며 모든 고객 데이터는 매일 해당 데이터베이스에 저장됩니다.
이제 조직은 매 분기, 반년 또는 매년이 데이터를 분석하여 비즈니스 개발을 원합니다. 동일한 작업을 수행하기 위해 조직은 여러 소스에서이 모든 데이터를 수집 한 다음 한 곳에 모아서이 장소를 호출합니다. '데이터웨어 하우스'.
데이터웨어 하우스는 여러 소스 또는 여러 데이터베이스 유형에서 가져온 모든 데이터를 포함하는 일종의 데이터베이스입니다. 'ETL' (이것은 IS xtract, 티 ransform 및 엘 oad) 프로세스. 데이터웨어 하우스에 데이터가 준비되면 분석 목적으로 사용할 수 있습니다.
따라서 분석을 위해 데이터웨어 하우스에서 사용할 수있는 데이터에서 보고서를 생성 할 수 있습니다. 비즈니스 인텔리전스 도구를 사용하여 여러 차트 및 보고서를 생성 할 수 있습니다.
비즈니스를 성장시키고 조직을 위해 적절한 결정을 내리려면 분석 목적으로 데이터웨어 하우스가 필요합니다.
Java로 .jar을 여는 방법
이 프로세스에서 세 가지 일이 발생합니다. 먼저 여러 소스에서 데이터를 가져와 데이터웨어 하우스라는 단일 위치에 배치했습니다.
여기서는 'ETL'프로세스를 사용하므로 여러 소스의 데이터를 한 곳으로로드하는 동안 변환 루트에 적용한 다음 여기에서 다양한 종류의 ETL 도구를 사용할 수 있습니다.
데이터가 데이터웨어 하우스에 준비되면 비즈니스 인텔리전스 (BI) 도구를 사용하여 비즈니스 데이터를 분석하는 다양한 보고서를 생성하거나보고 도구라고도합니다. Tableau 또는 Cognos와 같은 도구를 사용하여 비즈니스 데이터를 분석하기위한 보고서 및 DashBoard를 생성 할 수 있습니다.
OLTP 및 OLAP
OLTP와 OLAP가 무엇인지 이해합시다.
로컬로 유지 관리되고 트랜잭션 목적으로 사용되는 데이터베이스를 OLTP 즉, 온라인 트랜잭션 처리. 일상적인 거래는 여기에 저장되고 즉시 업데이트되므로 OLTP 시스템이라고합니다.
여기서 우리는 전통적인 데이터베이스를 사용하고, 여러 테이블이 있고 관계가 있으므로 모든 것이 데이터베이스에 따라 체계적으로 계획됩니다. 우리는 분석 목적으로이 데이터를 사용하지 않습니다. 여기에서 Oracle, MySQL, SQL Server 등과 같은 기존 RDMBS 데이터베이스를 사용할 수 있습니다.
데이터웨어 하우스 부분에서는 일종의 데이터베이스 인 Teradata 또는 Hadoop 시스템을 사용하지만 DataWarehouse의 데이터는 일반적으로 분석 목적으로 사용되며 OLAP 또는 온라인 분석 처리.
여기에서 데이터는 분기 별, 반기 별 또는 연간 단위로 업데이트 할 수 있습니다. 때때로 데이터는 'Offerly'도 업데이트됩니다. 여기서 Offerly는 고객 요구 사항에 따라 분석을 위해 데이터가 업데이트되고 가져 오는 것을 의미합니다.
또한 분석을위한 데이터는 일정에 따라 여러 소스에서 데이터를 가져오고이 ETL 작업을 수행 할 수 있기 때문에 매일 업데이트되지 않습니다. 이것이 온라인 분석 처리 시스템이 작동하는 방식입니다.
여기서도 BI 도구 또는보고 도구는 보고서와 대시 보드를 생성 할 수 있으며이를 기반으로 비즈니스 사람들이 비즈니스 개선을위한 결정을 내릴 것입니다.
빅 데이터는 어디에서 등장할까요?
BigData는 기존 데이터베이스의 저장 및 처리 용량을 초과하는 데이터이며 구조화 및 비 구조화 형식이므로 로컬 RDBMS 시스템에서 처리 할 수 없습니다.
이러한 종류의 데이터는 테라 바이트 (TB) 또는 페타 바이트 (PB) 이상에서 생성 될 것이며 오늘날 빠르게 증가하고 있습니다. Facebook, WhatsApp (소셜 네트워킹과 관련된)과 같은 이러한 종류의 데이터를 얻을 수있는 여러 소스가 있습니다. 아마존, 전자 상거래 관련 Flipkart; 이메일 및 Google 및 기타 검색 엔진과 관련된 Gmail, Yahoo, Rediff. 또한 SMS 데이터, 통화 녹음, 통화 기록 등과 같은 모바일에서 빅 데이터를 얻습니다.
결론
빅 데이터는 많은 양의 데이터를 효율적이고 안전하게 처리 할 수있는 솔루션입니다. 이력 데이터도 유지해야합니다. 이 기술에는 많은 장점이 있으므로 모든 회사가 빅 데이터로 전환하고 싶어합니다.
저자: Vaishali Tarey, Syntel의 기술 책임자