데이터 레이크 란? | 데이터웨어 하우스와 데이터 레이크

what is data lake data warehouse vs data lake

이 자습서에서는 데이터 레이크와 데이터웨어 하우스 간의 필요성, 정의, 아키텍처, 이점 및 차이점을 포함하여 Data Lake에 대한 모든 내용을 설명합니다.

'데이터 레이크'라는 용어는 오늘날의 IT 세계에서 자주 사용됩니다. 그것이 무엇이며 그 용어가 정확히 어디에서 왔는지 궁금한 적이 있습니까?

데이터가 다양한 형태로 주야로 증폭되는 정보 기술 시대에 데이터 레이크의 개념은 확실히 중요하고 유용 해졌습니다.

여기에서 데이터 레이크가 무엇이며 이점, 용도 등에 대해 자세히 살펴 보겠습니다.

학습 내용 :

• 데이터 레이크 란 무엇이며 어떻게 작동합니까?
  • 데이터 레이크의 비유
  • 데이터 레이크 시장 – 성장, 동향 및 예측
    • # 1) 시장 요약
    • # 2) 주요 선수
    • # 3) 주요 동향
  • Data Lake가 필요한 이유는 무엇입니까?
  • 데이터웨어 하우스와 데이터 레이크의 차이점
  • 데이터 레이크 아키텍처
  • Data Lake의 주요 특징
  • 혜택
  • 도전과 위험
  • 이행
  • Data Lake 공급 업체
• 결론
  • 추천 도서

데이터 레이크 란 무엇이며 어떻게 작동합니까?

데이터 레이크는 모든 정형, 반 정형, 비정형 및 이진 데이터를 자연 / 네이티브 / 원시 형식으로 저장할 수있는 시스템 또는 중앙 집중식 데이터 저장소입니다.

구조화 된 데이터에는 RDBMS의 테이블이 포함될 수 있습니다. 반 구조화 된 데이터에는 CSV 파일, XML 파일, 로그, JSON 등이 포함됩니다. 구조화되지 않은 데이터에는 PDF, 워드 문서, 텍스트 파일, 이메일 등이 포함될 수 있습니다. 바이너리 데이터에는 오디오, 비디오, 이미지 파일이 포함될 수 있습니다.

데이터 저장을위한 플랫 아키텍처를 따릅니다. 일반적으로 데이터는 개체 Blob 또는 파일의 형태로 저장됩니다.

(영상 출처 )

데이터 레이크를 사용하면 데이터를 먼저 구조화 할 필요없이 모든 기업을 한 곳에있는 그대로 저장할 수 있습니다. 머신 러닝, 실시간 분석, 온 프레미스 데이터 이동, 실시간 데이터 이동, 대시 보드 및 시각화를 포함하여 다양한 유형의 분석을 직접 실행할 수 있습니다.

모든 데이터를 원래 형식으로 유지하고 나중에 요청시 분석이 수행 될 것으로 가정합니다.

데이터 레이크의 비유

(영상 출처 )

Data Lake라는 용어는 당시 Pentaho의 CTO였던 James Dixon이 만들었습니다. 그는 데이터 마트 (데이터웨어 하우스의 하위 집합)를 정제 된 증류수로 채우고 직접적이고 쉽게 사용할 수 있도록 포장 및 구조화 한 물병과 유사한 것으로 정의합니다.

반면에, 그것은 자연적인 형태의 수역과 유사합니다. 데이터는 스트림 (다양한 비즈니스 기능 / 소스 시스템)에서 호수로 흐릅니다. 데이터 레이크의 소비자, 즉 사용자는 샘플을 분석, 조사, 수집하고 잠수하기 위해 호수에 액세스 할 수 있습니다.

호수의 물이 낚시, 보트 타기, 식수 제공 등과 같은 사람들의 다양한 요구를 충족시키는 것처럼, 마찬가지로 데이터 레이크 아키텍처는 다양한 용도로 사용됩니다.

C ++에서 char를 int로 변환하는 방법

데이터 과학자는이를 사용하여 데이터를 탐색하고 가설을 만들 수 있습니다. 데이터 분석가가 데이터를 분석하고 패턴을 발견 할 수있는 기회를 제공합니다. 비즈니스 사용자와 이해 관계자가 데이터를 탐색 할 수있는 모드를 제공합니다.

또한보고 분석가가 보고서를 디자인하고이를 비즈니스에 제공 할 수있는 기회를 제공합니다. 반대로 데이터웨어 하우스는 식수로만 사용할 수있는 bisleri 병처럼 잘 정의 된 목적으로 데이터를 패키징했습니다.

데이터 레이크 시장 – 성장, 동향 및 예측

데이터 레이크 시장은 제품 (솔루션 또는 서비스), 배포 (온 프레미스 또는 클라우드), 고객의 산업 (소매, 은행, 유틸리티, 보험, IT, 의료, 통신, 출판, 제조) 및 지역을 기준으로 나뉩니다. 지역.

Mordor Intelligence가 발행 한 보고서에 따르면 아래는 데이터 레이크에 대한 시장 스냅 샷입니다.

(영상 출처 )

# 1) 시장 요약

데이터 레이크 시장은 2019 년에 37 억 4 천만 달러로 평가되었으며 2020 년부터 2025 년까지 예측 기간 동안 CAGR (연평균 성장률) 29.9 %로 2025 년까지 175 억 달러에이를 것으로 예상됩니다.

이러한 데이터 저장소는 데이터웨어 하우스보다 많은 조직에서 경제적 인 옵션으로 점점 더 많이 사용되고 있습니다. 데이터 레이크와 달리 데이터웨어 하우징은웨어 하우스에 들어가기 전에 추가 데이터 처리가 필요합니다.

데이터 레이크 관리 비용은웨어 하우스 용 데이터베이스를 생성하는 데 많은 처리 및 공간이 필요하기 때문에 데이터웨어 하우스에 비해 적습니다.

메이크 파일 C ++ 만드는 방법

# 2) 주요 선수

데이터 레이크 시장은 아래 이미지에서 볼 수 있듯이 5 개의 주요 플레이어가 지배하는 통합 시장이 될 것으로 예상됩니다.

# 3) 주요 동향

• 그것의 사용은 은행 부문에서 상당히 증가 할 것으로 예상됩니다. 은행은 이동 중 분석을 제공하기 위해 데이터 레이크를 채택하고 있습니다. 또한 은행 부문의 많은 사일로를 해소하는 데 도움이됩니다.
• 전 세계적으로 디지털 결제 / 모바일 지갑 사용이 크게 증가함에 따라 빅 데이터 분석의 범위와 그에 따른 기회가 증가하고 있습니다.
• 북미는 데이터 레이크에 대한 채택률이 높을 것으로 예상됩니다. Capgemini가 실시한 연구에 따르면 미국 금융 기관의 60 % 이상이 빅 데이터 분석이 비즈니스의 차별화 요소로 작용하고 경쟁 우위를 제공한다고 생각합니다. 90 % 이상의 조직이 빅 데이터 프로젝트에 투자하면 향후 성공 가능성이 높아진다고 생각합니다.
• 스마트 미터 애플리케이션 사용에 필요하며 미국에서는 2021 년에 약 9 천만 개의 스마트 미터가 설치 될 것으로 예상됩니다. 따라서 이에 대한 수요가 높아질 것으로 예상됩니다.

Data Lake가 필요한 이유는 무엇입니까?

데이터 레이크의 목적은 처리되지 않은 데이터보기 (가장 순수한 형태의 데이터)를 제공하는 것입니다.

예

오늘날 Google, Amazon, Cloudera, Oracle, Microsoft를 비롯한 많은 대기업이 데이터 레이크를 제공합니다.

많은 조직에서 Azure Data Lake 또는 Amazon S3와 같은 클라우드 스토리지 서비스를 사용하고 있습니다. 기업들은 또한 Apache Hadoop과 같은 분산 파일 시스템을 사용하고 있습니다. 자신의 빅 데이터를 관리하고 공유 할 수있는 개인 데이터 레이크의 개념도 발전했습니다.

산업적 사용에 대해 이야기하면 의료 분야에 매우 적합합니다. 의료 분야에서 많은 양의 데이터가 구조화되지 않은 형식 ( 예를 들어, 의사 메모, 임상 데이터, 환자 질병 이력 등) 및 실시간 통찰력에 대한 요구 사항 인 데이터 레이크는 데이터웨어 하우스보다 좋은 옵션입니다.

데이터가 매우 방대하고 원시적 인 교육 부문에서도 유연한 솔루션을 제공합니다.

주로 공급망 관리 또는 물류와 같은 운송 부문에서 예측을하고 비용 절감 효과를 실현하는 데 도움이됩니다.

항공 및 전력 산업도 데이터 레이크를 사용하고 있습니다.

구현의 예로 GE Predix (General Electric에서 개발)는 산업 자산에 연결되는 산업 애플리케이션을 생성, 배포 및 관리하고, 데이터를 수집 및 분석하고, 실시간으로 제공하는 강력한 데이터 거버넌스 역량을 제공하는 산업 데이터 레이크 플랫폼입니다. 산업 인프라 및 프로세스 개선을위한 통찰력.

데이터웨어 하우스와 데이터 레이크의 차이점

종종 사람들은 호수가 데이터웨어 하우스와 어떻게 다른지 이해하기 어렵습니다. 그들은 또한 데이터웨어 하우스와 동일하다고 주장합니다. 그러나 이것은 현실이 아닙니다.

데이터 레이크와 데이터웨어 하우스의 유일한 공통점은 둘 다 데이터 저장소라는 것입니다. 휴식, 그들은 다릅니다. 사용 사례와 목적이 다릅니다.

차이점은 다음과 같습니다.

데이터 레이크 아키텍처

아키텍처 다이어그램

위는 데이터 레이크의 개념적 아키텍처 다이어그램입니다. 가장 왼쪽 부분에는 구조화, 반 구조화 또는 구조화되지 않은 데이터 소스가 있음을 알 수 있습니다.

이러한 데이터 소스는 원시 형식의 데이터, 즉 변환없이 데이터를 사용하는 원시 데이터 저장소로 결합됩니다. 이것은 저렴하고 영구적이며 확장 가능한 스토리지입니다.

다음으로 데이터 검색, 탐색 적 데이터 분석 및 예측 모델링에 사용할 수있는 분석 샌드 박스가 있습니다. 기본적으로 이것은 데이터 과학자가 데이터를 탐색하고 새로운 가설을 세우고 사용 사례를 정의하는 데 사용됩니다.

그런 다음 원시 데이터를 소비자가 사용할 수있는 형식, 즉 최종 사용자에게보고하는 데 사용할 수있는 구조화 된 형식으로 처리하는 일괄 처리 엔진이 있습니다.

그런 다음 스트리밍 데이터를 가져와 변환하는 실시간 처리 엔진이 있습니다.

Data Lake의 주요 특징

Data Lake로 분류 되려면 빅 데이터 저장소에 다음 세 가지 속성이 있어야합니다.

# 1) 일반적으로 DFS (분산 파일 시스템) 내에 보관되는 단일 공통 데이터 저장소.

Hadoop 데이터 레이크는 데이터를 기본 형식으로 유지하고 데이터 수명주기 동안 데이터 및 상대적 의미에 대한 변경 사항을 캡처합니다. 이 접근 방식은 특히 컴플라이언스 확인 및 내부 감사에 유용합니다.

이는 데이터가 변환, 집계 및 수정을 거치면서 필요할 때 전체 데이터를 저장하기 어렵고 기업이 데이터 소스 / 원산지를 찾으려고 노력하는 기존의 엔터프라이즈 데이터웨어 하우스보다 향상된 기능입니다.

# 2) 계획 및 작업 스케줄링 기능을 통합합니다 (예 : YARN 등과 같은 스케줄러 도구를 통해).

워크로드 실행은 엔터프라이즈 Hadoop의 필수 요구 사항이며 YARN은 지속적인 프로세스를 제공하는 리소스 관리 및 중앙 플랫폼을 제공합니다. 보안 , Hadoop 클러스터 전반에 걸친 데이터 거버넌스 도구를 통해 분석 워크 플로가 필요한 수준의 데이터 액세스 및 컴퓨팅 성능을 보유하도록합니다.

# 3) 데이터를 소비, 처리 또는 작업하는 데 필요한 유틸리티 및 기능 세트로 구성됩니다.

사용자를위한 쉽고 빠른 접근성은 조직이 데이터를 기본 또는 순수한 형태로 저장하기 때문에 데이터 레이크의 주요 특징 중 하나입니다.

데이터가 구조화, 비 구조화, 반 구조화 등 어떤 형태로든 데이터 레이크에있는 그대로 삽입됩니다. 이를 통해 데이터 소유자는 데이터 공유에 대한 기술적 또는 정치적 장벽을 제거하여 고객, 공급 업체 및 운영 데이터를 결합 할 수 있습니다.

혜택

(영상 출처 )

• 변하기 쉬운 : CRM 데이터에서 소셜 네트워크 활동에 이르기까지 모든 종류의 정형 / 비정형 데이터를 저장할 수있는 능력이 있습니다.
• 스키마의 유연성 향상 : 데이터 분석에 대한 계획이나 사전 지식이 필요하지 않습니다. 모든 데이터를 원래 형식으로 저장하고 나중에 요청시 분석이 수행 될 것으로 가정합니다. 이것은 OLAP에 매우 유용합니다. 예를 들어, Hadoop 데이터 레이크를 사용하면 스키마없이 데이터를 분리 할 수 ​​있습니다.
• 실시간 의사 결정 분석 : 그들은 실시간 의사 결정 분석에 도달하기 위해 엄청난 양의 일관된 데이터와 딥 러닝 알고리즘의 이점을 누리고 있습니다. 무제한 데이터 유형에서 값을 얻을 수 있습니다.
• 확장 가능 : 기존 데이터웨어 하우스보다 훨씬 더 확장 가능하며 비용도 저렴합니다.
• 고급 분석 / SQL 및 기타 언어와의 호환성 : 데이터 레이크를 사용하면 데이터를 쿼리하는 다양한 방법이 있습니다. 간단한 분석을 위해 SQL 만 지원하는 기존 데이터웨어 하우스와 달리 데이터 분석을위한 다른 많은 옵션과 언어 지원을 제공합니다. 또한 Spark MLlib와 같은 기계 학습 도구와도 호환됩니다.
• 데이터 민주화 : 효과적인 데이터 관리 플랫폼을 활용하면서 전체 조직의 데이터에 대한 단일 통합보기를 통해 데이터에 대한 대중화 된 액세스를 제공합니다. 이것은 데이터의 모든 가용성을 보장합니다.
• 더 나은 데이터 품질 : 전반적으로 네이티브 형식의 데이터 스토리지, 확장 성, 다 용성, 스키마 유연성, SQL 및 기타 언어 지원 및 고급 분석과 같은 기술적 이점을 통해 데이터 레이크를 통해 더 나은 데이터 품질을 얻을 수 있습니다.

도전과 위험

데이터 레이크는 많은 이점을 제공합니다. 하지만 그렇습니다. 또한 조직이주의 깊게 해결해야하는 몇 가지 문제와 위험이 있습니다.

그들은:

• 제대로 설계되지 않으면 데이터 늪으로 바뀔 수 있습니다. 때때로 조직은 전략과 목적을 염두에 두지 않고 이러한 호수에 무제한 데이터를 계속해서 버리는 경우가 있습니다.
• 때때로 데이터를 사용하려는 분석가는 데이터 레이크에서 마이닝을 수행하는 것이 매우 어렵 기 때문에 데이터를 사용하는 방법에 대한 지식이 없습니다. 따라서 시간이 지나면 관련성과 추진력을 잃게됩니다. 조직은 분석가의 장벽을 제거하기 위해 노력해야합니다.
• 데이터 레이크에 많은 무질서한 데이터가 있으므로 프로덕션에 사용할 수있을만큼 신선하거나 최신 상태가 아닙니다. 따라서 이러한 호수의 데이터는 파일럿 모드로 유지되며 생산에 투입되지 않습니다.
• 구조화되지 않은 데이터는 사용할 수없는 데이터로 이어질 수 있습니다.
• 때때로 조직은 투자 한 것과 관련하여 비즈니스에 큰 영향을 미치지 않는다고 경험합니다. 이를 위해서는 사고 방식의 변화가 필요합니다. 영향이 발생하려면 기업은 관리자와 리더가 이러한 데이터 저장소에서 파생 된 분석을 기반으로 결정을 내 리도록 권장해야합니다.
• 보안 및 액세스 제어는 작업시 위험 요소 중 하나입니다. 개인 정보 보호 및 규정이 필요할 수있는 일부 데이터는 감독없이 데이터 레이크에 저장됩니다.

이행

기업에서는 데이터 레이크 구현을 민첩하게 수행하는 것이 합리적입니다.

즉, 먼저 Data Lake MVP를 구현하려면 품질, 액세스 용이성, 저장 및 분석 기능과 관련하여 사용자가 테스트하고 피드백을받은 다음 복잡한 요구 사항과 기능을 추가하여 Lake에 가치를 추가합니다.

일반적으로 조직은 아래의 네 가지 기본 구현 단계를 거칩니다.

(영상 출처 )

스테이지 1:

기본 데이터 레이크 : 이 단계에서 팀은 데이터 레이크에 대한 기본 아키텍처, 기술 (클라우드 기반 또는 레거시) 및 보안 및 관리 관행에 정착합니다. 다양한 엔터프라이즈 소스에서 오는 모든 원시 데이터를 저장하고 내부 및 외부 데이터를 결합하여 풍부한 정보를 제공 할 수 있습니다.

2 단계 :

샌드 박스 : 분석 능력 향상 : 이 단계에서 데이터 과학자는 데이터 저장소에 액세스하여 원시 데이터를 활용하기위한 예비 실험을 실행하고 비즈니스 요구 사항을 충족하는 분석 모델을 설계합니다.

3 단계 :

최고의 하드 드라이브 복제 소프트웨어 Windows 10

데이터웨어 하우스 및 데이터 레이크 협업 : 이 단계에서 조직은 기존 데이터웨어 하우스와의 시너지 효과로 데이터 레이크를 사용하기 시작합니다. 데이터웨어 하우스의 저장 한계를 초과하지 않도록 우선 순위가 낮은 데이터가 전송됩니다.

콜드 데이터에서 인사이트를 생성하거나 기존 데이터베이스에 의해 인덱싱되지 않은 정보를 검색하기 위해 쿼리 할 가능성을 제시합니다.

4 단계 :

Data Lake의 종단 간 채택 : 이것은 조직의 데이터 아키텍처의 핵심 요소가되고 효과적으로 검색 작업을 직접 수행하는 마지막 성숙 단계입니다. 이때까지 데이터 레이크는 EDW를 대체하고 모든 엔터프라이즈 데이터의 유일한 소스가됩니다.

조직은 데이터 레이크를 통해 다음을 수행 할 수 있습니다.

• 다양한 비즈니스 요구에 맞는 복잡한 데이터 모델링 및 분석 솔루션을 만듭니다.
• 데이터 레이크의 이해와 다양한 애플리케이션 및 데이터 소스를 통합하는 대화 형 대시 보드를 디자인합니다.
• 계산 작업을 처리하는 고급 분석 또는 로봇 공학 프로그램을 구현합니다.

이 시점에서 강력한 보안 및 관리 조치를 취하고 있습니다.

Data Lake 공급 업체

업계에는 데이터 레이크 도구를 제공하는 여러 공급 업체가 있습니다.

(영상 출처 )

대기업을 보면 :

• 컴퓨팅 지능형 데이터 레이크 도구를 제공하고 있습니다. BDM (Big Data Management) 10.2.2는 사용 가능한 최신 버전입니다.
• 라는 공급 업체가 있습니다. 보는 사람 도구도 제공하고 있습니다.
• 그 회사 Talend ETL 도구로 널리 사용되는이 도구는 Data Lake 도구도 제공합니다.
• 그런 다음 오픈 소스 도구가 있습니다. Kylo ~로부터 Teradata 회사. Teradata 회사의 'Think Big'팀이이 도구를 개발했습니다.
• 그 회사 통 데이터 Inc는 이러한 서비스도 제공합니다.
• 에서 마이크로 소프트 , 당신은 찾을 수 있습니다 Azure 데이터 레이크 업계에서 사용할 수 있습니다.
• Hvr 소프트웨어 또한 데이터 레이크 통합 솔루션을 제공합니다.
• 연단 데이터, Qlik 회사는 데이터 레이크 파이프 라인, 다중 영역 데이터 레이크와 같은 도구 제품을 제공하고 있습니다.
• 눈송이 데이터 레이크 제품도 있습니다.
• Zaloni 빅 데이터를 사용하여 방대한 데이터를 처리하는 데이터 레이크 회사입니다.

따라서 이들은 모두 인기있는 서비스 제공 업체이자 그러한 도구의 공급 업체입니다.

데이터 레이크에 대한 지식을 연습하고 구축하려는 경우 Informatica 또는 Kylo를 선택할 수 있습니다. 클라우드 기반 서비스를 찾고 있다면 Looker, Informatica 및 Talend를 선택할 수 있습니다. 이 세 공급 업체는 AWS 클라우드 데이터 레이크를 제공하고 있습니다. Kylo에서 1 개월 무료 평가판을받을 수도 있습니다.

결론

이 자습서에서는 데이터 레이크의 개념에 대해 자세히 설명했습니다. 데이터 레이크의 기본 아이디어, 아키텍처, 주요 특성, 이점과 함께 예제, 사용 사례 등을 살펴 보았습니다.

또한 데이터 레이크가 데이터웨어 하우스와 어떻게 다른지 확인했습니다. 또한 관련 서비스를 제공하는 최고의 공급 업체를 다루었습니다.

행복한 독서 !!

추천 도서

• 예제가 포함 된 데이터웨어 하우스 테스트 자습서 | ETL 테스트 가이드
• SEO를위한 10 가지 구조화 된 데이터 테스트 및 검증 도구
• 데이터 마이닝 : 데이터 분석의 프로세스, 기술 및 주요 문제
• 데이터 마트 자습서-데이터 마트의 유형, 예 및 구현
• 인기있는 10 가지 데이터웨어 하우스 도구 및 테스트 기술
• 데이터웨어 하우스의 차원 데이터 모델-예제가 포함 된 자습서
• 데이터 수집 전략을 갖춘 10 개 이상의 최고의 데이터 수집 도구
• 테스트 데이터 관리를위한 IBM Rational Quality Manager의 데이터 풀 기능