데이터웨어 하우징 기초 : 예제가 포함 된 궁극적 인 가이드

data warehousing fundamentals

데이터웨어 하우징 기본 사항에 대해 자세히 알아보십시오. 이 심층 가이드는 유형, 특성, 장점 및 단점과 함께 데이터웨어 하우징이 무엇인지 설명합니다.

데이터웨어 하우스는 오늘날 IT 업계의 최신 스토리지 트렌드입니다.

이 자습서에서는 데이터웨어 하우스 란 무엇입니까? 데이터웨어 하우징이 중요한 이유는 무엇입니까? 데이터웨어 하우스 애플리케이션의 유형, 데이터웨어 하우스의 특성, 데이터웨어 하우징의 장단점.

이 시리즈의 데이터웨어 하우징 자습서 목록 :

튜토리얼 # 1 : 데이터웨어 하우징 기초
튜토리얼 # 2 : 데이터웨어 하우스의 ETL 프로세스는 무엇입니까?
튜토리얼 # 3 : 데이터웨어 하우스 테스트
튜토리얼 # 4 : 데이터웨어 하우스의 차원 데이터 모델
튜토리얼 # 5 : 데이터웨어 하우스 모델링의 스키마 유형
튜토리얼 # 6 : 데이터 마트 튜토리얼
튜토리얼 # 7 : ETL의 메타 데이터

이 데이터웨어 하우징 시리즈의 자습서 개요

학습 내용 :

• 데이터웨어 하우징 기초 : 완벽한 가이드
  • 데이터웨어 하우징이란?
  • 데이터웨어 하우징이 중요한 이유는 무엇입니까?
  • 데이터웨어 하우스 애플리케이션 유형
    • # 1) 정보 처리
    • # 2) 분석 처리
    • # 3) 데이터 마이닝
  • 데이터웨어 하우스의 특성
  • 데이터웨어 하우스의 이점
  • 데이터웨어 하우징의 단점
• 결론
  • 추천 도서

데이터웨어 하우징 기초 : 완벽한 가이드

대상 청중

• 데이터웨어 하우스 / ETL 개발자 및 테스터.
• 데이터베이스 개념에 대한 기본 지식이있는 데이터베이스 전문가.
• 데이터웨어 하우징 개념을 이해하려는 데이터베이스 관리자 / 빅 데이터 전문가
• 데이터웨어 하우스 일자리를 찾고있는 대학 졸업자 / 신입생.

데이터웨어 하우징이란?

데이터웨어 하우스 (DW)는 방대한 양의 조직화 된 데이터 저장소입니다. 이 데이터는 하나 이상의 다른 데이터 소스에서 통합됩니다. DW는 주로 조직의 분석보고 및 정시 의사 결정을 위해 설계된 관계형 데이터베이스입니다.

이 목적을위한 데이터는 소스 트랜잭션 데이터에서 분리되고 최적화되어 주요 비즈니스에 영향을 미치지 않습니다. 조직이 비즈니스 변경을 도입하면 DW를 사용하여 해당 변경의 영향을 조사하므로 DW는 비 의사 결정 프로세스를 모니터링하는데도 사용됩니다.

데이터웨어 하우스는 운영 데이터가 DW와 매우 분리되어 있기 때문에 대부분 읽기 전용 시스템입니다. 이것은 좋은 쿼리 작성으로 가장 많은 양의 데이터를 검색 할 수있는 환경을 제공합니다.

따라서 DW는 비즈니스 사용자를위한 보고서와 대시 보드를 보여주는 비즈니스 인텔리전스 도구의 백엔드 엔진 역할을합니다. DW는 은행, 금융, 소매 부문 등에서 광범위하게 사용됩니다.

데이터웨어 하우징이 중요한 이유는 무엇입니까?

다음은 데이터웨어 하우스가 중요한 몇 가지 이유입니다.

1. 데이터웨어 하우스는 '다른 형식'의 여러 이기종 소스에서 모든 운영 데이터를 수집하고 추출, 변환 및로드 (ETL) 프로세스를 통해 조직 전체의 '표준화 된 차원 형식'으로 데이터를 DW에로드합니다.
2. 데이터웨어 하우스는 분석보고 및 사실 기반 의사 결정을 위해 '현재 데이터 및 기록 데이터'를 모두 유지합니다.
3. 조직이 분기 및 연간 보고서를 비교하여 성과를 개선함으로써 비용 절감과 수익 증대에 대한 '더 현명하고 신속한 결정'을 내리는 데 도움이됩니다.

데이터웨어 하우스 애플리케이션 유형

BI (비즈니스 인텔리전스)는 의사 결정을 위해 설계된 데이터웨어 하우징의 한 분야입니다. DW의 데이터가로드되면 BI는 데이터를 분석하고이를 비즈니스 사용자에게 제공하여 중요한 역할을합니다.

실제로 '데이터웨어 하우스 애플리케이션'이라는 용어는 데이터를 처리하고 활용할 수있는 다양한 유형을 의미합니다.

아래에 언급 된 바와 같이 세 가지 유형의 DW 애플리케이션이 있습니다.

1. 정보 처리
2. 분석 처리
3. BI의 목적에 부합하는 데이터 마이닝

# 1) 정보 처리

이것은 데이터웨어 하우스가 저장된 데이터와 직접 일대일 접촉을 허용하는 일종의 애플리케이션입니다.

데이터에 대한 기본적인 통계 분석을 통해 데이터 (또는)에 대한 직접 쿼리를 작성하여 데이터를 처리 할 수 ​​있으며 최종 결과는 보고서, 표, 차트 또는 그래프 형태로 비즈니스 사용자에게보고됩니다.

DW는 정보 처리를 위해 다음 도구를 지원합니다.

(i) 검색어 도구 : 비즈니스 (또는) 분석가는 쿼리 도구를 사용하여 쿼리를 실행하여 데이터를 탐색하고 비즈니스 요구 사항에 따라 보고서 또는 그래픽 형식으로 출력을 생성합니다.

(ii)보고 도구 : 비즈니스가 정의 된 형식과 일정에 따라 (예 : 매일, 매주 또는 매월) 결과를보고자하는 경우보고 도구가 사용됩니다. 이러한 종류의 보고서는 언제든지 저장하고 검토 할 수 있습니다.

(iii) 통계 도구 : 기업이 광범위한 데이터보기에 대한 분석을 수행하려는 경우 통계 도구를 사용하여 이러한 결과를 생성합니다. 기업은 이러한 전략적 결과를 이해함으로써 결론과 예측을 내릴 수 있습니다.

# 2) 분석 처리

이것은 데이터웨어 하우스가 저장된 데이터의 분석 처리를 허용하는 일종의 애플리케이션입니다. 데이터는 Slice-and-Dice, Drill Down, Roll Up, Pivoting 등의 작업으로 분석 할 수 있습니다.

(i) 슬라이스 앤 다이스 : 데이터웨어 하우스를 사용하면 슬라이스 및 주사위 작업을 통해 다양한 관점의 조합으로 여러 수준에서 액세스 한 데이터를 분석 할 수 있습니다. 슬라이스 및 주사위 작업은 내부적으로 드릴 다운 메커니즘을 사용합니다. 슬라이스는 차원 데이터에서 작동합니다.

Xbox One 용 최고의 vr 헤드셋

비즈니스 요구 사항의 일부로 단일 영역에 집중하면 슬라이싱은 요구 사항에 따라 특정 영역의 차원을 분석하고 결과를 제공합니다. 다이 싱은 분석 작업에서 작동합니다. Dicing은 다양한 관점을 제공하기 위해 모든 차원에서 특정 속성 집합을 확대합니다. 차원은 하나 이상의 연속 조각에서 고려됩니다.

(ii) 드릴 다운 : 비즈니스에서 요약 번호의 더 자세한 수준으로 이동하려는 경우 드릴 다운은 해당 요약을 사소한 세부 수준으로 탐색하는 작업입니다. 이것은 무슨 일이 일어나고 있는지 그리고 비즈니스가 더 밀접하게 집중되어야하는 위치에 대한 훌륭한 아이디어를 제공합니다.

근본 원인 분석을위한 세부 정보 수준까지 계층 수준에서 트랙을 드릴 다운합니다. 판매 드릴 다운이 다음에서 발생할 수 있으므로 예제를 통해 쉽게 이해할 수 있습니다. 국가 수준-> 지역 수준-> 주 수준-> 지역 수준-> 상점 수준.

(iii) 롤업 : 롤업은 드릴 다운 작업과 반대로 작동합니다. 비즈니스에서 요약 된 데이터를 원하면 롤업이 그림에 나타납니다. 차원 계층에서 위로 이동하여 세부 수준 데이터를 집계합니다.
롤업은 시스템의 개발 및 성능을 분석하는 데 사용됩니다.

이것은 다음과 같이 이해할 수 있습니다. 예 총액을 롤업 할 수있는 판매 롤업에서와 같이 도시 수준 -> 주 수준 -> 지역 수준 -> 국가 수준 .

(iv) 피벗 : 피벗은 큐브의 데이터를 회전하여 차원 데이터를 분석합니다. 예를 들어, 행 차원을 열 차원으로 바꾸거나 그 반대로 바꿀 수 있습니다.

# 3) 데이터 마이닝

이것은 데이터웨어 하우스가 데이터에 대한 지식 검색을 허용하고 결과가 시각화 도구로 표현되는 일종의 애플리케이션입니다. 위의 두 가지 유형의 응용 프로그램에서 정보는 사용자가 주도 할 수 있습니다.

다양한 비즈니스에서 데이터가 방대해 지므로 데이터에 대한 모든 가능한 통찰력을 얻기 위해 데이터웨어 하우스를 쿼리하고 드릴 다운하기가 어렵습니다. 그런 다음 데이터 마이닝을 통해 지식을 발견합니다.

이는 과거의 모든 연관성, 결과 등이 포함 된 데이터로 이동하고 미래를 예측합니다. 따라서 이것은 사용자 중심이 아닌 데이터 중심입니다. 숨겨진 패턴, 연관성, 분류 및 예측을 찾아 데이터를 발견 할 수 있습니다.

데이터 마이닝은 데이터를 심층적으로 사용하여 미래를 예측합니다. 예측에 따라 취할 조치도 제안합니다.

다음은 데이터 마이닝의 다양한 활동입니다.

• 패턴 : 데이터 마이닝은 데이터베이스에서 발생하는 패턴을 발견합니다. 사용자는 패턴에 대한 일부 지식이 의사 결정에 필요한 비즈니스 정보를 제공 할 수 있습니다.
• 협회 / 관계 : 데이터 마이닝은 연결 규칙의 빈도로 개체 간의 관계를 검색합니다. 이 관계는 둘 이상의 개체 사이에있을 수 있습니다 (또는) 동일한 개체의 속성 내에서 규칙을 발견 할 수 있습니다.
• 분류: 데이터 마이닝은 미리 정의 된 클래스 집합으로 데이터를 구성합니다. 따라서 데이터에서 개체가 선택되면 분류는 해당 클래스 레이블을 해당 개체에 연결합니다.
• 예측: 데이터 마이닝은 기존 값 집합을 비교하여 비즈니스에서 가능한 최상의 미래 가치 / 추세를 찾습니다.

따라서 위의 모든 결과를 기반으로 데이터 마이닝은 취해야 할 일련의 조치를 제안합니다.

삽입 정렬 알고리즘 C ++

데이터웨어 하우스의 특성

데이터웨어 하우스는 주제 지향, 통합, 비 휘발성 및 시간 변형과 같은 데이터의 다음 특성을 기반으로 구축됩니다.

# 1) 주제 지향 : 현명한 데이터를 적용하는 것이 아니라 특정 주제 영역에 대한 데이터를 분석 할 수 있으므로 데이터웨어 하우스를 주제 지향적으로 정의 할 수 있습니다. 이것은 쉬운 의사 결정을 위해보다 정의 된 결과를 제공합니다. 교육 시스템과 관련하여 과목 영역은 학생, 과목, 마크, 교사 등이 될 수 있습니다.

# 2) 통합 : 데이터웨어 하우스의 데이터는 다른 관계형 데이터베이스, 플랫 파일 등과 같은 고유 한 소스에서 통합됩니다. 이러한 방대한 양의 데이터는 효과적인 데이터 분석을 위해 가져옵니다. 그러나 데이터 소스가 서로 다른 형식 일 수 있으므로 데이터 충돌이있을 수 있습니다. 데이터웨어 하우스는이 모든 데이터를 전체 시스템에서 일관된 형식으로 가져옵니다.

# 3) 비 휘발성 : 데이터가 데이터웨어 하우스에로드되면 변경할 수 없습니다. 데이터를 자주 변경하면 데이터를 분석 할 수 없으므로 논리적으로 허용됩니다. 운영 데이터베이스의 빈번한 변경 사항은 일정에 따라 데이터웨어 하우스에로드 할 수 있으며,이 과정에서 새 데이터가 추가되지만 이전 데이터는 삭제되지 않고 기록 데이터로 유지됩니다.

# 4) 시간 변형 : 데이터웨어 하우스의 최근 데이터와 함께 모든 기록 데이터는 모든 기간의 데이터를 검색하는 데 중요한 역할을합니다. 기업이 보고서, 그래프 등을 원할 경우 전년도와 비교하고 추세를 분석하기 위해서는 6 개월 전, 1 년 전, 심지어는 더 오래된 데이터 등 모든 구형 데이터가 필요합니다.

데이터웨어 하우스의 이점

데이터웨어 하우스 시스템이 생산적 일 때 조직은이를 사용하여 다음과 같은 이점을 얻습니다.

1. 향상된 비즈니스 인텔리전스
2. 시스템 및 쿼리 성능 향상
3. 여러 소스의 비즈니스 인텔리전스
4. 데이터에 대한 적시 액세스
5. 향상된 데이터 품질 및 일관성
6. 역사 정보
7. 높은 투자 수익

# 1) 향상된 비즈니스 인텔리전스 : 데이터웨어 하우징과 비즈니스 인텔리전스가 없었던 초기에는 비즈니스 사용자와 분석가가 제한된 양의 데이터와 자신의 직감으로 의사 결정을 내 리곤했습니다.

DW & BI는 일정 기간 동안 수집 된 실제 조직 데이터와 실제 사실로 인사이트를 제공함으로써 변화를 가져 왔습니다. 비즈니스 사용자는 전략적 의사 결정 및 현명한 비즈니스 의사 결정에 대한 요구에 따라 마케팅, 재무, 영업 등과 같은 비즈니스 프로세스 데이터를 직접 쿼리 할 수 ​​있습니다.

# 2) 시스템 및 쿼리 성능 향상 : 데이터웨어 하우징은 이기종 시스템에서 대용량 정보를 수집하여 단일 쿼리 엔진을 사용하여 빠른 데이터 검색을 수행 할 수 있도록 하나의 시스템에 배치합니다.

# 3) 여러 출처의 비즈니스 인텔리전스 : 비즈니스 인텔리전스가 일반적으로 데이터에서 어떻게 작동하는지 알고 있습니까? 여러 시스템, 하위 시스템, 플랫폼 및 데이터 소스의 데이터를 흡수하여 프로젝트에서 작업합니다. 그러나 데이터웨어 하우스는 모든 프로젝트 데이터를 중복없이 통합하여 BI에 대한이 문제를 해결합니다.

# 4) 데이터에 대한 적시 액세스 : 비즈니스 사용자는 데이터 검색에 더 적은 시간을 소비함으로써 이익을 얻을 수 있습니다. 최소한의 기술 지식으로 데이터를 쿼리하고 보고서를 생성 할 수있는 몇 가지 도구가 있습니다. 따라서 비즈니스 사용자는 데이터 수집보다는 데이터 분석에 충분한 시간을 할애 할 수 있습니다.

# 5) 향상된 데이터 품질 및 일관성 : 데이터웨어 하우징은 소스 시스템 형식이 다른 데이터를 단일 형식으로 변환합니다. 따라서 데이터를 데이터웨어 하우스로 소싱하는 동일한 비즈니스 단위가 비즈니스 보고서 및 쿼리에 DW 저장소를 재사용 할 수 있습니다.

따라서 조직의 관점에서 볼 때 모든 사업부는 일관된 결과 / 보고서를 제공합니다. 따라서이 좋은 품질과 일관된 데이터는 성공적인 비즈니스를 운영하는 데 도움이됩니다.

# 6) 역사 정보 : 데이터웨어 하우스는 트랜잭션 시스템에 의해 유지되지 않는 모든 기록 데이터를 유지합니다. 이 방대한 양의 데이터는 특정 기간 동안의 데이터를 분석하고이를보고하고 추세를 분석하여 미래를 예측하는 데 사용됩니다.

# 7) 높은 투자 수익률 (ROI) : 누구나 더 큰 이익과 적은 비용의 관점에서 투자에 대한 좋은 수익을 기대함으로써 사업을 시작합니다. 실제 데이터 세계에서 많은 연구를 통해 데이터웨어 하우스 및 비즈니스 인텔리전스 시스템을 구현하면 높은 수익이 발생하고 비용이 절감된다는 사실이 입증되었습니다.

이제 잘 설계된 DW 시스템이 어떻게 비즈니스에 이점을 추가하는지 이해할 수있을 것입니다.

데이터웨어 하우징의 단점

매우 성공적인 시스템이지만 시스템의 일부 함정을 아는 것이 좋습니다.

• 데이터웨어 하우스를 만드는 것은 확실히 시간이 많이 걸리고 복잡한 프로세스입니다.
• 시스템을 지속적으로 업그레이드해야하므로 유지 관리 비용이 많이 듭니다. 제대로 활용하지 않으면 증가 할 수도 있습니다.
• 개발자, 테스터 및 사용자에게 DW 시스템을 이해하고 기술적으로 구현할 수 있도록 적절한 교육을 제공해야합니다.
• 의사 결정을 위해 DW에로드 할 수없는 민감한 데이터가있을 수 있습니다.
• 비즈니스 프로세스 (또는) 소스 시스템의 재구성은 DW에 큰 영향을 미칩니다.

결론

이 입문 자습서가 데이터웨어 하우징 기본 사항에 대한 배경 지식을 제공하기를 바랍니다. 우리는 데이터웨어 하우징의 모든 기본 개념을 심층적으로 살펴 보았습니다.

이 포괄적 인 자습서에서 데이터웨어 하우징의 정의, 유형, 특성, 이점 및 단점을 배웠습니다.

=> 쉬운 데이터웨어 하우징 교육 시리즈를 읽어보십시오.

추천 도서

• 데이터 마이닝 예 : 데이터 마이닝의 가장 일반적인 애플리케이션 2021
• 데이터 기반 테스트 작동 방식 (QTP 및 Selenium의 예)
• 데이터 마이닝 : 데이터 분석의 프로세스, 기술 및 주요 문제
• ETL 테스트 데이터웨어 하우스 테스트 자습서 (전체 가이드)
• 최고의 무료 C # 튜토리얼 시리즈 : 초보자를위한 최고의 C # 가이드
• 컴퓨터 네트워킹 튜토리얼 : 궁극적 인 가이드
• QTP 자습서 # 18 – QTP 예제로 설명되는 데이터 기반 및 하이브리드 프레임 워크
• 데이터 수집 전략을 갖춘 10 개 이상의 최고의 데이터 수집 도구