Phương pháp tiếp cận, Kế hoạch, và chi phí xây dựng kho dữ liệu (Data Warehouse)

XÂY DỰNG KHO DỮ LIỆU (Data Warehouse): TÓM TẮT

• Thời gian dự án:Từ 3 đến 12 tháng.
• Các bước xây dựng KHO DỮ LIỆU (Data Warehouse):Khơi dậy mục tiêu, hình thành ý tưởng và lựa chọn nền tảng, trường hợp kinh doanh và lộ trình dự án, phân tích hệ thống và thiết kế, phát triển và khởi chạy kiến ​​trúc KHO DỮ LIỆU (Data Warehouse).
• Chi phí:Bắt đầu từ $ 70.000.
• Đội ngũ:Người quản lý dự án, nhà phân tích kinh doanh, nhà phân tích hệ thống KHO DỮ LIỆU (Data Warehouse), kiến ​​trúc sư giải pháp KHO DỮ LIỆU (Data Warehouse), kỹ sư dữ liệu, kỹ sư đảm bảo chất lượng, kỹ sư DevOps.
• Xây dựng KHO DỮ LIỆU (Data Warehouse) đảm bảo:
  • Các quy trình quản lý dữ liệu tự động (thu thập, chuyển đổi, dọn dẹp, cấu trúc dữ liệu, v.v.) để tăng chất lượng và độ tin cậy của dữ liệu.
  • Phương pháp thống nhất để bảo mật dữ liệu.
  • Một nền tảng sẵn sàng cho các sáng kiến phân tích nâng cao.
  • Văn hóa dựa trên định hướng dữ liệu trong toàn công ty, v.v.

CÁC PHƯƠNG PHÁP XÂY DỰNG KHO DỮ LIỆU (Data Warehouse)

Kiến trúc điển hình của giải pháp KHO DỮ LIỆU (Data Warehouse) bao gồm các lớp sau:

Sau đó, dữ liệu trong cơ sở dữ liệu KHO DỮ LIỆU (Data Warehouse) và các ổ chứa dữ liệu có thể được truy vấn thông qua các công cụ OLAP, công cụ khai thác dữ liệu, báo cáo và công cụ trực quan hóa.

Các cách tiếp cận khác nhau để xây dựng KHO DỮ LIỆU (Data Warehouse) tập trung vào lớp lưu trữ dữ liệu:

Different approaches to building a data warehouse concentrate on the data storage layer:

Cách tiếp cận của Inmon – thiết kế bộ lưu trữ tập trung trước tiên và sau đó tạo các Meta data từ KHO DỮ LIỆU (Data Warehouse) tổng hợp và Meta data.

Cách tiếp cận của Kimball– trước tiên tạo ra các KHO DỮ LIỆU (Data Warehouse) và sau đó phát triển một cơ sở dữ liệu KHO DỮ LIỆU (Data Warehouse) tăng dần từ các KHO DỮ LIỆU (Data Warehouse) độc lập.

XÂY DỰNG KHO DỮ LIỆU (Data Warehouse) TỪ SCRATCH: KẾHOẠCH TỪNG BƯỚC

Bước 1. Kích thích mục tiêu

Thời lượng: 3 – 20 ngày

• Tìm các mục tiêu kinh doanh (chiến thuật và chiến lược) mà bạn sẽ theo đuổi với dự án phát triển KHO DỮ LIỆU (Data Warehouse).
• Xác định và ưu tiên các kỳ vọng và nhu cầu của công ty, phòng ban, của người dùng kinh doanh từ dự án.
• Xem xét kiến ​​trúc công nghệ hiện tại của công ty, các ứng dụng đang sử dụng, v.v.
• Tiến hành phân tích nguồn dữ liệu sơ bộ (kiểu và cấu trúc dữ liệu, khối lượng, độ nhạy, v.v.).
• Phác thảo phạm vi KHO DỮ LIỆU (Data Warehouse) và các yêu cầu hệ thống cấp cao.

Bước 2. Lên ý tưởng và lựa chọn nền tảng

Thời lượng: 2-15 ngày

• Xác định bộ tính năng giải pháp KHO DỮ LIỆU (Data Warehouse) mong muốn.
• Chọn tùy chọn triển khai tối ưu (tại chỗ/trong đám mây/kết hợp).
• Lựa chọn phương pháp thiết kế kiến ​​trúc tối ưu để xây dựng KHO DỮ LIỆU (Data Warehouse).
• Lựa chọn công nghệ KHO DỮ LIỆU (Data Warehouse) (cơ sở dữ liệu DWH, công cụ ETL/ELT, công cụ mô hình hóa dữ liệu, v.v.), có tính đến:
  • Số lượng nguồn dữ liệu và khối lượng dữ liệu cần tải vào KHO DỮ LIỆU (Data Warehouse).
  • Các luồng dữ liệu được triển khai.
  • Yêu cầu bảo mật dữ liệu.

Bước 3. Trường hợp kinh doanh và lộ trình dự án

Thời lượng: 2-15 ngày

Các hoạt động chính bao gồm:

• Xác định phạm vi dự án phát triển KHO DỮ LIỆU (Data Warehouse), lập kế hoạch ngân sách, dòng thời gian, v.v.
• Lên lịch các hoạt động thiết kế, phát triển và thử nghiệm DHW.
• Lập hồ sơ phạm vi dự án KHO DỮ LIỆU (Data Warehouse), tài liệu tầm nhìn kiến ​​trúc giải pháp KHO DỮ LIỆU (Data Warehouse), chiến lược triển khai KHO DỮ LIỆU (Data Warehouse), chiến lược thử nghiệm, lộ trình thực hiện dự án.
• Xây dựng kế hoạch quản lý rủi ro.
• Kết quả ước tính cho dự án phát triển KHO DỮ LIỆU (Data Warehouse), TCO và ROI.

Bước 4. Phân tích hệ thống và thiết kế kiến ​​trúc KHO DỮ LIỆU (Data Warehouse)

Thời hạn: từ 15 ngày

• Phân tích chi tiết từng nguồn dữ liệu:
  • Kiểu và cấu trúc dữ liệu (các mô hình dữ liệu, nếu có).
  • Khối lượng dữ liệu được tạo hàng ngày.
  • Độ nhạy của dữ liệu và cách tiếp cận truy cập dữ liệu được áp dụng.
  • Chất lượng dữ liệu, dữ liệu bị thiếu / kém, khả năng thực hiện làm sạch dữ liệu trong hệ thống nguồn dữ liệu.
  • Nhận dạng nếu không có bất kỳ dữ liệu nào / có đủ chất lượng để hỗ trợ các yêu cầu kinh doanh.
  • Tần suất cập nhật dữ liệu.
  • Liên quan đến các nguồn dữ liệu khác.
• Thiết kế các chính sách dọn sạch dữ liệu.
• Tạo chính sách bảo mật dữ liệu (chính sách truy cập dữ liệu dựa trên các hạn chế pháp lý và quy tắc bảo mật dữ liệu, chính sách mã hóa dữ liệu, chính sách giám sát truy cập dữ liệu và tuân thủ dữ liệu, chiến lược sao lưu dữ liệu, v.v.)
• Thiết kế mô hình dữ liệu cho KHO DỮ LIỆU (Data Warehouse) và các siêu thị dữ liệu.
• Xác định các đối tượng dữ liệu dưới dạng thực thể hoặc thuộc tính; xác định mối quan hệ giữa các thực thể.
• Sắp xếp các đối tượng dữ liệu vào KHO DỮ LIỆU (Data Warehouse).
• Thiết kế các quy trình ETL/ELT để tích hợp dữ liệu và kiểm soát luồng dữ liệu.

Bước 5. Phát triển và ổn định

Thời hạn: từ 2 tháng

• Sự tùy biến nền tảng KHO DỮ LIỆU (Data Warehouse).
• Định hình phần mềm bảo mật dữ liệu và thực hiện các chính sách bảo mật dữ liệu (áp dụng chính sách bảo mật dữ liệu cho dữ liệu ở cấp hàng, cột, v.v., phát triển các quy trình bảo mật tùy chỉnh, v.v.).
• Phát triển đường truyền ETL/ELT và thử nghiệm ETL/ELT.
• Kiểm tra hiệu suất KHO DỮ LIỆU (Data Warehouse).

Bước 6. Khởi chạy

Thời lượng: từ 2 ngày

• Di chuyển dữ liệu, đánh giá chất lượng dữ liệu.
• Giới thiệu KHO DỮ LIỆU (Data Warehouse) cho người dùng doanh nghiệp.
• Có các bài kiểm tra chấp nhận của người dùng.
• Tiến hành các buổi đào tạo người dùng và hội thảo.

Bước 7. Hỗ trợ sau khi ra mắt

Thời lượng: theo yêu cầu

• Chuyển đổi hiệu suất ETL/ELT.
• Điều chỉnh hiệu suất và tính khả dụng của KHO DỮ LIỆU (Data Warehouse), v.v.
• Hỗ trợ người dùng cuối.