Smart Industry VN
  • Login
  • Digital Supply Chain
  • Smart Factory
    AI Agent – “Kỹ sư ảo” đang tái định nghĩa tương lai nhà máy sản xuất thế nào?

    AI Agent – “Kỹ sư ảo” đang tái định nghĩa tương lai nhà máy sản xuất thế nào?

    Token hoá tín chỉ Carbon: Tất cả những gì bạn cần biết về Tài chính xanh

    Token hoá tín chỉ Carbon: Tất cả những gì bạn cần biết về Tài chính xanh

    5 phần mềm kế toán carbon tốt nhất năm 2023

    5 phần mềm kế toán carbon tốt nhất năm 2023

    Lịch trình sản xuất chính là gì?  Với các ví dụ

    Lịch trình sản xuất chính là gì? Với các ví dụ

    Tùy chỉnh hàng loạt – Một lựa chọn khả thi cho các nhà sản xuất nhỏ

    Làm thế nào để giao tiếp hiệu quả trong một công ty sản xuất?

    Làm thế nào để giao tiếp hiệu quả trong một công ty sản xuất?

    Trending Tags

      • Digital Supply Chain
    • Digital Business
    • Technology
      • All
      • AI & Machine Learning
      • Automation & Robotics
      • Data Analytics
      • IoT
      AI Agent – “Kỹ sư ảo” đang tái định nghĩa tương lai nhà máy sản xuất thế nào?

      AI Agent – “Kỹ sư ảo” đang tái định nghĩa tương lai nhà máy sản xuất thế nào?

      Thúc đẩy đầu tư số hóa cho ngành kinh tế xanh: Những ý tưởng thực tiễn đã chứng minh được hiệu quả

      Thúc đẩy đầu tư số hóa cho ngành kinh tế xanh: Những ý tưởng thực tiễn đã chứng minh được hiệu quả

      Chi phí, sự phức tạp và lực lượng lao động tăng áp dụng AI trong các doanh nghiệp thương mại điện tử

      Chi phí, sự phức tạp và lực lượng lao động tăng áp dụng AI trong các doanh nghiệp thương mại điện tử

      Hỗ trợ Đổi mới Xanh với Trí tuệ Nhân tạo: Từ Tầm nhìn đến Hành động

      Hỗ trợ Đổi mới Xanh với Trí tuệ Nhân tạo: Từ Tầm nhìn đến Hành động

      Các chiến lược làm trung tâm của con người cần thiết cho tương lai của sản xuất

      Các chiến lược làm trung tâm của con người cần thiết cho tương lai của sản xuất

      Tác động của đám mây, AI và dữ liệu đối với các dịch vụ tài chính

      Tác động của đám mây, AI và dữ liệu đối với các dịch vụ tài chính

      Trending Tags

      • Latest News
      • About us
      No Result
      View All Result
      • Digital Supply Chain
      • Smart Factory
        AI Agent – “Kỹ sư ảo” đang tái định nghĩa tương lai nhà máy sản xuất thế nào?

        AI Agent – “Kỹ sư ảo” đang tái định nghĩa tương lai nhà máy sản xuất thế nào?

        Token hoá tín chỉ Carbon: Tất cả những gì bạn cần biết về Tài chính xanh

        Token hoá tín chỉ Carbon: Tất cả những gì bạn cần biết về Tài chính xanh

        5 phần mềm kế toán carbon tốt nhất năm 2023

        5 phần mềm kế toán carbon tốt nhất năm 2023

        Lịch trình sản xuất chính là gì?  Với các ví dụ

        Lịch trình sản xuất chính là gì? Với các ví dụ

        Tùy chỉnh hàng loạt – Một lựa chọn khả thi cho các nhà sản xuất nhỏ

        Làm thế nào để giao tiếp hiệu quả trong một công ty sản xuất?

        Làm thế nào để giao tiếp hiệu quả trong một công ty sản xuất?

        Trending Tags

          • Digital Supply Chain
        • Digital Business
        • Technology
          • All
          • AI & Machine Learning
          • Automation & Robotics
          • Data Analytics
          • IoT
          AI Agent – “Kỹ sư ảo” đang tái định nghĩa tương lai nhà máy sản xuất thế nào?

          AI Agent – “Kỹ sư ảo” đang tái định nghĩa tương lai nhà máy sản xuất thế nào?

          Thúc đẩy đầu tư số hóa cho ngành kinh tế xanh: Những ý tưởng thực tiễn đã chứng minh được hiệu quả

          Thúc đẩy đầu tư số hóa cho ngành kinh tế xanh: Những ý tưởng thực tiễn đã chứng minh được hiệu quả

          Chi phí, sự phức tạp và lực lượng lao động tăng áp dụng AI trong các doanh nghiệp thương mại điện tử

          Chi phí, sự phức tạp và lực lượng lao động tăng áp dụng AI trong các doanh nghiệp thương mại điện tử

          Hỗ trợ Đổi mới Xanh với Trí tuệ Nhân tạo: Từ Tầm nhìn đến Hành động

          Hỗ trợ Đổi mới Xanh với Trí tuệ Nhân tạo: Từ Tầm nhìn đến Hành động

          Các chiến lược làm trung tâm của con người cần thiết cho tương lai của sản xuất

          Các chiến lược làm trung tâm của con người cần thiết cho tương lai của sản xuất

          Tác động của đám mây, AI và dữ liệu đối với các dịch vụ tài chính

          Tác động của đám mây, AI và dữ liệu đối với các dịch vụ tài chính

          Trending Tags

          • Latest News
          • About us
          Smart Industry VN
          No Result
          View All Result
          Home Technology Data Analytics

          Big data và Data lake là gì ? Phân tích dữ liệu lớn trong doanh nghiệp như thế nào ?

          by Smart Industry VN
          23/11/2019
          in Data Analytics, IoT, Technology
          0

          Bạn có thể thích

          AI Agent – “Kỹ sư ảo” đang tái định nghĩa tương lai nhà máy sản xuất thế nào?

          AI Agent – “Kỹ sư ảo” đang tái định nghĩa tương lai nhà máy sản xuất thế nào?

          01/05/2025
          Thúc đẩy đầu tư số hóa cho ngành kinh tế xanh: Những ý tưởng thực tiễn đã chứng minh được hiệu quả

          Thúc đẩy đầu tư số hóa cho ngành kinh tế xanh: Những ý tưởng thực tiễn đã chứng minh được hiệu quả

          23/04/2025
          Chi phí, sự phức tạp và lực lượng lao động tăng áp dụng AI trong các doanh nghiệp thương mại điện tử

          Chi phí, sự phức tạp và lực lượng lao động tăng áp dụng AI trong các doanh nghiệp thương mại điện tử

          18/04/2025
          Hỗ trợ Đổi mới Xanh với Trí tuệ Nhân tạo: Từ Tầm nhìn đến Hành động

          Hỗ trợ Đổi mới Xanh với Trí tuệ Nhân tạo: Từ Tầm nhìn đến Hành động

          22/04/2025

          Big Data là gì ? Data Lake là gì ? Làm sao để ứng dụng Big Data vào doanh nghiệp, chúng ta hãy cùng xem bài viết này nhé.

          Dữ liệu là tương lai của doanh nghiệp số

          Khi nền kinh tế số tăng trưởng mạnh mẽ, các yếu tố về công nghệ sẽ thúc đẩy sự thay đổi trong kinh doanh. Theo Harvard Business Review, các quy trình ra quyết định của nhóm đang trở nên chuẩn hóa hơn, và dữ liệu sẽ là nền tảng và điểm khởi đầu cho các cuộc thảo luận về chuyển đổi doanh nghiệp.

          Dữ liệu sẽ tiếp tục trao quyền cho con người, công nghệ và quy trình. Dữ liệu cho phép các tổ chức hiểu khách hàng của họ, dự đoán nhu cầu và sở thích của họ và phản hồi nhanh hơn. Dữ liệu cũng đã trở thành xương sống cho mọi thứ phải làm với những cải tiến về chất lượng và khả năng của sản phẩm. Data thậm chí còn cho phép các tổ chức hiểu bản thân và hoạt động hiệu quả hơn thông qua phân tích các chu kỳ kinh doanh, thói quen của nhân viên và nhu cầu của khách hàng.

          Chúng ta hãy lấy ví dụ về một trong những công ty hàng không vũ trụ lớn nhất thế giới. Động cơ phản lực Boeing đã tạo 20 terabyte dữ liệu mỗi giờ. Dữ liệu đó đã cho phép Boeing cải thiện động cơ của mình bằng cách phân tích thông tin được tạo bởi việc sử dụng nó.

          Chuyển đổi số là chuyển đổi 3 khía cạnh : Con người, quy trình, công nghệ cùng với trọng tâm chính là dữ liệu.

          Bây giờ hãy tưởng tượng tiềm năng của các phân tích thời gian thực tiên tiến dựa trên các luồng dữ liệu từ các thiết bị thông minh và mạng xã hội. Các cơ hội thu thập thông tin chi tiết từ các thiết bị phát trực tuyến vẫn còn là một biên giới chưa được khai thác.Data cho doanh nghiệp đã sẵn sàng cho một sự thay đổi mới.

          Trên thực tế, Gartner dự đoán chi tiêu cho phần cứng IoT mới sẽ vượt quá 2,5 triệu đô la một phút trong năm nay.6 Các nguồn dữ liệu mới đang bắt đầu xuất hiện và ngày càng có nhiều tổ chức trang bị cho mình cơ hội này. Câu hỏi đặt ra là – tổ chức của bạn đã sẵn sàng cho một tương lai được thúc đẩy bởi những hiểu biết về dữ liệu chưa?

          Làm sao để trở thành doanh nghiệp vận hành dựa trên dữ liệu (Data Driven business)

          Dữ liệu đã trở thành tài sản lớn nhất và có giá trị nhất mà doanh nghiệp có. Để doanh nghiệp thành công và phát triển, họ phải trở thành dữ liệu định hướng. Điều quan trọng là các quyết định đầu tư vào dữ liệu được thúc đẩy bởi nhu cầu kinh doanh chứ không phải chi phí cơ sở hạ tầng. Công cụ BI và phân tích nâng cao là nền tảng mà các tổ chức đang đưa ra quyết định không chỉ để tồn tại, mà còn phát triển trong nền kinh tế thế giới mới.

          Các loại data trong doanh nghiệp

          Đối với CIO, điều này có nghĩa là phát triển một chiến lược kiến ​​trúc doanh nghiệp sẽ đáp ứng cho các bên liên quan kinh doanh mà không phải thúc đẩy đầu tư nhiều vào phần cứng và phần mềm.
          Các tổ chức trong các ngành công nghiệp đang tìm kiếm đến các công cụ Advanced Analytics để giải quyết các thách thức quan trọng, cung cấp dịch vụ tốt hơn và khám phá các cơ hội mới. Hai ngành công nghiệp – y tế và tài chính – đang sử dụng các phân tích để tạo ra các mức độ chuyển đổi chưa từng có vì những lý do này.

          Phân tích nâng cao đang cho phép các tổ chức tồn tại một sự thay đổi chưa từng có trong các mô hình kinh doanh của họ. Analytics đang mở đường để xác định các mô hình dịch vụ mới, phối hợp chăm sóc liên tục và giúp tập trung nhân sự và hiệu quả hoạt động.Phân tích nâng cao giúp các tổ chức có thể đảm bảo an ninh và quản trị, đồng thời cho phép khách hàng thanh toán cho hàng hóa và dịch vụ với nhiều tùy chọn kỹ thuật số mới nổi. Nền kinh tế bao gồm và không có tiền mặt này dường như là không thể chỉ một vài năm trước đây. Dữ liệu và Phân tích nâng cao là trung tâm của chuyển đổi này. Thuật ngữ Big Data ra đời vì những lí do đó.

          Big Data là gì?

          Big data thường được định nghĩa như là một tập hợp dữ liệu lớn, bao gồm các dữ liệu có cấu trúc, không có cấu trúc hoặc được cấu trúc không đầy đủ, mà mỗi dữ liệu trong đó đều có thể được sử dụng để khai thác thành các thông tin chi tiết. Những tập dữ liệu này thường lớn và phức tạp đến nỗi mà các phần mềm xử lý dữ liệu bình thường khó có thể thu thập, lưu trữ và xử lý nó trong một khoảng thời gian phù hợp, bởi khối lượng của nó có thể lên đến petabyte (hàng triệu gigabyte) hoặc thậm chí là Exabyte (bằng 1e+9 gigabyte)

          Thông thường, Big Data được đặc trưng bởi ba V, bao gồm:

          • Volume: độ lớn của dữ liệu;
          • Variety: độ da dạng của dữ liệu;
          • Velocity: tốc độ mà dữ liệu cần được xử lý và phân tích.

          Big data được tạo thành từ các nguồn bao gồm các site , phương tiện truyền thông xã hội, máy tính để bàn và ứng dụng di động, thí nghiệm khoa học, các cảm biến và các thiết bị khác trên internet (IoT).

          Phân tích dữ liệu Big Data  : Khi đã có dữ liệu, điều quan trọng nhất là phải phân tích những dữ liệu đó để chúng thực sự mang lại lợi ích như tăng doanh thu, cải thiện dịch vụ khách hàng, nâng cao hiệu suất và tăng sức cạnh tranh tổng thể.

          Việc phân tích dữ liệu bao gồm việc kiểm tra các tập dữ liệu, từ đó đưa thông tin chi tiết hoặc rút ra kết luận về xu hướng và dự đoán về hoạt động trong tương lai. Nhờ đó, dữ liệu có thể áp dụng vào công việc như lựa chọn thời gian, địa điểm để quảng cáo cho sản phẩm và dịch vụ, điều rất có ích cho các công ty cần những chiến dịch quảng bá sản phẩm theo thời điểm.

          Phân tích dữ liệu bao gồm:

          • Phân tích dữ liệu thăm dò (để xác định các mẫu và mối quan hệ trong dữ liệu);
          • Phân tích dữ liệu xác nhận (áp dụng các kỹ thuật thống kê để tìm hiểu xem giả định về một tập dữ liệu cụ thể có đúng không);
          • Phân tích dữ liệu định lượng (so sánh thống kê);
          • Phân tích dữ liệu định tính (tập trung vào dữ liệu phi số như video, hình ảnh và văn bản).

          Để thực hiện một dự án dữ liệu lớn (Big Data)  thành công, bạn cần ít nhất 2 điều: 

          • Lấy những dữ liệu đầu vào phù hợp
          • Chọn và mix các dữ liệu liên quan để tạo các phân tích kết quả đầu ra phù hợp

          Data Warehouse và những giới hạn của nó

          Enterprise Data Warehouse (EDW) trước đây được sử dụng để phân tích có vai trò gần giống như vai trò của Big Data trong định nghĩa trên. Data Warehouse cung cấp cơ hội khai thác dữ liệu có cấu trúc với các phân tích để cải thiện kết quả kinh doanh. EDW (Enterprise Data Warehouse) thu thập dữ liệu quan hệ từ các hệ thống giao dịch khác nhau và cung cấp quyền truy cập vào nhiều hệ thống hồ sơ quan trọng.

          Tất cả dữ liệu giữ lại siêu dữ liệu của nó và mối quan hệ giữa các phần thông tin được giữ rõ ràng. Các nền tảng EDW truyền thống cung cấp các chế độ xem dữ liệu cụ thể cao dựa trên chiến lược của công ty. Dữ liệu EDW phải tuân theo thời gian- tiêu thụ quá trình trích xuất, chuyển đổi và  load (ETL) sẽ được sử dụng, tạo ra những hạn chế trong việc sử dụng dữ liệu.

          Cách tiếp cận kinh doanh từ trên xuống dưới kinh điển này là suy diễn và có giá trị, nhưng một mình nó sẽ không cho phép các tổ chức duy trì tính cạnh tranh trong môi trường kinh doanh mới nổi.
          Các hạn chế EDW kìm hãm tiến trình hướng tới việc sử dụng dữ liệu này bao gồm:

          • Chỉ cho phép viết lược đồ – yêu cầu các tổ chức xác định các câu hỏi kinh doanh mà họ muốn trả lời trước.
          • Phụ thuộc nhiều vào nền tảng mà nó được xây dựng, khiến các doanh nghiệp rất phụ thuộc vào các nhà cung cấp data warehouse.
          • Rất phức tạp, đòi hỏi các nhà công nghệ chuyên môn cả để quản lý nó và chạy các truy vấn để tạo báo cáo. Người dùng trong doanh nghiệp hầu hết các trường hợp không thể truy vấn cơ sở dữ liệu trực tiếp.
          • Tốn kém, vì nó phải được xây dựng trên bộ lưu trữ Tier 1

          Data Lake là gì ? Lợi ích của Data Lake là gì ?

          Data Lake (Hồ dữ liệu) là nơi đặt tất cả các doanh nghiệp dữ liệu (có thể) muốn thu thập, lưu trữ, phân tích và biến thành hiểu biết và hành động, bao gồm dữ liệu có cấu trúc, bán cấu trúc và không cấu trúc. Data Lake (Hồ dữ liệu) được thiết kế để phân tích dữ liệu lớn (Big Data) và để giải quyết thách thức các silo dữ liệu trong dữ liệu lớn (Big Data).

          Khác với Data Warehouse, Data warehouse biến đổi và phân loại dữ liệu từ các nguồn khác nhau của doanh nghiệp. Dữ liệu này sẽ sẵn sàng để phục vụ cho các mục đích khác, đặc biệt là báo cáo và phân tích. Còn Data lake lưu trữ dữ liệu chưa qua phân tích và giữ trong trạng thái thô. Những dữ liệu này cần được xử lý thêm khi có nhu cầu sử dụng.

          Các Data Lake (Hồ dữ liệu) là một giải pháp kết thúc sự ngăn cách giữa các silo dữ liệu trong một vũ trụ dữ Big Data đang phát triển nhanh và ngày càng không có cấu trúc.

          Chỉ cần nhìn vào IoT  (Internet of Things), nơi chủ yếu là Internet vạn vật công nghiệp đã sẵn sàng để phát triển nhanh chóng trong những năm tới. Cùng với sự tăng trưởng đó thực sự xuất hiện nhiều dữ liệu hơn hoặc tốt hơn: dữ liệu là những gì chúng ta đang có sau Internet of Things, để có được những hiểu biết lớn và thúc đẩy các hành động và hoạt động liên quan để đạt được bất kỳ kết quả nào: phân tích dữ liệu lớn (Big Data)  với mục đích; dữ liệu thông minh cho các ứng dụng thông minh – và tất nhiên là trí tuệ nhân tạo để hiểu được tất cả dữ liệu đó.

          Minh hoạ cụ thể Data Lake Trong Doanh nghiệp

          Theo truyền thống, dữ liệu đã được lưu trữ trong các silo trên toàn tổ chức và hệ sinh thái nơi nó hoạt động (dữ liệu ngoài). Đó là một thách thức: bạn không thể kết hợp đúng dữ liệu để thành công trong một dự án dữ liệu lớn (Big Data) nếu dữ liệu đó có một chút ở mọi nơi trong và ngoài đám mây .

          Một số lợi ích của Data Lake bao gồm:

          • Khả năng lấy giá trị từ các loại dữ liệu không giới hạn
          • Khả năng lưu trữ tất cả các loại dữ liệu có cấu trúc và không cấu trúc trong một hồ dữ liệu, từ dữ liệu CRM đến các bài đăng trên phương tiện truyền thông xã hội
          • Linh hoạt hơn nữa, bạn không cần phải có tất cả các câu trả lời
          • Khả năng lưu trữ dữ liệu thô Bạn có thể tinh chỉnh nó khi sự hiểu biết và hiểu biết của bạn được cải thiện
          • Không giới hạn cách thức truy vấn dữ liệu
          • Áp dụng nhiều công cụ khác nhau để hiểu rõ hơn về ý nghĩa của dữ liệu
          • Loại bỏ các silo dữ liệu rời rạc.
          • Truy cập dữ liệu được dân chủ hóa thông qua một chế độ xem thống nhất về dữ liệu trong toàn tổ chức khi sử dụng nền tảng quản lý dữ liệu hiệu quả

          Phân tích nâng cao với Data Lake

          Bạn có thể thấy một Data Lake (Hồ dữ liệu) thực sự giống như một hồ nước, không có thiên nga và nước tron đó. Nó không giống như một cái hồ. Nhưng cơ bản ý tưởng là thế này: một Data Lake (Hồ dữ liệu) lớn về bản chất là một kho lưu trữ chứa vô số dữ liệu ở định dạng thô, nguyên gốc của chúng.

          Các phương pháp quản lý dữ liệu truyền thống không phù hợp (hoặc cần nhiều tiền) để xử lý dữ liệu lớn (Big Data) và phân tích dữ liệu lớn (Big Data) . Với các phân tích dữ liệu lớn (Big Data) về cơ bản, chúng ta muốn tìm mối tương quan giữa các bộ dữ liệu khác nhau cần được kết hợp để đạt được kết quả kinh doanh của chúng ta . Và nếu các bộ dữ liệu này nằm trong các hệ thống hoàn toàn khác nhau, điều đó gần như không thể.

          Một ví dụ về mục tiêu như vậy có thể là kết hợp dữ liệu liên quan đến khách hàng từ một nguồn với dữ liệu từ các nguồn khác và thậm chí dữ liệu dường như không liên quan (ví dụ: dữ liệu giao thông, dữ liệu thời tiết, dữ liệu về khách hàng dường như không liên quan đến doanh nghiệp của chúng ta ) với hành động theo họ để nâng cao trải nghiệm của khách hàng, đưa ra các dịch vụ mới hoặc đơn giản là bán nhiều hơn.

          1 data lake để phân tích và nâng cao trải nghiệm khách hàng

          Để làm cho điều này rõ ràng hơn, chúng ta hãy quay lại hình ảnh của một hồ nước thực sự. Một cái hồ không được lấp đầy như kiểu như là đổ nước vào hoặc bơm từ dưới lên. Thông thường có sẽ những dòng sông hoặc dòng suối nhỏ hơn mang nước đến đó.

          Trong một Data Lake (Hồ dữ liệu) tương tự xảy ra. Điều này còn được gọi là nhập dữ liệu, bất kể nguồn hoặc cấu trúc. chúng ta thu thập tất cả dữ liệu chúng ta cần để đạt được mục tiêu của mình thông qua các phân tích dữ liệu được đề cập.

          Các ‘luồng’ dữ liệu này có nhiều định dạng: dữ liệu có cấu trúc (nói đơn giản là dữ liệu từ cơ sở dữ liệu quan hệ truyền thống hoặc thậm chí bảng tính: hàng và cột) , dữ liệu phi cấu trúc (xã hội, video, email, văn bản, cách ly) , dữ liệu từ tất cả các loại các bản ghi (ví dụ: nhật ký web, phân tích nhấp chuột, dữ liệu ) , XML, dữ liệu Machine to Machine, IoT và dữ liệu cảm biến ,bạn đặt tên cho nó (nhật ký và XML cũng được gọi là dữ liệu bán cấu trúc).

          Chúng cũng liên quan đến các loại dữ liệu khác nhau từ góc độ ngữ cảnh: dữ liệu khách hàng, dữ liệu từ các ứng dụng kinh doanh, dữ liệu bán hàng, v.v. (được nhập vào Data Lake (Hồ dữ liệu) thông qua API) . Và, rõ ràng chúng ta ngày càng có dữ liệu ngoài (nguồn) mà chúng ta muốn tận dụng để đạt được mục tiêu của mình.

          Sử dụng các Data Lake

          Tất cả dữ liệu này, theo như nó có thể hoặc có thể có ý nghĩa, được lưu trữ trong Data Lake (Hồ dữ liệu) trong khi nó vẫn tiếp tục, thông qua Giao thức giao diện ứng dụng (API), cung cấp dữ liệu từ tất cả các loại ứng dụng và hệ thống hoặc thông qua các quy trình hàng loạt.

          Kích thước lưu trữ là phần quan trọng nhất . Và trong cách tiếp cận Data Lake (Hồ dữ liệu) lớn, thực tế này có nghĩa là không có silo. Điều này, do đó, có nghĩa là chúng ta đã sẵn sàng để bắt đầu công việc thú vị: phân tích dữ liệu lớn (Big Data) .

          Để quay lại ví dụ của chúng ta về việc kết hợp các bộ dữ liệu đôi khi dường như không liên quan, chúng ta có thể phát hiện các mẫu (sử dụng trí tuệ nhân tạo) giữa hành vi mua và mẫu thời tiết, giữa dữ liệu khách hàng từ một nguồn và dữ liệu khách hàng từ một nguồn khác, giữa lưu lượng dữ liệu và dữ liệu ô nhiễm, danh sách đi về. chúng ta cố gắng để giữ cho nó đơn giản. Bạn có thể làm gì với những mẫu này?

          Nhiều như bạn có thể tưởng tượng và có rất nhiều ví dụ sử dụng dữ liệu lớn (Big Data) trong chương trình thực tế, đó là nơi mà doanh nghiệp hoặc mục tiêu khác của bạn xuất hiện.

          Rõ ràng phân tích là không đủ. Bạn cũng cần hình dung, hiểu và hành động theo những gì bạn đã phân tích. Hoặc như infographic từ EMC về cách các Data Lake (Hồ dữ liệu) hoạt động bên dưới đặt nó: dòng chảy của nước là dữ liệu được phân tích, từ đó dẫn đến hành động dẫn đến hiểu biết trong kinh doanh.

          Data Lake và những thách thức

          Có nhiều lợi ích hơn của các Data Lake (Hồ dữ liệu) lớn, nhưng như thường lệ, chúng ta không muốn quá đi sâu vào kỹ thuật. Và, như thường lệ, có những lợi ích, rủi ro và thách thức cần giải quyết.

          Một trong số đó là rủi ro được đề cập rằng các Data Lake (Hồ dữ liệu) có thể trở thành đầm lầy dữ liệu nếu không được thiết kế chiến lược đúng đắn với các mục tiêu cần thiết và làm sạch trong tâm trí. Đây cũng là lý do tại sao các tổ chức chuyển từ cách tiếp cận Data Lake (Hồ dữ liệu) rất truyền thống sang phương pháp hướng đến mục tiêu và hướng đến doanh nghiệp.

          Kết quả hình ảnh cho big data data lake

          Data lake Governance – quản lý Data Lake

          Những thách thức đối với Hồ dữ liệu bao gồm:

          • Thiếu khả năng thu thập và duy trì siêu dữ liệu, do đó dữ liệu sẽ mất tất cả ngữ cảnh liên quan.
          • Không thể duy trì sự liên quan của dữ liệu theo thời gian
          • Bảo mật các hồ dữ liệu này
          • Quản trị thông tin trong hồ dữ liệu.

          Đảm bảo các Data Lake (Hồ dữ liệu) không biến thành đầm lầy dữ liệu

          Chúng ta hãy nhìn sâu hơn vào những đầm lầy dữ liệu đó. Như đã nói, trong những ngày đầu của các Data Lake (Hồ dữ liệu), trọng tâm tập trung rất nhiều vào khía cạnh khối lượng của dữ liệu lớn (Big Data) và nhiều tổ chức trên thực tế đã sử dụng các Data Lake (Hồ dữ liệu) làm nơi để đổ dữ liệu vào đó mà không kiểm soát hay quản lý.

          Điều này dẫn đến hiện tượng đầm lầy dữ liệu – và các thuật ngữ tương tự về cơ bản thể hiện rằng thay vì các Data Lake (Hồ dữ liệu) sạch đẹp với các cách thích hợp cần thiết để giữ sạch chúng đã biến thành các dữ liệu sử dụng được. Các nhà phân tích nhanh chóng chỉ ra rằng các ý tưởng ​​Data Lake (Hồ dữ liệu) đã thất bại ở những ngày đầu tiên. Nghiên cứu của Eckerson Group cho thấy các doanh nghiệp ngày nay đang cho phép người dùng doanh nghiệp của họ tận dụng lợi thế của Data Lake (Hồ dữ liệu) của họ.

          Thậm chí ngày nay chúng ta vẫn nghe thấy các tổ chức hỏi những câu hỏi sai như ‘tôi có nên thay thế Data Warehouse của mình bằng một Data Lake (Hồ dữ liệu) không? Data Lake (Hồ dữ liệu) thường vẫn được so sánh với EDW (và dữ liệu tổng hợp) . Mặc dù hiểu được sự khác biệt là điều quan trọng, câu hỏi nên sử dụng cái gì và khi nào không có nhiều về các công nghệ tốt nhất và, như nhà tư vấn có xu hướng nói, những gì bạn cần thực sự phụ thuộc.

          Các mục tiêu của doanh nghiệp thường hướng đến để giải quyết với kho dữ liệu và môi trường phân tích dữ liệu và môi trường kinh doanh thông minh. Vì thế trước khi triển khai các Data Lake, doanh nghiệp cần trả lời những câu hỏi cơ bản sau :

          • Những gì chúng ta muốn đạt được với dữ liệu của chúng ta ,
          • Làm thế nào chúng ta nhận được nhiều giá trị hơn từ dữ liệu đó (bao gồm cả dữ liệu ngoài) ,
          • những Case Study nào chúng ta thấy để kiếm tiền từ dữ liệu thông qua các phân tích nâng cao,
          • những kỹ năng chúng ta cần và có để quản trị và sử dụng Data Lake này.
          • doanh nghiệp của chúng ta điều khiển dữ liệu như thế nào (thường là liên tục, theo đó chúng ta chuyển từ ‘ít’ sang ‘nhiều hơn’ trừ khi tất nhiên chúng ta là một trong số ít các tổ chức tồn tại vì dữ liệu bắt đầu) ,
          • ngày nay chúng ta đang ở đâu (bao gồm cả kỹ năng và văn hóa) và, chắc chắn trong một số ngành hơn là những ngành khác,
          • những gì chúng ta cần tính đến dữ liệu nhạy cảm trong một phạm vi quy định (ví dụ: dịch vụ tài chính) ,
          • Những gì chúng ta có thể quản lý được hồ dữ liệu này
          • …

          Nếu chúng ta không có quản trị dữ liệu (Data Gorvernance) được xác định rõ ràng và kho lưu trữ siêu dữ liệu tập trung, Data Lake có thể dễ dàng biến thành một đầm lầy dữ liệu, sẽ là đầy rủi ro và quá rối rắm khi sử dụng nó. Vì thế Khi đã hình dung các ứng dụng một Data Lake (Hồ dữ liệu) trở nên rõ ràng và cách quản trị nó, Chúng ta sẽ hạn chế được việc biến nó thành 1 đầm lầy dữ liệu.

          Đồ họa dưới đây đưa ra một vài lý do tại sao các Data Lake (Hồ dữ liệu) biến thành đầm lầy dữ liệu và (do đó) những gì cần phải cân nhắc khi đầu tư.

          Tránh việc hồ dữ liệu trở thành đầm lầy dữ liệu - tầm quan trọng của việc nhập và quản lý siêu dữ liệu - nguồn Colibra - nhấp để biết thêm thông tin và nhấp vào đây để xem infographic kích thước đầy đủ
          Tránh việc Data Lake (Hồ dữ liệu) trở thành đầm lầy dữ liệu 

          Kết Luận

          Khi các Data Lake (Hồ dữ liệu) trở nên phổ biến, dữ liệu lớn (Big Data) vẫn là một từ thông dụng. Những ngày này – nhiều hơn hoặc ít hơn – hoặc ít nhất, dữ liệu lớn (Big Data) đã trở nên phổ biến. dữ liệu lớn (Big Data) là dữ liệu và câu hỏi là phải làm gì với nó luôn là câu hỏi nhiều người thắc mắc.

          Mặc dù đó vẫn là câu hỏi mà hầu hết các chuyên gia vẫn nhận được từ các tổ chức (‘tôi phải làm gì với tất cả dữ liệu đó để hưởng lợi từ nó?’) Sự trưởng thành dữ liệu chung đã tăng lên và các thế hệ chuyên gia mới biết rằng phân tích dữ liệu lớn (Big Data) là mấu chốt của vấn đề gặt hái giá trị và bạn không tiếp cận dữ liệu giống như trước đây trong kho dữ liệu truyền thống.

          Tuy nhiên một việc không thể chối cãi đó là Việc sử dụng Dữ liệu lớn đang trở nên phổ biến ngày nay bởi các công ty để vượt trội so với các đối thủ của họ. Trong hầu hết các ngành công nghiệp, các đối thủ cạnh tranh hiện tại và những người mới tham gia sẽ sử dụng các chiến lược phát sinh từ dữ liệu được phân tích để cạnh tranh, đổi mới và nắm bắt giá trị. Các tổ chức rõ ràng cũng đã học được từ những sai lầm trong quá khứ và cuối cùng, trọng tâm hơn nhiều về kết quả và giá trị với trí tuệ nhân tạo và Machine Learning trở nên quan trọng hơn nhiều, cùng với nhu cầu phân tích thời gian thực, phân tích nâng cao, trực quan hóa và cả tiên đoán tương lai.

          Tags: BIBIG DATABig data la gidata lakedata lake la giEMIphan tich du lieu lon
          Smart Industry VN

          Smart Industry VN

          I'm a Digital Business Journalist and IoT Consultant, Digital Transformation Consultant.

          Related Posts

          AI Agent – “Kỹ sư ảo” đang tái định nghĩa tương lai nhà máy sản xuất thế nào?
          AI & Machine Learning

          AI Agent – “Kỹ sư ảo” đang tái định nghĩa tương lai nhà máy sản xuất thế nào?

          01/05/2025
          Thúc đẩy đầu tư số hóa cho ngành kinh tế xanh: Những ý tưởng thực tiễn đã chứng minh được hiệu quả
          Data Analytics

          Thúc đẩy đầu tư số hóa cho ngành kinh tế xanh: Những ý tưởng thực tiễn đã chứng minh được hiệu quả

          23/04/2025
          Chi phí, sự phức tạp và lực lượng lao động tăng áp dụng AI trong các doanh nghiệp thương mại điện tử
          AI & Machine Learning

          Chi phí, sự phức tạp và lực lượng lao động tăng áp dụng AI trong các doanh nghiệp thương mại điện tử

          18/04/2025
          Hỗ trợ Đổi mới Xanh với Trí tuệ Nhân tạo: Từ Tầm nhìn đến Hành động
          AI & Machine Learning

          Hỗ trợ Đổi mới Xanh với Trí tuệ Nhân tạo: Từ Tầm nhìn đến Hành động

          22/04/2025
          Các chiến lược làm trung tâm của con người cần thiết cho tương lai của sản xuất
          Technology

          Các chiến lược làm trung tâm của con người cần thiết cho tương lai của sản xuất

          17/04/2025
          Tác động của đám mây, AI và dữ liệu đối với các dịch vụ tài chính
          AI & Machine Learning

          Tác động của đám mây, AI và dữ liệu đối với các dịch vụ tài chính

          15/04/2025
          Giọng nói AI để biến đổi thức ăn nhanh và những người khác
          AI & Machine Learning

          Giọng nói AI để biến đổi thức ăn nhanh và những người khác

          14/04/2025
          Robot Techman, Panasonic Connect Team Up để tăng cường tự động hóa hàn ở Nhật Bản
          AI & Machine Learning

          Robot Techman, Panasonic Connect Team Up để tăng cường tự động hóa hàn ở Nhật Bản

          12/04/2025
          Next Post

          Cảm biến IoT và cơ cấu chấp hành IoT là gì ?

          Các loại cảm biến IoT thông dụng và tầm quan trọng của các cảm biến IoT

          Please login to join discussion

          Xem nhiều nhất

          Số lượng đặt hàng kinh tế (EOQ) và Công thức tính EOQ

          Số lượng đặt hàng kinh tế (EOQ) và Công thức tính EOQ

          31/07/2023

          SCADA là gì ? Khi nào cần 1 hệ thống SCADA ?

          11/07/2021
          Top 60 câu hỏi thường gặp về IoT

          Top 60 câu hỏi thường gặp về IoT

          18/02/2021
          Giao thức MQTT trong IoT là gì ? Những ứng dụng của MQTT như thế nào

          Giao thức MQTT trong IoT là gì ? Những ứng dụng của MQTT như thế nào

          06/10/2021
          Lora là gì ? Ứng dụng của mạng Lora là gì ?

          Lora là gì ? Ứng dụng của mạng Lora là gì ?

          23/10/2021

          7 ví dụ về trí tuệ nhân tạo trong các ngành công nghiệp khác nhau

          12/06/2022
          Dự án Aeon Mall 250 triệu USD tại Bắc Giang sẽ khởi công vào tháng 6

          Dự án Aeon Mall 250 triệu USD tại Bắc Giang sẽ khởi công vào tháng 6

          01/02/2024
          Tỷ lệ doanh thu hàng tồn kho – Công thức, ví dụ và mẹo

          Tỷ lệ doanh thu hàng tồn kho – Công thức, ví dụ và mẹo

          08/10/2023
          Platform Business là gì ? Có những mô hình kinh doanh nền tảng (Platform business) nào ?

          Platform Business là gì ? Có những mô hình kinh doanh nền tảng (Platform business) nào ?

          02/10/2022
          Công ty Coherent của Mỹ lên kế hoạch đầu tư công nghệ cao vào miền Nam Việt Nam

          Công ty Coherent của Mỹ lên kế hoạch đầu tư công nghệ cao vào miền Nam Việt Nam

          02/11/2023

          Bài mới nhất

          Các đối thủ nặng ký của Nga tìm kiếm cơ hội trong các lĩnh vực năng lượng, công nghệ cao của Việt Nam

          Các đối thủ nặng ký của Nga tìm kiếm cơ hội trong các lĩnh vực năng lượng, công nghệ cao của Việt Nam

          18/05/2025
          Công việc bắt đầu cho nhiều dự án lớn ở thành phố Việt Nam Hai Phong

          Công việc bắt đầu cho nhiều dự án lớn ở thành phố Việt Nam Hai Phong

          17/05/2025
          Nhà cung cấp Apple Wistron có kế hoạch tăng sản lượng 30% ở miền bắc Việt Nam

          Nhà cung cấp Apple Wistron có kế hoạch tăng sản lượng 30% ở miền bắc Việt Nam

          16/05/2025
          Nhà cung cấp dịch vụ sản xuất của Hoa Kỳ Key Tronic Mở rộng tại Việt Nam mặc dù sự không chắc chắn về thuế quan

          Nhà cung cấp dịch vụ sản xuất của Hoa Kỳ Key Tronic Mở rộng tại Việt Nam mặc dù sự không chắc chắn về thuế quan

          15/05/2025
          Tỉnh Bắc Việt Nam tìm kiếm sự giúp đỡ của công ty luật Hàn Quốc để thu hút nhiều khoản đầu tư hơn

          Tỉnh Bắc Việt Nam tìm kiếm sự giúp đỡ của công ty luật Hàn Quốc để thu hút nhiều khoản đầu tư hơn

          14/05/2025
          Nhà sản xuất xe máy Piaggio có kế hoạch € 26 MLN Cửa hàng sơn tại nhà máy Việt Nam

          Nhà sản xuất xe máy Piaggio có kế hoạch € 26 MLN Cửa hàng sơn tại nhà máy Việt Nam

          13/05/2025
          Thành phố trung tâm Việt Nam Danna tìm kiếm các nhà đầu tư cho phòng thí nghiệm chip bán dẫn $ 69,3 MLN

          Thành phố trung tâm Việt Nam Danna tìm kiếm các nhà đầu tư cho phòng thí nghiệm chip bán dẫn $ 69,3 MLN

          12/05/2025

          Robotics

          Ứng dụng AI trong sản xuất: 15 công cụ & 13 case studies
          AI & Machine Learning

          Ứng dụng AI trong sản xuất: 15 công cụ & 13 case studies

          by Bui Vu
          14/06/2024
          0

          Ngành công nghiệp sản xuất công nghiệp là ngành ứng dụng trí tuệ nhân tạo hàng đầu, với 93 % các nhà...

          Hướng dẫn cơ bản để tự động hoá kho (Warehouse Automation)

          Hướng dẫn cơ bản để tự động hoá kho (Warehouse Automation)

          20/07/2023
          Xu hướng ứng dụng hệ thống lưu trữ và truy xuất tự động AS/RS trong kho thông minh

          Xu hướng ứng dụng hệ thống lưu trữ và truy xuất tự động AS/RS trong kho thông minh

          31/07/2023
          Xu hướng sử dụng Robot tự động và AGV trong chuỗi cung ứng hiện đại

          Xu hướng sử dụng Robot tự động và AGV trong chuỗi cung ứng hiện đại

          20/07/2023
          Robot AMR là gì ? Ứng dụng Robot AMR trong nhà máy Thông Minh

          Robot AMR là gì ? Ứng dụng Robot AMR trong nhà máy Thông Minh

          20/07/2023
          Làm thế nào để tự động hóa kho (Warehouse Automation) ?

          Làm thế nào để tự động hóa kho (Warehouse Automation) ?

          20/07/2023
          Facebook LinkedIn

          Smart Industry VN

          SmartIndustry VN là trang thông tin công nghệ chia sẻ thông tin để thúc đẩy quá trình chuyển đổi số đang diễn ra trong lĩnh vực sản xuất và các ngành công nghiệp, thể hiện bằng sự hội tụ của thông tin và công nghệ vận hành cũng như các xu hướng công nghệ mới như Internet Công nghiệp (IIoT ), phân tích dữ liệu lớn và AI.

          Navigation

          • Digital Business
          • Smart Factory
          • Digital Supply Chain
          • Automation & Robotics
          • Data Analytics
          • IoT

          © 2025 Smart Industry Vietnam. Smart Industry Vietnam is a content portal, publication, and event organiser, launched with the objective of partnering with businesses, consultants and technology vendors to enable the process of digital transformation and business restructuring for the digital age.

          Welcome Back!

          Login to your account below

          Forgotten Password?

          Retrieve your password

          Please enter your username or email address to reset your password.

          Log In
          No Result
          View All Result
          • Digital Supply Chain
          • Smart Factory
            • Digital Supply Chain
          • Digital Business
          • Technology
          • Latest News
          • About us
          • Login

          © 2025 Smart Industry Vietnam. Smart Industry Vietnam is a content portal, publication, and event organiser, launched with the objective of partnering with businesses, consultants and technology vendors to enable the process of digital transformation and business restructuring for the digital age.