AWS 智能電錶數據分析平台

 轉貼自:https://www.amazonaws.cn/solutions/utility-meter-data-analytics-platform/?nc2=h_ql_sol_umdap

智能電錶數據分析平台（MDA）利用Amazon S3、Amazon RedShift、Amazon Glue等服務構建的

數據湖實現對現有MDM系統儀表數據的存儲、清洗、聚合和查詢；結合Amazon Step Function

和Amazon SageMaker實現ML模型構建，開發的自動化；通過Amazon API網關，Lambda構建的無服務

架構將數據、聚合、預測能力等通過RESTful API的形式提供給客戶，使客戶可以實現歷史電量

查詢、異常儀表查詢、儀表聚合數據查詢和未來電量查詢預測等功能。

採用無服務器架構，無需管理方案基礎架構，可根據負載或抄表數量自動進行擴容和縮容

（自動縮放），且可以使成本最小化。

架構描述

該解決方案將自動部署以下服務：

1. 論亞馬遜雲科技最佳實踐，新興的配套設備與智能網絡的虛擬虛擬雲（Amazon VPC）

2. 智慧子網中的亞馬遜Redshift，用於存儲業務數據以進行分析，可視化和前端展示。

3. 在數據的提取，轉換和加載（ETL）過程中，

    a.Amazon Simple Storage Service（Amazon S3），用於存儲來自 MDM 或類似系統的注入

       數據，包括智能儀表數據，清洗數據和刪除的業務數據分別存儲在獨立的 S3 桶中。
    b.Amazon Glue工作流（Workflow）：
        b-1)包括爬蟲程序，任務程序和事件觸發，用於對初始儀表數據進行爬取並轉換為

            需要格式的干淨數據和細節的業務數據。
        b-2)Amazon Glue 數據目錄（Data Catalog），用於存儲相關儀表數據的元數據

            和源信息。

4. 在機器學習模塊中，
    兩個 Amazon Step Functions 工作流，包括：
        模型訓練，使用分區的業務數據來構建ML模型。
        假設，以特定的業務數據和中的數據作為預測基礎。
    Amazon S3，用於存儲處理後的數據。
    Amazon SageMaker，用於實時預測數據。
    有示例代碼的 Jupyter 筆記本，用於執行數據分析和數據可視化。

5. Amazon Lambda 通過Amazon Athena 分區的業務數據或調用Amazon SageMaker 創建的

    服務節點，通過RESTful API 的形式提供查詢結果。

6.亞馬遜API網關提供歷史異常電量查詢、異常電量查詢、儀表匯總數據和未來電量消耗預測

    等功能。