Amazon SageMaker 被企業 MLOps 平台的絕對領導者

 轉貼:https://reurl.cc/bXqo0y

在過去幾年中，機器學習 (ML) 已證明其在幫助組織提高效率和促進創新方面的價值。

隨著機器學習逐漸成熟，其重點自然會從實驗轉向生產。機器學習流程需要簡化、標準化和自動化，以便以一致和可靠的方式建立、訓練、部署和管理模型。

安全性、高可用性、擴展、監控和自動化等長期存在的 IT 問題也變得更為關鍵。如果出色的 ML 模型無法為業務應用程序提供全天候、任何規模的快速準確預測，那麼它們就不會發揮多大作用。 

2017 年 11 月，我們推出了 Amazon SageMaker，旨在幫助機器學習工程師和數據科學家不僅構建最佳的模型，而且更高效地運行這些模型。為了給客戶提供最全面的服務，我們隨後增加了數百種功能，涵蓋了機器學習生命週期的每一步，如數據標記、數據準備、特徵工程、偏差檢測、AutoML、訓練、調整、託管、可解釋性、監控和自動化。我們還將這些功能集成到基於 Web 的開發環境 Amazon SageMaker Studio 中。

  

由於 SageMaker 提供了廣泛的機器學習功能，所有行業領域的數万名 AWS 客戶已經採用機器學習來加速業務流程、創造創新的用戶體驗、提高收入和降低成本。例如，Engie（能源）、Deliveroo（食品配送）、SNCF（鐵路）、Nerdwallet（金融服務）、Autodesk（計算機輔助設計）、F1（賽車）以及我們自己的 Amazon Fulfillment Technologies 和 Amazon Robotics。 

今天，我們很高興地宣布，Omdia 的首席分析師Bradley Shimmin 在他關於企業MLOps 平台的最新報告中，對SageMaker 進行了這樣的讚揚：“在Omdia 對企業MLOps 平台的比較研究中，AWS 成為絕對的領導者。在幾乎每一項衡量指標方面，該公司都顯著超過了競爭對手，在整個機器學習生命週期中提供了一致的價值。AWS 提供了高度差異化的功能，針對的是企業AI 從業者所關注的高度影響性領域，這些從業者不僅尋求在整個業務中實現AI 的運作，而且還希望擴大AI 的規模。”

   

您可以下载 完整报告

利用AWS Cloudify實施5G網路切片

 得益於 4G 和 5G 蜂窩技術的最新進步，網絡功能虛擬化 (NFV) 現在得到應用。 4G 和 5G 網絡功能從以前託管在供應商特定的一體化設備上轉為現在的硬件和軟件分離，可以託管在通用硬件上（在本地部署或在雲中）。

此外，基於微服務的架構（網絡服務元素可以根據需求獨立擴展）的雲原生原則正在成為新的效仿目標。這一趨勢向 ISV、系統集成商 (SI) 和第三方管理服務提供商的新參與者開放了電信合作夥伴生態系統。

管理和編排 (MANO) 是電信行業定義的術語，也是 ETSI 網絡功能虛擬化 (NFV) 架構的一個關鍵因素。它負責為虛擬網絡功能 (VNF)、雲原生網絡功能 (CNF) 和端到端網絡服務 (NS) 的生命週期管理分配和管理網絡資源。 MANO 由 NFV Orchestrator (NFVO)、VNF Manager (VNFM) 和Virtual Infrastructure Manager (VIM) 組成。由於 5G 基於服務的架構、雲原生組件以及隨之而來的可擴展性要求，對 MANO 解決方案的需求隨著 5G 的發展而不斷增加。

為了讓 MANO 解決方案實現其對 5G 的預期業務成果，它們需要監督整個運營商的網絡。無線接入網 (RAN)、邊緣、核心、數據網絡和集中式雲。

這使得亞馬遜雲科技的云成為 5G MANO 的完美解決方案，因為亞馬遜雲科技擁有廣泛的集成服務，面向運營商網絡的不同部分，如：

1. Amazon Snow 系列-用於 RAN 和邊緣部

2.Amazon Outposts-用於邊緣以及核心

3.Amazon Wavelength-用於數據網絡和 IT 數據中心

4. AWS 提供的Amazon Managed Services-實現了在單一窗口中可以進行全部監控、管理和自動控制

=================================================

5G 的主要用例之一是 5G 網絡切片，它需要很高級別的管理和編排。 5G 網絡切片使運營商能夠在同一基礎設施上部署多個獨立的虛擬 E2E 網絡。可以為不同的服務和/或業務案例分別定制每個切片，並可以為每個特定用例和/或業務模式形成一個 5G 網絡功能集合，支持所有垂直行業的不同要求。

5G 切片可以跨越網絡的所有域：5G 設備 (UE)、接入/RAN、傳輸網絡/SDN、核心和數據網絡，這可能是多接入邊緣計算 (MEC)。

切片的關鍵概念之一是成為一個孤立的、自成一體的實體，它的所有功能和能力都相互鏈接，可以最好地滿足所有的需求、服務和用例。

網絡切片實例 (NSI) 通過將網絡功能、資源和連接關係構成一個小組，實現了網絡切片概念，通常涵蓋多個 5G 用例。為 5G 確定了三種基本的網絡切片類型：增強型移動寬帶 (eMBB)、大規模機器類型通信 (mMTC) 和超可靠低延遲通信 (URLLC）。

可以利用網絡切片的用例有：

1. 虛擬體驗和媒體用例。如 4/8K 實時交付、智能家居/辦公場所/城市、AR/VR 和廣播服務

2. 大規模連接用例。如燃氣和電力的智能計量、智能環境、智能農場和漁業、智能電網和傳感器網絡、個人可穿戴設備

3. 關鍵任務用例。如自動駕駛、機器人應用、遠程控制機器、工業 4.0、觸覺互聯網、公共安全網絡、電子醫療和遠程手術

在這篇Blog中，我們詳細介紹了 Cloudify 的管理和編排解決方案如何在亞馬遜雲科技上運行，以創建和管理 5G 網絡切片的生命週期。

Cloudify 解決方案

Cloudify 是一個開源多雲邊緣編排平台，允許企業輕鬆地過渡到亞馬遜雲科技和雲原生架構，使他們能夠將其現有的基礎設施與雲原生和分佈式邊緣資源同時實現自動化。

Cloudify 被許多一級運營商用作管理其網絡服務和雲基礎設施的方式。 Cloudify 也被 VNF 供應商用作 VNF Manager (VNFM)，以管理他們的特定網絡域。

Cloudify 可以靈活地與現有本地基礎設施、託管網絡服務（如 SD-WAN、EPC、IMS）以及現代云原生服務協同工作，這是它能夠將 NFV 轉型項目成功交付給生產的關鍵。 Cloudify 被領先的開源社區項目（如 ONAP）用來展示完全開放的 5G 網絡切片，如下圖所示。

使用 Cloudify 與 ONAP 來提供完整的 5G 網絡切片

Cloudify 對許多亞馬遜雲科技服務提供原生支持，這些服務包括Amazon EKS、Amazon RDS、Amazon Lambda、Amazon CodePipeline 以及 Amazon CloudFormation 。除了對 Amazon CloudFormation 的支持外，與亞馬遜雲科技資源的原生集成的結合使 Cloudify 能夠與許多亞馬遜雲科技服務合作，而不依賴於特定的資源映射和集成，如以下圖所示。

亞馬遜雲科技的 Cloudify 架構

Cloudify 和亞馬遜雲服務可進行網絡切片

為了使 MANO 解決方案能夠提供 5G 網絡切片功能，它必須能夠創建多個網絡切片並管理生命週期。這包括：切片模板創建（設計階段）、切片實例化（部署階段）、切片擴展、配置管理和終止（運維階段）。

Amazon CodePipeline 用於全面管理邊緣站點 (Amazon Outposts) 上 5G 核心實例的創建、刪除、管理和配置。 Cloudify 將 Amazon Lambda 集用作 Amazon CodePipeline 向 Cloudify 系統的北向接口，通過一組插件與 Amazon CodePipeline 集成。這使得可以從運營商的角度將網絡切片設置和配置到底層核心網絡，如下圖所示。

每個 Lambda 函數被映射到一個特定的 Amazon CodePipeline 服務，每個 Amazon CodePipeline 服務被映射到一個網絡切片的生命週期操作（創建/刪除/修改/驗證）。

通過在不同的 Amazon EKS 邊緣站點上實例化 CNF（在 Amazon Outposts 上運行），創建一個 5G 移動核心切片域（用戶平面功能 (UPF)）。對每個網絡切片都要重複這個過程。

之前展示的這種分層架構的關鍵概念之一是將詳細的編排工作流程和與之相關的所有網絡配置從運營商那裡抽像出來。在這種情況下，Cloudify 目錄服務被用來允許一個簡單的界面來運行網絡切片，如以下截圖所示。

作為切片創建的一部分，用戶需要填寫幾個輸入項，這些輸入項在執行階段會變換成數值，如切片邊緣站點、切片差分器、切片域（Core_UPF、Core_Full、RAN、MEC、Transport、Slice E2E ） 。切片執行包括 Amazon EKS 集群部署、UPF 實例化/許可證激活/基線配置/後續配置。

切片修改是在現有的切片上實施的，其中包括現有 Amazon EKS 集群中的 Core UPF。用戶使用 Cloudify UI 在切片內部署一個額外的管道，切片參數作為工作流程的一部分被更新。為此，我們利用 SD（切片差分器）值，代表現有切片的特色。使用第二天的配置 (SD) 來更新切片的特色將影響切片內的 QOS/優先級/服務。評估了兩個選項：在 UPF 後續配置中直接修改切片和通過 PCF 集中修改。

當刪除一個網絡切片作為生命週期管理的一部分時，用戶可以利用卸載工作流程刪除所有的切片資源（Amazon EKS 集群、UPF...）。

Cloudify 管理器使用一致的工作流程，每個切片執行任務後都有一個 Cloudify 履行執行視圖和詳細日誌。創建過程的每一步後面都有一個針對資源真實狀態的驗證任務。在編排之後，用戶可以使用 Cloudify 用戶界面對所有切片的資源狀態（運行時屬性）進行全面了解。下圖顯示了管理門戶。

5G 網絡切片正在成為 5G 支持的一個關鍵功能，以使通信服務提供商能夠在同一網絡上支持具有不同服務水平要求的各種應用，同時保持它們的隔離和安全。

Cloudify 的管理和編排解決方案與亞馬遜雲科技服務（如Amazon CloudFormation、Amazon CodePipeline、Amazon CloudWatch、Amazon EKS）完全集成，同時支持在Amazon Outposts 等本地部署或在Amazon EKS 的任意位置預置工作負載和集群，使其成為支持5G 網絡切片使用案例的絕佳解決方案。

Descartes Labs使用AWS EC2建置超級電腦TOP500排名41

 轉貼自: https://www.ithome.com.tw/news/145337

Descartes Labs使用4,096個EC2執行個體，總共使用172,692個核心，最高效能達9.95 PFLOPS，進入TOP500排名第41名

地理分析平臺Descartes Labs使用AWS EC2雲端服務，執行High-Performance LINPACK（HPL）基準，達到每秒接近10 PFLOPS，在2021年6月的TOP500超級電腦排名中進入第41名。這項試驗證明了按需取得的虛擬超級電腦，已經可以應付超大規模的密集運算任務，而且能在使用完畢，立刻釋出所有運算資源。

Descartes Labs使用HPC和機器學習技術，處理來自全世界的感測器資料，並以接近即時的速度，計算、分析和儲存這些資料，提供全球農業、礦業、國防情報和消費市場重要的產業分析報告。

Descartes Labs提到，對全球範圍的地理空間分析能力，像是環境監測、惡劣天氣追蹤和預測，或是多模式資料融合以及氣候變化分析等，逐漸變得重要，面對極端氣候，他們必須更加頻繁地處理像是大範圍野火事件。最近Descartes Labs就處理了6 PB的Sentinel-1雷達資料，以追蹤大陸森林砍伐、野火發生高風險區域，並且監控再生農業的實踐。

這類型高效能運算工作負載，需要用到超級電腦大量的計算能力，而當前要建立超級計算機，必須由政府或是財力雄厚的研究機構和企業，投資數千萬美元建構而成，這個過程除了需要專業知識外，還需要經多年規畫和實踐，且一旦超級電腦建構完成，便必須要保持使用率，藉由使用者排隊輪流使用超級電腦，以確保投資的有效性。

Descartes Labs在2019年的時候，嘗試在AWS上建構超級電腦，其首次執行的結果為1.93 PFLOPS，同年6月，他們在C5執行個體叢集上執行，總共使用41,472核心，這次在TOP500列表推進排名到達136名，Descartes Labs提到，透過使用AWS美東US-East 1地區的1組節點，大概花費5,000美元，在不需要等待以及付出建置硬體成本的狀況下，快速獲取超級電腦的運算資源。

於雲端建構虛擬超級電腦的好處，除了不需要投入大量資金，只要在需要的時候配置資源，完成運算後，還能立刻釋放資源，用戶可以按照需要規畫使用的資源，不必為了提高利用率而增加運算工作，而且因為不需要購買硬體，能夠隨時在新興技術可用時，租用包括GPU或是機器學習專用硬體等資源。

在今年，Descartes Labs團隊決定再進行一次更大規模的測試，他們使用了4,096個EC2執行個體，包括C5、C5d、R5、R5d、M5和M5d，總共使用172,692個核心，實現最高效能9.95 PFLOPS，在TOP500排名進到了41名，從2019年到2021兩年間，效能提升了417％，是傳統系統的效能提升速度的10倍。結束歷時9小時的計算，Descartes Labs在24分鐘內關閉叢集，停止所有執行個體運作，展示了按需超級電腦的彈性。