Descartes Labs使用AWS EC2建置超級電腦TOP500排名41

 轉貼自: https://www.ithome.com.tw/news/145337

Descartes Labs使用4,096個EC2執行個體，總共使用172,692個核心，最高效能達9.95 PFLOPS，進入TOP500排名第41名

地理分析平臺Descartes Labs使用AWS EC2雲端服務，執行High-Performance LINPACK（HPL）基準，達到每秒接近10 PFLOPS，在2021年6月的TOP500超級電腦排名中進入第41名。這項試驗證明了按需取得的虛擬超級電腦，已經可以應付超大規模的密集運算任務，而且能在使用完畢，立刻釋出所有運算資源。

Descartes Labs使用HPC和機器學習技術，處理來自全世界的感測器資料，並以接近即時的速度，計算、分析和儲存這些資料，提供全球農業、礦業、國防情報和消費市場重要的產業分析報告。

Descartes Labs提到，對全球範圍的地理空間分析能力，像是環境監測、惡劣天氣追蹤和預測，或是多模式資料融合以及氣候變化分析等，逐漸變得重要，面對極端氣候，他們必須更加頻繁地處理像是大範圍野火事件。最近Descartes Labs就處理了6 PB的Sentinel-1雷達資料，以追蹤大陸森林砍伐、野火發生高風險區域，並且監控再生農業的實踐。

這類型高效能運算工作負載，需要用到超級電腦大量的計算能力，而當前要建立超級計算機，必須由政府或是財力雄厚的研究機構和企業，投資數千萬美元建構而成，這個過程除了需要專業知識外，還需要經多年規畫和實踐，且一旦超級電腦建構完成，便必須要保持使用率，藉由使用者排隊輪流使用超級電腦，以確保投資的有效性。

Descartes Labs在2019年的時候，嘗試在AWS上建構超級電腦，其首次執行的結果為1.93 PFLOPS，同年6月，他們在C5執行個體叢集上執行，總共使用41,472核心，這次在TOP500列表推進排名到達136名，Descartes Labs提到，透過使用AWS美東US-East 1地區的1組節點，大概花費5,000美元，在不需要等待以及付出建置硬體成本的狀況下，快速獲取超級電腦的運算資源。

於雲端建構虛擬超級電腦的好處，除了不需要投入大量資金，只要在需要的時候配置資源，完成運算後，還能立刻釋放資源，用戶可以按照需要規畫使用的資源，不必為了提高利用率而增加運算工作，而且因為不需要購買硬體，能夠隨時在新興技術可用時，租用包括GPU或是機器學習專用硬體等資源。

在今年，Descartes Labs團隊決定再進行一次更大規模的測試，他們使用了4,096個EC2執行個體，包括C5、C5d、R5、R5d、M5和M5d，總共使用172,692個核心，實現最高效能9.95 PFLOPS，在TOP500排名進到了41名，從2019年到2021兩年間，效能提升了417％，是傳統系統的效能提升速度的10倍。結束歷時9小時的計算，Descartes Labs在24分鐘內關閉叢集，停止所有執行個體運作，展示了按需超級電腦的彈性。