複製流程 – SAP Datasphere 和 Google Big Query

轉貼自：https://blogs.sap.com/2023/11/16/replication-flows-sap-datasphere-and-google-big-query/

背景

SAP Datasphere 從 SAP Datasphere 版本 2021.03 開始發布了複製流。這項新功能允許人們以快速、無縫的方式將多個表從來源複製到目標。有關複製流程的更多信息，請參閱此處。

本部落格將示範如何將資料從 SAP 來源複製到 Google BigQuery。

腳步

1. 首先，您需要在 SAP Datasphere 中建立與 Google Big Query 的連線。請參閱本部落格中的步驟 4.「建立 Google BigQuery 連線」來建立連線。
2. 確保您在 Google BigQuery 中有一個要將資料表複製到其中的資料集。
3. 確保您有源連接。在本例中，我們將使用 S4 Hana Cloud。您需要在 SAP Datasphere 的「連線」標籤中建立此連線。
4. 導覽至 SAP Datasphere，然後按一下左側面板上的「資料產生器」。找到並點選“新複製流”磁貼。
5. 點選選擇來源連接
6. 選擇您想要的來源連線。我們將選擇 SAP S4 Hana Cloud
7. 點選選擇來源容器。
8. 選擇“CDS 提取 - 啟用 CDS 視圖提取”，然後按一下“選擇”。
9. 按一下“新增來源物件”並選擇要複製的視圖。如果需要，您可以選擇多個。完成物件後，按一下「新增選擇」。
10. 現在，我們選擇目標連線。我們將選擇 Google Big Query 作為我們的目標。如果您在此步驟中遇到任何錯誤，請參閱本部落格末尾的註釋。
11. 接下來我們選擇目標容器。回想一下您之前在步驟 2 中在 Big Query 中建立的資料集。這是您將在此處選擇的容器。
12. 在中間選擇器中，按一下“設定”並設定您的負載類型。初始僅意味著載入所有選定的資料一次。初始和增量意味著在初始載入後，您希望系統每 60 分鐘檢查一次是否有任何變更（增量），並將變更複製到目標。
13. 完成後，點擊頂部工具列上的編輯投影圖示以設定任何過濾器和映射。有關過濾器和映射的更多信息，請參閱此處和此處。
14. 您也可以透過目標連線名稱和容器旁的設定圖示來變更目標的寫入設定。
15. 最後，將複製流重新命名為您在右側詳細資料面板中選擇的名稱。然後，透過頂部工具列圖示儲存、部署、執行複製流程。您可以在 SAP Datasphere 左側面板的「資料整合監視器」標籤中監控運作情況。
16. 複製流程完成後，您應該會在 BigQuery 中看到目標表。應該注意的是，每個表都會從複製流中添加 3 列，以允許捕獲增量。這些欄位是 operation_flag、recordstamp 和 is_deleted。

注意：您可能必須在租用戶中包含進階出站整合區塊才能部署複製流。