服務連接管理
數據源連接 數據工廠原生支持多種常見數據源,可對云上服務、用戶本地環境不同數據源進行連接和數據采集,加速數據集成進程。目前支持云存儲、云數據庫、數據計算服務、SQL Server、Oracle、MySQL、DB2、FTP等服務。
計算資源連接 作為云上的數據集成服務,數據工廠需要對接入數據源的數據進行ETL處理,數據工廠通過連接不同的分析服務,以工作流形式,由分析服務對接入的數據進行清洗、轉換、分析,實現ETL。目前數據工廠支持接入數據計算服務,后續將增加JMR、流數據總線、流計算、機器學習平臺等服務。
數據同步
數據接入與分發 數據工廠的數據同步支持從多個本地和云數據源間同步數據,支持用戶全量同步、增量同步等不同的同步策略。可用于企業數據倉庫的數據接入工作,對多源數據進行采集;也可以通過數據工廠的數據同步功能,將數據倉庫中加工處理后的數據分發到生產系統支持在線業務,如數據庫系統。
數據工作流
數據同步及處理的編排與調度 通過統一的工作流管理模塊,對數據接入、數據清洗、數據匯總分析、數據分發等分析任務進行編排組織,用戶可根據業務需要按照月、周、天、小時等不同時間周期制定調度策略。
作業運維
作業設置告警通知規則 數據工廠的工作流,在創建時可設置多種告警通知策略,讓用戶在時間獲知任務的關鍵運行狀態。
作業運行監控 提供對工作流執行狀態及歷史的記錄,用戶可查看各作業的執行結果以及詳細的執行日志,跟蹤到每個工作流的每個執行環節的詳細日志,便于運維人員診斷及分析問題。