服務(wù)連接管理
數(shù)據(jù)源連接 數(shù)據(jù)工廠原生支持多種常見(jiàn)數(shù)據(jù)源,可對(duì)云上服務(wù)、用戶(hù)本地環(huán)境不同數(shù)據(jù)源進(jìn)行連接和數(shù)據(jù)采集,加速數(shù)據(jù)集成進(jìn)程。目前支持云存儲(chǔ)、云數(shù)據(jù)庫(kù)、數(shù)據(jù)計(jì)算服務(wù)、SQL Server、Oracle、MySQL、DB2、FTP等服務(wù)。
計(jì)算資源連接 作為云上的數(shù)據(jù)集成服務(wù),數(shù)據(jù)工廠需要對(duì)接入數(shù)據(jù)源的數(shù)據(jù)進(jìn)行ETL處理,數(shù)據(jù)工廠通過(guò)連接不同的分析服務(wù),以工作流形式,由分析服務(wù)對(duì)接入的數(shù)據(jù)進(jìn)行清洗、轉(zhuǎn)換、分析,實(shí)現(xiàn)ETL。目前數(shù)據(jù)工廠支持接入數(shù)據(jù)計(jì)算服務(wù),后續(xù)將增加JMR、流數(shù)據(jù)總線、流計(jì)算、機(jī)器學(xué)習(xí)平臺(tái)等服務(wù)。
數(shù)據(jù)同步
數(shù)據(jù)接入與分發(fā) 數(shù)據(jù)工廠的數(shù)據(jù)同步支持從多個(gè)本地和云數(shù)據(jù)源間同步數(shù)據(jù),支持用戶(hù)全量同步、增量同步等不同的同步策略。可用于企業(yè)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)接入工作,對(duì)多源數(shù)據(jù)進(jìn)行采集;也可以通過(guò)數(shù)據(jù)工廠的數(shù)據(jù)同步功能,將數(shù)據(jù)倉(cāng)庫(kù)中加工處理后的數(shù)據(jù)分發(fā)到生產(chǎn)系統(tǒng)支持在線業(yè)務(wù),如數(shù)據(jù)庫(kù)系統(tǒng)。
數(shù)據(jù)工作流
數(shù)據(jù)同步及處理的編排與調(diào)度 通過(guò)統(tǒng)一的工作流管理模塊,對(duì)數(shù)據(jù)接入、數(shù)據(jù)清洗、數(shù)據(jù)匯總分析、數(shù)據(jù)分發(fā)等分析任務(wù)進(jìn)行編排組織,用戶(hù)可根據(jù)業(yè)務(wù)需要按照月、周、天、小時(shí)等不同時(shí)間周期制定調(diào)度策略。
作業(yè)運(yùn)維
作業(yè)設(shè)置告警通知規(guī)則 數(shù)據(jù)工廠的工作流,在創(chuàng)建時(shí)可設(shè)置多種告警通知策略,讓用戶(hù)在時(shí)間獲知任務(wù)的關(guān)鍵運(yùn)行狀態(tài)。
作業(yè)運(yùn)行監(jiān)控 提供對(duì)工作流執(zhí)行狀態(tài)及歷史的記錄,用戶(hù)可查看各作業(yè)的執(zhí)行結(jié)果以及詳細(xì)的執(zhí)行日志,跟蹤到每個(gè)工作流的每個(gè)執(zhí)行環(huán)節(jié)的詳細(xì)日志,便于運(yùn)維人員診斷及分析問(wèn)題。