想要執行大數據分析應用的企業,往往需要一套資料處理流程管理機制(data pipeline),來串接從資料處理到分析,甚至是整合到機器學習框架上訓練。資料流程管理又多了一個新選擇,資料工程新創公司Astronomer近日釋出資料工程平臺Astronomer企業0.2.0版,今年初該公司就已經推出了代管AirFlow服務及SaaS解決方案,而0.2.0平臺版本主打可在私有Kubernetes環境上執行Airflow,來安排、監控應用程式工作流程 ,包括批次處理及即時串流分析。

Astronomer執行長Ry Walker表示,在這次所釋出的新版本中,功能面總共有3個新特色。首先是支援Kubernetes Helm Charts,讓系統組態設定更為自動化。Ry Walker舉例,開發者過去建置Grafana、Flower或是自家API平臺Houston時,都得要分別進行,而現在新版釋出,在單一部署中,就可以一次設定多種元件的部署組態,加快工作速度。

第二是加強了命令程式列的功能,除了可以直接進行系統認證程序,讓組態設定過程更為流暢,也能同時部署多個Airflow應用。該公司表示,此平臺也強調開發者優先,與其採用僵硬、令人混亂的GUI操作,「我們決定滿足開源開發者的需求,提供輕量化工具、豐富的API及命令程式列。」

最後,該公司也更新了API平臺功能,現在系統可直接列出部署任務清單、自行更換部署名稱,還可以布建客製化Airflow映像檔,「在部署過程中,開發者可以更加掌握映像檔的系統相依性。」
 

新推的企業Astronomer 0.2.0版,在企業內部的Kubernetes環境中,也整合了許多開發者愛用的資料監控、分析平臺Grafana。部署於容器叢集中的Airflow容器的運作狀況,也能一目瞭然。而該平臺也有提供相異系統維度的監控方法,例如,全局的系統面為切入點,觀察CPU、記憶體及網路流量等數據。或者,也能觀察個別Kubernetes Worker節點,確保該節點的CPU、記憶體使用量都正常無虞。 圖片來源:Astronomer


熱門新聞

Advertisement