什麼是MLOps平台？

MLOps平台為資料科學家和軟體工程師提供了一個協作環境，可協助需要反覆運算資料的探索、用於實驗追蹤、特徵工程和模型管理的即時協同工作功能，以及模型管理，轉換、部署和監視。

隨著企業AI發展腳步加快，企業在開發完AI模型後，面臨了模型部署、監控與維運的問題，這與近幾年從國外興起的MLOps概念不謀而合，因為MLOps正是認為AI開發也要擁抱DevOps，才能將模型持續整合、持續交付與部署落地。

Logicalis看重MLOps市場的潛力，與微軟Azure及InfuseAI合作成為臺灣首家投入MLOps維運端解決方案的諮詢顧問，將其部署到微軟Azure市集，要透過提供更簡易的部署、監控機制，在平台中串起從AI開發到維運的全生命週期循環。Logicalis的諮詢顧問服務，將透過PrimeHub開發到維運完整的串起AI的全生命週期循環。

PrimeHub是一套AI開發與資源管理平台，這是一項PaaS服務，主張替企業降低AI開發的進入門檻與管理成本，讓企業可以更快投入AI開發，比如透過PrimeHub軟體，可以快速建立起各類的框架的運算資源、資料處理及團隊權限的管理機制。

Logicalis將PrimeHub部署在Azure平台上，讓資料科學家與工程團隊可以根據各自需求來運用PrimeHub平台，同時透過平台來加強兩者之間的協作。諮詢顧問更提供了多種服務，分別針對資料科學團隊與系統管理者所設計。

針對資料科學團隊，系統平台提供了模型部署的框架，目前系統支援多種如Tensorflow、PyTorch、SKLearn等多種框架，讓資料科學家訓練完模型，不需額外支援，就能在數分鐘內將模型打包成以API之服務。此外，資料科學家也能自己撰寫所需的Dockerfile並安裝函式庫，為API加入前處理與後處理的機制，再透過PrimeHub Deploy進行部署。平台更提供系統日誌查看API的部署情況，還提供運算資源的即時監控機制，讓使用者能進一步決定合適的運算資源配置。「與過去需要1～2個工作天相比，能減少部署上線的時間。」

針對系統管理者，平台則提供了各種專案的API部署概況綜覽、預測服務的即時監控、運算資源的用量監控、認證授權機制、API部署更新的記錄查閱等功能。同時也能預測服務的即時監控機制，包括模型每秒查詢率（QPS，Queries Per Second）監控、延遲（Latency）監控等功能，在資源管理與系統成長預測更能準確的洞見資料。

除了在Azure平台上的介面功能之外，平台整合了AI開發的常用IDE、程式語言、演算法與函式庫，以及常見的資料儲存來源如Hadoop、CSV、S3、SQL；而在PrimeHub Deploy產品中，則是整合了GitHub、Jenkins等CI/CD工具，Tableau、Power BI等BI工具，以及Seldon、Grafana等部署監控工具。

Logicalis提供的諮詢顧問服務，將模型部署與監控管理，相較於PrimeHub要滿足開發團隊的需求，諮詢顧問服務更傾向滿足工程團隊的需求，來進一步提升如運算資源的使用效率或資料讀取速度，更要維持預測服務不中斷。

評估工作範圍：