MLOps Platform - 2 weeks Assessment (Chinese ver)

LOGICALIS ASIA

Logicalis MLOps 平台加速您的 AI 開發過程

什麼是MLOps平台?

MLOps平台為資料科學家和軟體工程師提供了一個協作環境,可協助需要反覆運算資料的探索、用於實驗追蹤、特徵工程和模型管理的即時協同工作功能,以及模型管理,轉換、部署和監視。

隨著企業AI發展腳步加快,企業在開發完AI模型後,面臨了模型部署、監控與維運的問題,這與近幾年從國外興起的MLOps概念不謀而合,因為MLOps正是認為AI開發也要擁抱DevOps,才能將模型持續整合、持續交付與部署落地。

Logicalis看重MLOps市場的潛力,與微軟Azure及InfuseAI合作成為臺灣首家投入MLOps維運端解決方案的諮詢顧問,將其部署到微軟Azure市集,要透過提供更簡易的部署、監控機制,在平台中串起從AI開發到維運的全生命週期循環。Logicalis的諮詢顧問服務,將透過PrimeHub開發到維運完整的串起AI的全生命週期循環。

PrimeHub是一套AI開發與資源管理平台,這是一項PaaS服務,主張替企業降低AI開發的進入門檻與管理成本,讓企業可以更快投入AI開發,比如透過PrimeHub軟體,可以快速建立起各類的框架的運算資源、資料處理及團隊權限的管理機制。

Logicalis將PrimeHub部署在Azure平台上,讓資料科學家與工程團隊可以根據各自需求來運用PrimeHub平台,同時透過平台來加強兩者之間的協作。諮詢顧問更提供了多種服務,分別針對資料科學團隊與系統管理者所設計。

針對資料科學團隊,系統平台提供了模型部署的框架,目前系統支援多種如Tensorflow、PyTorch、SKLearn等多種框架,讓資料科學家訓練完模型,不需額外支援,就能在數分鐘內將模型打包成以API之服務。此外,資料科學家也能自己撰寫所需的Dockerfile並安裝函式庫,為API加入前處理與後處理的機制,再透過PrimeHub Deploy進行部署。平台更提供系統日誌查看API的部署情況,還提供運算資源的即時監控機制,讓使用者能進一步決定合適的運算資源配置。「與過去需要1~2個工作天相比,能減少部署上線的時間。」

針對系統管理者,平台則提供了各種專案的API部署概況綜覽、預測服務的即時監控、運算資源的用量監控、認證授權機制、API部署更新的記錄查閱等功能。同時也能預測服務的即時監控機制,包括模型每秒查詢率(QPS,Queries Per Second)監控、延遲(Latency)監控等功能,在資源管理與系統成長預測更能準確的洞見資料。

除了在Azure平台上的介面功能之外,平台整合了AI開發的常用IDE、程式語言、演算法與函式庫,以及常見的資料儲存來源如Hadoop、CSV、S3、SQL;而在PrimeHub Deploy產品中,則是整合了GitHub、Jenkins等CI/CD工具,Tableau、Power BI等BI工具,以及Seldon、Grafana等部署監控工具。

Logicalis提供的諮詢顧問服務,將模型部署與監控管理,相較於PrimeHub要滿足開發團隊的需求,諮詢顧問服務更傾向滿足工程團隊的需求,來進一步提升如運算資源的使用效率或資料讀取速度,更要維持預測服務不中斷。

評估工作範圍:

  • 解決方案介紹
  • 部署評估
  • 資源規劃
  • https://store-images.s-microsoft.com/image/apps.60591.dfe968f4-0016-4661-b93a-247c03ffa954.14b13043-ea0f-4e6e-bc91-6a3b2141a645.8877314b-6396-466c-88da-32c9d263777d
    https://store-images.s-microsoft.com/image/apps.60591.dfe968f4-0016-4661-b93a-247c03ffa954.14b13043-ea0f-4e6e-bc91-6a3b2141a645.8877314b-6396-466c-88da-32c9d263777d
    https://store-images.s-microsoft.com/image/apps.23599.dfe968f4-0016-4661-b93a-247c03ffa954.14b13043-ea0f-4e6e-bc91-6a3b2141a645.d0354e1d-ae54-4808-98f8-7b54b4bff2bb
    https://store-images.s-microsoft.com/image/apps.35717.dfe968f4-0016-4661-b93a-247c03ffa954.14b13043-ea0f-4e6e-bc91-6a3b2141a645.97cc6327-07ff-4883-b5bd-2755b287733f