當前位置：首頁>資訊> 正文

機器學習平臺PAI支持搶占型實例，模型服務最高降本90%

woniu
資訊
2023-05-19
203

助力模型推理服務降本增效，適用于推理成本敏感場景，如：AIGC內容生成異步推理、批量圖像處理、批量音視頻處理等。

在AI開發及服務不斷追求效率的背景下，阿里云機器學習平臺 PAI 宣布支持搶占型實例（Spot Instance）。在模型推理環節，用戶可以通過 PAI-EAS 模型在線服務平臺靈活選擇搶占型實例來運行推理時延相對不敏感的任務，進而節省服務成本，同等機型的搶占型實例與按量付費實例相比，最高可實現90%的成本優化。

1. 什么是搶占型實例

搶占型實例（Spot Instance）是計算資源的一種購買方式。與傳統的包年包月實例、按量付費實例不同，搶占型實例的售價跟隨市場需求與庫存的供需關系實時浮動。PAI-EAS 搶占型實例基于公共資源組內空閑的計算資源提供服務，可以為用戶提供低價資源，價格最低可至按量付費實例的10%。各類實例購買方式的單價比較為：

○ 無保護搶占型實例 < 有保護搶占型實例 < 預付費實例 < 按量付費實例

用戶在使用 PAI-EAS 搶占型實例前，首先需要設置出價上限，并選定是否設置1小時保護期。當成功部署服務時，PAI-EAS 會自動競價搶占相應資源。

● 購買搶占型實例：

○ 當實例庫存充足且用戶配置的出價上限不低于當前搶占型實例市場價，則成功搶占資源。

● 使用搶占型實例：

○ 若用戶設置1小時保護期，購買搶占型實例成功后，默認至少保障使用1小時該實例資源。在1小時保護期內，若實例市場價超出用戶設定的出價上限，仍將按照出價上限計費。超過1小時后，當出現實例庫存不足或出價上限低于市場價的情況，實例會立刻釋放。

○ 若用戶未設置1小時保護期，購買搶占型實例成功后，當出現實例庫存不足或出價上限低于市場價的情況，實例會立刻釋放。

● 多實例部署

○ 在使用搶占型實例部署服務時，若只指定單一規格的計算資源，會出現由于出價不高或庫存不足導致服務長時間無法拉起的情況；或者因spot價格上浮導致資源釋放，從而造成服務處于pending。針對該問題，PAI-EAS 部署環節支持多規格實例選擇，通過遍歷服務資源配置中的規格列表來拉起資源，從而極大降低因搶占型實例釋放帶來的部署風險，保證服務的穩定運行。

通過這張圖對 PAI-EAS 搶占型實例（Spot Instance）的計價規則進行簡要示意。如圖所示，該實例按量付費實例價格為13.98元/小時，用戶的出價上限為5元/小時并設置了1小時保護期。通過搶占型實例，用戶得以以較低的價格使用計算資源。

機器學習平臺PAI支持搶占型實例，模型服務最高降本90% 第1張

（注：以 2023年4月23日 PAI-EAS 公共資源組搶占型實例價格進行示例，機型為8vCPU+30GB+1*A10）

2. PAI-EAS 搶占型實例適用場景

PAI-EAS 搶占型實例（Spot Instance）適用于對價格非常敏感、但對推理服務實時性及穩定性相對不敏感的場景，如：

● AIGC內容生成的異步推理場景

● 圖像識別、OCR等批量后處理的圖像分析

● 視頻分割、視頻分類等批量后處理的視頻分析

● 語音分割、語音轉文字等異步推理或批量推理的的語音分析

● Stable Diffusion等AI繪畫的異步批量處理場景

當用戶不需要實時拿到推理返回的結果，而是可以接受一段時間（例如1小時內）的延遲，這些情況就適合采用搶占型實例優化服務成本。

在實際業務場景中，您可以先購買一定量的預付費資源作為保底資源，保障服務可以順利運行；而對于彈性部分，可以根據業務場景搭配使用不同機型的搶占型實例，并通過 PAI-EAS 提供的自動彈性伸縮功能來自動擴縮搶占型實例，當因價格原因無法通過搶占型實例擴容時，PAI-EAS 也提供多規格實例選擇讓用戶使用普通按量付費實例進行擴容，從而以較低的組合成本保障服務穩定運行。