kubernets-sigs/jobset 跟一些酷酷專案

14 April, 2026 - Tags: TIL, AI, Kubernetes

有時候我會翻翻 github 上面比較大的組織看看底下有沒有一些感興趣的專案，例如 kubernetes-sigs、rust-lang 或是 argoproj。最近又翻了一下 kubernetes sigs，突然發現最近幾年多了不少 AI 相關的專案，例如說 jobset。jobset 本身並不像是 kubeflow 那樣完整的 MLOps 平台，我的理解是它專門被設計用來處理具有相依關係的多個 jobs，而這很適合用在分散式訓練模型上。至於推論需求，由於需要持續運行 LLM 提供 API 服務，使用 job 形式就不適合，這時候相關的是另外一個專案 lws (LeaderWorkerSet)，它的用途是把多個 StatfulSet 一起管理，另外也支援 topology-aware placement。因為現在的模型權重都很大，所以我們會需要橫跨多個節點佈署，而不同節點之間又需要大量頻寬交換資料，所以這個設計就特別適合用來佈署推論服務。另外，由於現在 agent 很流行，如何在 k8s 內提供合適的環境來讓 agent 運作也是個議題，剛好查資料的時候看到 k8s 官方發了一篇 blog 在介紹 agent-sandbox 這專案，如同他的名稱所述就是設計來給 agent 用的 sandbox，但根據 README，其實這項功能也很適合用來解決開發環境或 jupyter notebooks 等需求，或許 coder 這類型專案會從中受益？另外還有一個專案是 mcp-lifecycle-operator，這個我就看不明白了，不知道 MCP server 在需求上跟一般的 service 有何不同導致 SIG Apps 生出這項專案，至少從 README 中我沒看到有特別說明動機，而且目前我也還用不到，就沒深入研究了。最後一個是 kjob，我在系計中建構 slurm cluster 的時候就想過其實 slurm 提供的大部分功能好像都可以透過 k8s 做到，只是需要自己處理 mount NFS 之類的需求，然後提供比較方便的 CLI 介面降低使用者的認知負擔。但某天突然翻到 kjob 讓我發現原來社群有在做這嘗試，但目前 API 還在 v1alpha1 的階段，應該沒可能用在 production 環境，期待以後會正式完成。

附上一些當初跟 gemini 討論的對話紀錄，除了上述專案以外，我也有問到一些其他 k8s 相關的專案，或許哪天會再另外寫一篇。