AI/LLM on Kubernetes 基础设施

AI/LLM on Kubernetes 基础设施 https://aik8s.run/ 2026-08-11T09:01:41.531451+00:00 GPU、大数据、调度、训练、推理、RAG、Agent 与生产运维 GPU Notebook platform evolution figures https://aik8s.run/assets/practices/gpu-notebook-platform-evolution/README/ 2026-08-11T09:01:01+00:00

The three article figures are generated by scripts/generategpunotebookfigures.py.

大模型时代 GPU 开发平台踩坑记 https://aik8s.run/ai-k8s/practices/gpu-notebook-platform-evolution/ 2026-08-11T09:01:01+00:00

从 JupyterHub/KubeSpawner、code-server 和组级八卡共享，走到 Ceph RBD、CephFS、Workspace Operator 与 KubeVirt 根盘的真实演进

实战、排障与选型 https://aik8s.run/ai-k8s/practices/ 2026-08-11T09:01:01+00:00

用可复现的实验、性能数字、事故证据和决策树回答 AI/LLM on Kubernetes 的高频问题

大模型时代的 GPU Notebook 平台与存储选型 https://aik8s.run/ai-k8s/development/gpu-notebook-platform/ 2026-08-11T09:01:01+00:00

从 JupyterHub、Kubeflow 和托管 Workbench，到整卡、MIG、共享 GPU、用户 Home、对象存储与本地缓存的生产选型

OpenClaw 作为企业 Agent 平台底座：优缺点与二次开发边界 https://aik8s.run/ai-k8s/rag-agent/openclaw-enterprise-agent-platform/ 2026-08-11T00:00:00+00:00

分析 OpenClaw 的可复用能力、企业平台缺口、安全风险、推荐架构和采用决策

AI Agent、沙箱与工具执行 https://aik8s.run/ai-k8s/agentic-workloads/ 2026-08-10T16:16:11+00:00

Agent 工作负载的运行时隔离、网络、身份、工具权限和审计设计

AI/LLM on Kubernetes 基础设施 https://aik8s.run/ai-k8s/ 2026-08-10T16:16:11+00:00

从加速器、大数据和集群，到训练、推理、RAG、Agent 与生产运维的完整技术地图

AI/LLM on Kubernetes 基础设施 https://aik8s.run/ 2026-08-10T16:16:11+00:00

面向平台工程师、SRE、数据平台和模型服务团队的 AI/LLM 基础设施工程文档

2026 年 AI Agent 现状、实现原理与趋势 https://aik8s.run/ai-k8s/rag-agent/agent-landscape-2026/ 2026-08-10T14:47:14+00:00

主流编程、浏览器与企业 Agent 的产品格局、实现原理、开发框架、风险和演进趋势

DeepSeek-V4-Flash-0731 的 H20 部署与压测 https://aik8s.run/ai-k8s/practices/deepseek-v4-flash-h20-evaluation/ 2026-08-10T12:13:31+00:00

记录 DeepSeek-V4-Flash-0731 在单机八卡 H20 上的资源条件、vLLM 启动流程、性能基线、同 Pod PD 分离实测与 OpenWebUI 对接方法

RBG 多角色推理编排：从 CPU 控制面到生产 GPU 实测 https://aik8s.run/ai-k8s/practices/rbg-existing-cluster/ 2026-08-10T11:58:43+00:00

在 Kubernetes 1.30 集群部署 RoleBasedGroup，实测角色依赖、服务发现、扩缩、自愈、Ray 两机推理和 NIXL P/D 分离，并以相同镜像与模型对比 RBG 和 AIBrix

AIBrix 真实 GPU 实测：从两机推理到八节点碎片 GPU https://aik8s.run/ai-k8s/practices/aibrix-gpu-multinode-pd-production/ 2026-08-08T13:22:34+00:00

在生产 Kubernetes 集群使用 NVIDIA L20、AIBrix v0.7.0、RayClusterFleet、StormService 和 vLLM，验证两机模型并行、NIXL P/D 分离、八节点 Qwen3-235B FP8，以及 DeepSeek 70B 的四节点单卡、两节点双卡和单节点四卡拓扑

在 Kubernetes 部署 ComfyUI：离线镜像、CephFS 模型与跨集群 Ingress https://aik8s.run/ai-k8s/practices/comfyui-minimax-h3-gpu/ 2026-08-08T12:42:42+00:00

使用 NVIDIA GPU、只读 CephFS、ComfyUI extra_model_paths、Init Container 模型别名及双层 Ingress，在受限网络 Kubernetes 环境提供 MiniMax-H3 工作流页面

在既有 Kubernetes 集群落地 AIBrix：路由、P/D、自动扩缩容与可观测性实测 https://aik8s.run/ai-k8s/practices/aibrix-existing-cluster/ 2026-08-08T02:16:47+00:00

在 Kubernetes 1.30 集群安装 AIBrix v0.7.0，用 CPU mock 跑通模型路由、P/D、StormService、自动扩缩容、Prometheus 指标和 Higress 两层网关串联

GPU 节点故障图鉴 https://aik8s.run/ai-k8s/practices/gpu-failure-atlas/ 2026-08-08T02:02:56+00:00

用 XID、ECC、NVLink、掉卡、NCCL、RDMA 和 kubelet 证据定位 GPU 故障

Higress AI Gateway：架构、安装与 AIBrix 接入实战 https://aik8s.run/ai-k8s/inference/higress-ai-gateway/ 2026-08-07T21:59:40+00:00

在既有 Kubernetes 集群隔离安装 Higress，理解 Controller、Gateway、Console、AI Proxy 与可观测插件，并设计 Higress 和 AIBrix 的同集群及跨集群链路

SGLang Model Gateway CPU 实战 https://aik8s.run/ai-k8s/practices/sglang-model-gateway-cpu-lab/ 2026-08-07T09:53:15+00:00

在没有 GPU 的 Kubernetes 1.30 集群部署 SGLang Router 和两个 OpenAI-Compatible Mock Worker，实测动态发现、轮询、摘除恢复与 Prometheus 指标

LLM 推理引擎选型 https://aik8s.run/ai-k8s/inference/engines/ 2026-08-07T09:53:15+00:00

对比 vLLM、SGLang、TensorRT-LLM、Triton、llama.cpp 等引擎的能力、边界和 Kubernetes 集成方式

多机与分离式 LLM 推理 https://aik8s.run/ai-k8s/inference/distributed-serving/ 2026-08-07T09:53:15+00:00

设计多机模型副本、LeaderWorkerSet、Prefill/Decode 分离和 KV 传输，并对比 AIBrix、llm-d、KServe、Dynamo、Ray Serve 与 vLLM Production Stack

AI Gateway、推理路由与流量治理 https://aik8s.run/ai-k8s/inference/gateway-routing/ 2026-08-06T12:12:15+00:00

区分 API Gateway、Gateway API Inference Extension 和模型请求调度，设计认证、配额、缓存感知和发布策略

GPU 资源银行与潮汐推理平台实践蓝图 https://aik8s.run/ai-k8s/practices/gpu-resource-bank-tidal-platform/ 2026-08-05T10:14:41+00:00

用 Kueue 或 Volcano 实现业务组 GPU 配额互借，结合 KServe、AIBrix、KEDA 与 vLLM 构建实时和定时弹性，并建立从硬件健康到单位 Token 成本的可观测闭环

KubeVirt 单节点桌面实战：本地盘、CDI 与浏览器 noVNC https://aik8s.run/ai-k8s/practices/kubevirt-local-desktop-lab/ 2026-08-05T07:07:09+00:00

在没有 Ceph 的 Kubernetes 集群中，把 KubeVirt VM 限制到单个节点，使用本地盘保存完整系统环境，并通过受限 noVNC 网关从浏览器访问桌面

用 KubeVirt 与 Ceph RBD 构建持久 GPU Notebook https://aik8s.run/ai-k8s/practices/kubevirt-rbd-notebook/ 2026-08-05T00:17:27+00:00

为每个用户提供带独立 RBD 根盘的持久 Linux 工作站，覆盖宿主机准备、KubeVirt/CDI、GPU 直通、快照、故障恢复和生产验收

Spot GPU 与 Checkpoint 恢复实验 https://aik8s.run/ai-k8s/practices/spot-checkpoint/ 2026-08-04T08:14:28+00:00

测量抢占通知、Checkpoint、重排队和训练恢复的真实成本收益

Prefill/Decode 分离的性能拐点 https://aik8s.run/ai-k8s/practices/pd-break-even/ 2026-08-04T08:14:28+00:00

用双池容量、KV 传输和真实负载判断 P/D 分离是否值得

从 Ollama 到 Kubernetes 生产推理 https://aik8s.run/ai-k8s/practices/ollama-to-production/ 2026-08-04T08:14:28+00:00

把本地模型验证迁移为可压测、可灰度、可观测的 vLLM/KServe 服务

模型显存与并发容量计算器 https://aik8s.run/ai-k8s/practices/model-memory-calculator/ 2026-08-04T08:14:28+00:00

估算模型权重、KV Cache、运行时开销、最大并发和单位 Token 成本

70B 模型向百节点分发 https://aik8s.run/ai-k8s/practices/model-distribution-100-nodes/ 2026-08-04T08:14:28+00:00

为 TB 级模型和百节点推理池设计 Registry、对象存储、P2P 与节点缓存实验

GPU 利用率为什么很低 https://aik8s.run/ai-k8s/practices/low-gpu-utilization/ 2026-08-04T08:14:28+00:00

从数据、CPU、通信、内核、批处理和平台指标定位 GPU 空转

Kueue 与 Volcano 对比实验 https://aik8s.run/ai-k8s/practices/kueue-vs-volcano/ 2026-08-04T08:14:28+00:00

用相同训练任务验证准入队列、Gang、公平共享、抢占与拓扑能力

Kubernetes 还是 Slurm https://aik8s.run/ai-k8s/practices/kubernetes-vs-slurm/ 2026-08-04T08:14:28+00:00

从训练、推理、拓扑、队列、生态和运维边界选择 AI 调度平台

vLLM、SGLang 与 TensorRT-LLM 同机实测 https://aik8s.run/ai-k8s/practices/inference-engine-benchmark/ 2026-08-04T08:14:28+00:00

固定模型、硬件和负载，公平比较主流 LLM 推理引擎

AI 集群事故复盘方法 https://aik8s.run/ai-k8s/practices/incident-review/ 2026-08-04T08:14:28+00:00

用时间线、故障域、恢复证据和行动项复盘训练与推理事故

GPU 有空闲，Pod 为什么仍然 Pending https://aik8s.run/ai-k8s/practices/gpu-pending/ 2026-08-04T08:14:28+00:00

从队列准入、调度、拓扑、设备、存储和弹性逐层定位 GPU Pending

国产 GPU/NPU 的 Kubernetes 实践 https://aik8s.run/ai-k8s/practices/domestic-accelerators/ 2026-08-04T08:14:28+00:00

用平台契约接入昇腾及其他国产加速器，管理驱动、资源名、镜像、调度和可观测差异

国内外 GPU 云资源选型 https://aik8s.run/ai-k8s/practices/cloud-gpu-selection/ 2026-08-04T08:14:28+00:00

按库存、拓扑、网络、存储、Spot、出流和软件栈评估云上 GPU

离线环境部署 AI/LLM 平台 https://aik8s.run/ai-k8s/practices/air-gapped-ai-platform/ 2026-08-04T08:14:28+00:00

在无公网环境同步镜像、Chart、模型、驱动、软件包和安全元数据

Agent Sandbox 攻防实验 https://aik8s.run/ai-k8s/practices/agent-sandbox-red-team/ 2026-08-04T08:14:28+00:00

用文件、凭据、网络、资源耗尽和持久化测试验证 Agent 隔离边界

开源 Kubernetes 集群管理工具与方式 https://aik8s.run/ai-k8s/cluster/open-source-management/ 2026-08-04T07:44:36+00:00

从 kubectl、Web UI 和 GitOps，到 Rancher、Cluster API、Gardener、Karmada 与 OCM 的分层选型

国内外主流云厂商 Kubernetes https://aik8s.run/ai-k8s/cluster/cloud-managed-kubernetes/ 2026-08-04T07:44:36+00:00

对比阿里云 ACK、腾讯云 TKE、华为云 CCE、AWS EKS、Google GKE 和 Azure AKS 的托管边界与 AI/GPU 能力

AI/LLM 集群组件清单 https://aik8s.run/cases/ai-cluster-component-checklist/ 2026-08-04T06:02:41+00:00

按最小闭环、训练、大数据、Ray、在线推理和高级推理场景列出 Kubernetes 集群需要的组件、引入理由与验收条件

模型格式、制品供应链与分发 https://aik8s.run/ai-k8s/data/model-artifacts/ 2026-08-04T06:02:41+00:00

管理模型格式、OCI 制品、跨地域复制、P2P 分发、节点缓存、流式加载、签名和冷启动

工程案例 https://aik8s.run/cases/ 2026-08-04T04:19:40+00:00

记录真实 Kubernetes 与 AI 基础设施环境中的实施过程、故障处理、验证证据和可复用经验

AI/LLM Kubernetes 术语表 https://aik8s.run/ai-k8s/reference/glossary/ 2026-08-04T04:19:40+00:00

GPU、大数据、调度、训练、推理、网络、Agent 沙箱、模型制品和可靠性常用术语速查

Ray 在大模型训练与推理中的角色 https://aik8s.run/ai-k8s/ray-llm-platform/ 2026-08-04T04:19:40+00:00

Ray Core、Data、Train、Tune、Serve、Serve LLM 与 KubeRay 在大模型数据处理、训练、后训练和在线推理中的边界

LLM 推理平台 https://aik8s.run/ai-k8s/llm-inference/ 2026-08-04T04:19:40+00:00

在线大模型服务的控制面、运行时、路由、伸缩和容量设计

LLM Serving 与 AI 微服务框架 https://aik8s.run/ai-k8s/inference/serving-frameworks/ 2026-08-04T04:19:40+00:00

对比 vLLM、KServe、AIBrix、Ray Serve、BentoML、NVIDIA NIM 与应用编排框架的层次、组合方式和选型边界

分布式训练平台 https://aik8s.run/ai-k8s/distributed-training/ 2026-08-04T04:19:40+00:00

训练控制器、Gang Scheduling、集合通信、容错和作业生命周期

大数据 on Kubernetes https://aik8s.run/ai-k8s/data/big-data-on-kubernetes/ 2026-08-04T04:19:40+00:00

Spark、Flink、Kafka、Trino、Lakehouse、对象存储、Operator、队列调度，以及与大模型训练和 RAG 的结合

AI 数据、存储与缓存 https://aik8s.run/ai-k8s/data-storage/ 2026-08-04T04:00:13+00:00

对象存储、共享文件、本地 NVMe、数据加载和多级缓存设计