文章时间线
按发布或更新时间浏览全部文章,时间统一为北京时间。
179 篇文章
没有符合条件的文章,请尝试其他筛选条件。
2026-10
- OpenKruise Agents 实战:预热池、沙箱任务与暂停恢复
在 Kubernetes 1.30.4 上部署 OpenKruise Agents 0.6.0,验证 E2B SDK、预热与按需创建、文件隔离、超时回收,排查恢复阻塞,并对比 Kubernetes SIG Apps Agent Sandbox
- DeepInfer 深度解析:DeepSeek 推理引擎的架构、性能口径与生产边界
基于 DeepInfer 首次公开提交分析 DSpark、异步调度、Attention DP/CP、MoE EP/EPLB、SWA bounded replay、硬件条件及 Kubernetes 集成边界
- DeepSeek 1017:PRO 5000 与 H20 的线上性能观察
只读分析 DeepSeek-V4.1-Flash-1017 在 RTX PRO 5000 72GB 与 H20-3e 上的现有监控,从请求形态、TTFT、TPOT、排队、缓存和资源曲线解释部署表现。
- OpenSandbox Kubernetes 实战:官方 Console、任务执行与自动回收
在 Kubernetes 1.30.4 中部署 OpenSandbox 1.1.1,验证官方 Console、任务执行、鉴权、四并发与回收,并与腾讯 CubeSandbox 对比架构、隔离、快照恢复和企业选型
- Agent RL 综述:从工具调用、轨迹与奖励到 veRL 和 Miles
梳理 Agent 强化学习的训练闭环、主流框架与环境生态,重点分析 veRL Agent Loop、Miles TITO、全异步训练、MoE 路由回放及 Kubernetes 工程落地
- DeepSeek Search/Fetch:每千次 5 元,还算“价格屠夫”吗?
对比 DeepSeek、OpenAI、Claude、Gemini、百炼、Brave 与 Tavily 的联网工具定价,解释 Search、Fetch 在 Agent 中的用途及任务总成本
- 从 Contiv 到 Kube-OVN:保留物理 VLAN 的单节点迁移实战
在存量 VLAN 网络中,用 Kube-OVN 替换一个节点的主 CNI,记录物理接线、共享 IPAM 防冲突、控制器隔离、NotReady 排查及真实通信验收
- NVIDIA NVCRE 原理解析与 H20-3e 独立验机实测
梳理 NVIDIA NVCRE 的公开发布时间、用途与生产接入方式,结合双节点 16 卡 H20-3e NCCL/DCGM 实测,分析节点验收、升级回归、故障定位及 Kubernetes 依赖
- Firecracker 与 CubeSandbox:架构差异与企业 Agent 沙箱选型
从 VMM 与沙箱平台的职责区别出发,比较 Firecracker 和 CubeSandbox 的隔离、Kubernetes 集成、模板、快照恢复、网络治理与企业运维成本
- 腾讯、阿里、字节怎样做数字员工:产品路线、业务案例与企业落地
对照腾讯 WorkBuddy Enterprise 与 Managed Agents、阿里 QoderWake 和钉钉悟空、飞书 Aily,拆解盒马取数、美宜佳客服与运维日报案例,讨论身份、执行环境、业务集成和验收
- CubeSandbox 进程内存快照与恢复实测
在 CubeSandbox v0.7.3 上杀掉运行中的测试进程,再验证快照回滚和删除原沙箱后的内存恢复,附可复现脚本与 Light 实测截图
- DeepSeek-V4.1-Flash-1017 Day0:八卡 H20 的 vLLM 部署与百万 Token 实测
DeepSeek 1017 原生混合量化权重的八卡 vLLM 部署,36 轮吞吐与延迟、工具和视觉验证、1M 上下文召回及实际资源曲线。
- Omarchy Linux 与 Agent OS 综述:桌面系统、智能体运行时与企业落地
从 Omarchy 4 的 Linux 桌面与 Agent 集成出发,对比主流 Agent OS 路线,并在 KubeVirt 上实际安装桌面、接入模型、生成配置和验证持久化
- CubeSandbox Agent Adapter v0.6 多集群执行与实践
用一个 Adapter 连接多个 CubeSandbox 集群,实践内部 OpenClaw 模板、长任务日志接续、受控 MCP 与持久审计,附五客户端实测和 Light 截图
- HiRoute 技术综述:Higress 团队的 Agent 路由与模型协作引擎
解析 HiRoute 的任务路由、模型路由、Jev 决策、ContextHold、阶段胜任评分与有限故障接力,讨论官方降本实验,并记录 Docker 接入 DSH、协议兼容、故障接力与重启续跑实测
- ChatGPT Dots 技术解析:常驻智能体、云端电脑与企业应用
基于 OpenAI 官方资料介绍 ChatGPT Dot 的发布时间、长期任务、记忆、云端与本地执行、Codex 协作、权限控制及 Kubernetes 企业接入和评估方法
- Agent 长任务中断续跑原理与社区实践
解释一小时级智能体任务如何在进程崩溃、网络断开和人工暂停后恢复,对比 LangGraph、Temporal、Restate、DBOS、Mastra 与会话恢复,附可复现的中断实验和 Kubernetes 架构建议
- OpenClaw Enterprise Kubernetes 部署实战:持久化、跨集群入口与模型验证
记录 OCE 在 Kubernetes 上的隔离试点,从 Ceph RBD、PostgreSQL TLS、镜像准备、租户授权,到办公网 Console 和真实模型回复,解释 DNS、探针与代理认证排错
- OpenClaw Enterprise 项目分析:Agent 控制面、身份隔离与 Kubernetes 部署
基于公开源码分析 OpenClaw Enterprise 的资源模型、持久化工作队列、Agent 独立身份、运行时驱动、存储与可观测性,讨论企业部署的价值和限制
- Volcano 功能很多,为什么企业里还是调不顺?
从资源视图、任务分级、跨部门抢占共识与前置埋点出发,讨论 Volcano 调度和重调度落地的业务前提
- Kubernetes 调度器扩展:从一个 GPU 放置需求到插件落地
以 GPU 节点池放置为例,解释 Scheduling Framework 扩展点、Profile、Extender 与独立调度器的边界,以及验证和回滚方法
- Contiv、OVS 与 Cilium 串联网络实战:kube-proxy 为什么可能接不到报文
从匿名测试集群的 CNI 配置、OVS 端口与流表、Cilium 运行状态和实际抓包,解释 VLAN 组网、Service 转换及 kube-proxy 的数据路径边界
- 大规模 Kubernetes 调度器优化:从队列积压到并行调度架构
结合 Kubernetes 源码、阿里与字节公开实践,解释串行决策与节点并行、插件和重试优化、多调度器分片、并发冲突与效果验收
- 大规模 Kubernetes 监控方案:Prometheus、VictoriaMetrics、Thanos 与 Mimir 怎么选
从序列基数、采集发现、写入与查询隔离、告警、存储和迁移讨论大规模 Kubernetes 监控,并包含 VictoriaMetrics K8s Stack 实际部署验证
- vLLM Sleep 单卡双模型实测:恢复耗时、显存与 DRA 设计
在一张 L20 上比较模型进程重启与 Level 1/2 休眠恢复,核对恢复后的短时吞吐,并分析 Kubernetes DRA 的共享边界。
- Jev 每周回顾
持续追踪 Jev 与 System One 决策模型的版本、独立评测、社区权重和 Agent 应用,按周保留结果与判断
- RBG 带流量实战:副本恢复了,请求就恢复了吗
使用 Qwen3.8-27B-FP8 与 L20,固定 AIBrix 路由,串起 RBG 扩缩容、滚动更新、故障恢复和客户端 TTFT、TPOT 的证据。
2026-09
- MiMo-V2.6-Pro-RL 首测:八张 H20-3e 的 vLLM 部署与性能实测
MiMo-V2.6-Pro-RL 的模型结构、八卡 H20-3e vLLM 部署、文本与图片验收、固定长度压测和运行边界
- Harbor Agent 评测框架综述:从沙箱任务、Verifier 到大规模 Rollout
系统介绍 Harbor 如何统一任务、Agent、模型、隔离环境、验证器与轨迹,分析它和 Agent Harness、Inspect AI、SWE-bench、LangGraph、Langfuse 的边界,并给出 Kubernetes 生产落地方案
- MiMo-V2.6-Flash-RL Day 0:4 卡与 8 卡 H20-3e 部署实测
MiMo-V2.6-Flash-RL 模型架构、SGLang 8 卡与 vLLM 4 卡部署画像、固定长度压测、长上下文边界、多模态验证和生产部署建议
- Qwen-Image-2.1:单卡 L20 的 SGLang 与 vLLM-Omni 实测
在 Kubernetes 中用单张 NVIDIA L20 部署 Qwen-Image-2.1,验证文字、透明 PNG、SGLang 与 vLLM-Omni 的吞吐、延迟、显存和批量生成工作台
- Jev 技术综述:不生成文本的 System One 决策模型
梳理 TypeSafe AI Jev 的接口、置信度、适用场景、社区争议、生产架构与评估方法,解释它和 LLM、传统分类器及规则系统的边界
- Koordlet 与 Runtime Hook:节点资源隔离原理
从控制闭环、容器生命周期和 Linux 内核机制理解 Koordlet 如何实施 CPU、内存、缓存、I/O 与网络 QoS
- Koordinator 与在线离线混部:从资源回收到生产落地
从资源账本、QoS、干扰治理和社区大规模实践理解 Koordinator,以及如何安全推进 Kubernetes 在线离线混部
- Koordinator Webhook 多副本证书竞态实战:从每秒 60 次 409 到共享 CA 收敛
一次生产集群 Koordinator Webhook 证书竞态的定位、修复和验证,包含脱敏后的真实 Grafana 指标、共享 Secret 配置、证书检查与生产验收方法
- Kube-apiserver 负载均衡实战:HTTP/2、TLS 终结与四层/七层选型
从连接复用、TLS 身份边界、扩缩容重新均衡和策略选择出发,对比 kube-apiserver 四层与七层负载均衡方案及生产验证方法
- 万节点 Kubernetes 集群优化实战:控制面、etcd、调度与网络
结合阿里、字节与海外公开案例,拆解万节点 Kubernetes 的控制面、etcd、调度、网络、运维风控和规模验证方法
- 多机多卡训练框架与故障恢复:从 DDP、FSDP 到 DeepSpeed、Megatron 和 Ray
对比主流多机多卡训练框架的并行能力、Checkpoint 与弹性边界,并给出节点故障后的 Kubernetes 恢复架构、RPO/RTO、演练方法和生产检查表
- OpenTelemetry × Grafana 实战:观测 Kubernetes 控制面与集群状态
用 OpenTelemetry Collector 汇聚 Kubernetes 控制面、DNS 与对象指标,接入 Prometheus、Tempo 和 Grafana,并实测指标基数治理与 Span 排障
- OpenTelemetry 与 Kubernetes 入门:从 Trace、Span 到 Collector
用一次 Kubernetes 请求解释 OpenTelemetry 的 Trace、Span、Metric、Log、Context、Resource、OTLP 和 Collector,并提供一个无需可观测后端的五分钟实验
- OpenTelemetry 在 Kubernetes 的应用与实战:从 OTLP 到 Prometheus、Langfuse 与日志管道
在 Kubernetes 1.30 集群部署 OpenTelemetry Collector Gateway,用 FastAPI 实际验证 Trace、Metric、Kubernetes 元数据、Prometheus ServiceMonitor 和 Langfuse OTLP 入库,并给出生产部署建议
- LangChain、LangGraph 与 Langfuse Kubernetes 实战:从组件、编排到 Trace
用一个可运行 Demo 解释 LangChain、LangGraph 和 Langfuse 的职责边界,并在 Kubernetes 中验证条件路由、工具调用、慢请求和错误追踪
- Agent 评估方法综述:如何公平比较 Pi、OpenClaw、DSH 与 Hermes Agent
从任务成功、工具轨迹、故障恢复、安全治理、成本和人工介入出发,建立可复现的 Agent 评测与评分体系,并说明 Pi、OpenClaw、DeepSeek Harness 和 Hermes Agent 应该怎样比较
- 在 KubeVirt 上运行 Kubernetes:架构边界、生产设计与 AI 场景取舍
分析以 Kubernetes 和 KubeVirt 承载租户 Kubernetes 集群的双层控制面、调度、故障域、网络、存储、生命周期、可观测性与 GPU 场景,并给出生产参考架构和验收清单
- Langfuse 与 LangGraph 技术综述:Agent 编排、可观测性与评测闭环
系统介绍 LangGraph 的状态图、持久化和人工审批,以及 Langfuse 的 Trace、Prompt、Dataset、Evaluation 和 Kubernetes 自托管架构
- Grok Bot 技术综述:持久化云电脑、多智能体协作与企业治理
系统介绍 Grok Bot 与 Grok、@grok 和 xAI API 的区别,分析其持久化云电脑、Skills、Routines、多 Bot 协作、审批、安全边界及 Kubernetes 企业接入方式
- TokenHub 技术综述:统一模型 API、聚合市场与企业接入
介绍 TokenHub.com 的 OpenAI、Anthropic 与 Gemini 兼容接口、多模型目录、统一计费、Agent 工具接入,以及 Kubernetes 生产使用的安全和可观测性边界
- OpenRouter 技术综述:统一模型 API、Provider 路由与企业接入
介绍 OpenRouter 的产品定位、请求链路、模型与 Provider 路由、Fallback、Prompt Cache、费用、隐私、可观测性及 Kubernetes 接入方式
- HarnessRouter 综述:从模型路由到 Agent Harness 基础设施
解析 HarnessRouter、UHP、Cloud 与 Community Edition,说明 Agent Harness 统一接口、任务生命周期、安全边界、成本及其与 DSH 和 LLM Gateway 的关系
- 大模型 API 中转器与 LLM Gateway 综述
系统梳理模型聚合平台、自建 LLM Gateway、企业 AI Gateway、推理路由与语义路由的原理、代表产品、安全风险和选型方法
- Agent Memory 技术综述:智能体怎样记住、更新与忘记
系统介绍智能体短期与长期记忆、语义与情景记忆、写入检索、时序更新、遗忘删除、主流项目、评测方法和 Kubernetes 生产架构
- Agent Harness 技术综述:模型之外,智能体如何持续完成真实任务
从 Agent Loop、上下文、工具接口、状态恢复、沙箱、权限、验证和可观测性出发,系统介绍 Agent Harness 的原理、主流实现与 Kubernetes 生产架构
- Qwen3.8-2.4T-A95B-FP8 Day 0:32×H20-3e 双引擎部署与压测
Qwen3.8 2.4T MoE 模型在四节点 32 张 H20-3e 上的 SGLang 与 vLLM 部署、功能验证、吞吐延迟、跨节点通信和长上下文实测
- DeepSeek-V4.1-Flash Day 0:8×H20-3e 部署与双引擎压测
DeepSeek-V4.1-Flash 八卡 H20-3e 部署配置、SGLang 与 vLLM 吞吐和延迟实测、异常分析及部署建议
- CubeSandbox Agent Adapter v0.5:强审计、可信任务与五客户端实测
从执行意图持久化、失败闭锁和人工核对,理解 CubeSandbox Agent Adapter v0.5 的审计边界与部署实践
- AIBrix 路由到底在优化什么:从缓存命中到尾延迟
在两个 L20 副本上控制冷、热缓存和热点前缀,对照 random、least-request 与 prefix-cache,用路由决策、真实 KV 命中、队列和客户端延迟解释收益与代价。
- AIBrix 生产实战:Qwen3.8-27B 在 L20 上的容量、退出与过载保护
用逐请求记录和浅色 Grafana 看板复盘冷启动扩容、流式退出、租户准入与缓存路由,区分实际验证结果和待补齐的生产能力。
- Karmada 与 Virtual Kubelet:架构、调度与生产选型
从应用对象的归属出发,对比 Karmada 多集群编排与 Virtual Kubelet 虚拟节点,分析副本、容量、网络、存储、故障恢复及 GPU 场景,并给出配置示例和观测方法
- AIBrix 面向生产的实战:用 DeepSeek V4 Flash 打通压测、看板与恢复验证
在真实 H20 GPU 集群中复用 AIBrix,部署双副本 DeepSeek V4 Flash,校准 TTFT、TPOT、缓存与 GPU 指标,通过分档压测和副本恢复演练形成可核对的运行证据。
- 数百个 Kubernetes 集群的稳定性建设
从多集群运维中的配置差异、批量变更和故障恢复出发,分享稳定性建设的设计取舍与落地方法
- APF 隔离实战:零席位 Reject 为什么仍会放行
从请求分类、并发席位和公平排队讲解 APF 原理,再用 Kubernetes 1.30.4 四阶段实测、Grafana 截图和源码解释零席位拒绝与恢复
- Kubernetes 流控指南:APF、任务准入与推理服务限流
图解 API Priority and Fairness、客户端限速、事件限流、资源配额、GPU 任务队列与模型网关限流,附 v1 配置和观测示例
- KV Cache 综述:从 Attention 原理到 Kubernetes 推理架构
解释 KV Cache 的计算原理、显存容量、前缀复用、分层缓存与 P/D 传输,以及在 Kubernetes 上的路由、存储、拓扑和扩缩容实践
- MiniMax-M3 H20 部署故障与修复记录
MiniMax-M3 实测中的镜像依赖、模型启动、客户端路径故障与异常输入处理记录。
- MiniMax-M3 八卡 H20 实测:SGLang 与 vLLM
MiniMax-M3 BF16 TP8 双引擎功能、文本压测、多模态与部署验证。
- MiniMax H3 H20-3e 实测:完整音视频生成、双引擎与持久化验收
使用同一模型快照在四张 H20-3e 上验证 SGLang Diffusion 和 vLLM-Omni,记录生成、并发、媒体检查和原始产物留存
- CubeSandbox Agent Adapter v0.3 实测:从多 Agent 桥接器到可恢复执行控制面
基于 v0.3.0 正式标签与多架构镜像,验证 OpenClaw、DSH、Hermes、Codex 接入,以及持久租约、异步任务、PTY、Checkpoint、Redis HA、多租户认证和迁移风险
- Ling-3.0-flash BF16 单机 4×H20 实测:SGLang、vLLM 与 MTP 怎么选
在单台 4×141GB H20 上完成 Ling-3.0-flash BF16 的 SGLang 与 vLLM 部署、功能验收、256K 长上下文验证及 speculative decoding 单变量 A/B。
- 测试报告
为便于独立公开发布,本报告有意省略集群名称、内网地址、镜像仓库名称、跳板机细节、凭据和 无关工作负载。
- Jailer 与安全基线
Launcher Pod 适合用于准入验证,但本质上是特权宿主机管理代码。因此,安全实验还使用版本 匹配的 Firecracker jailer 二进制启动了一个原生 microVM,并在 InstanceStart 后检查 宿主机进程。
- 可观测性与资源核算
Kubernetes 容器指标无法覆盖 Kata/Firecracker 沙箱的完整成本。容量决策至少需要 对齐以下三层数据:
- Kubernetes Launcher 测试
此模式调度一个以 Firecracker 为主进程的特权 Pod,适合在隔离节点上进行硬件准入和生命周期 实验。它不是 CRI Runtime,也不是可安全对外提供的公共沙箱服务。
- Kata + Firecracker RuntimeClass 测试
本指南将普通 Kubernetes Pod 转换为由 Firecracker 承载的 Kata 沙箱。它复现已经验证的实验 链路,同时不在文档中出现节点名、镜像仓库、跳板机和集群特有的 CNI 控制信息。
- Firecracker 实验结果与操作手册
指定的实验子集,也就是实验 1、2、3、5 和 7,已在专用 Worker 上执行。除非明确说明为重复 测量,以下结果均属于冒烟测试和兼容性观察。
- 宿主机部署与原生冒烟测试
本指南先在可联网工作站上下载制品,再将其传输到隔离的 Linux 节点。文中的命令特意不依赖 任何特定跳板机、集群名称、镜像仓库或代码仓库。
- 如何选择合适的技术层
Firecracker 和 CubeSandbox 并不是位于同一层的直接替代品。Firecracker 是 VMM; CubeSandbox 是面向 Agent 的沙箱控制面,围绕 KVM microVM 提供调度、镜像、快照、 网络、策略、API 和 SDK。
- Kata + Firecracker 上的 Agent 工作负载
本实验将 OpenClaw、DSH、Hermes 和 Codex 作为普通 Kubernetes Pod 运行,并通过 runtimeClassName: kata-fc-lab 选择运行时。因此,每个 Pod 外层都有一个 Kata/Firecracker microVM 隔离边界。随后,Agent 的 CubeSandbox 集成再通过 Adapter API 申请一个独立沙箱:
- Kubernetes 1.37 对 AI/大模型有何实际价值:与 1.35 的逐项对比
从 Gang Scheduling、DRA、GPU 缩零、NUMA 与可观测性出发,分析 Kubernetes 1.37 相比 1.35 对训练和推理平台的真实收益与采用边界。
- Hy4-preview BF16 双机 H20 实测:SGLang 与 vLLM 怎么选
在两台 8×H20 上完成 Hy4-preview BF16 的 SGLang TP16 与 vLLM TP8×PP2 部署、功能验收、RDMA 验证、130K 压测及 Needle/Agent 正确性测试。
- DeepSeek-V4-Flash-Vision-Exp Day 0:4×H20 多模态部署与压测
在单节点 4×141GB H20 上用 SGLang Preview 跑通 DeepSeek-V4-Flash-Vision-Exp,记录 NVMe 预热、13 分 52 秒冷启动、OpenWebUI 图片对话和 79 轮多模态压测。
2026-08
- OpenClaw 2.0 实测:与 1.x 的架构、功能、性能和迁移风险对比
基于 OpenClaw 2026.7.1 与 2026.8.1 的隔离安装、Gateway、Control UI、Workboard、无头 Agent 和 doctor 迁移实测
- GLM-5.3 首日实测:8×H20 上的 SGLang 与 vLLM 基线压测
在单节点 8×141GB H20 上对 GLM-5.3 原生 FP8 进行 SGLang/vLLM 同机基线压测,对比输出吞吐、TTFT、TPOT 与端到端延迟。
- 用 CubeSandbox 增强 OpenClaw 与 DSH:企业安全执行面实战
用真实 OpenClaw 与 DeepSeek Harness 会话,经 Skill 和无需 Skill 的受控插件把 Agent 代码执行下沉到 CubeSandbox MicroVM,并实测策略、生命周期与脱敏审计
- CubeSandbox Kubernetes 实战:从节点预检到第一个 MicroVM 沙箱
在已有 Kubernetes 集群中部署 CubeSandbox v0.7.0,完成 KVM、XFS、Helm、节点注册、模板构建与沙箱生命周期验收
- CubeSandbox Kubernetes 部署条件与生产评估
核对 CubeSandbox 的 60ms 冷启动、KVM/PVM、XFS、eBPF、Helm、节点权限和生产上线边界
- GLM-5.3-Flash Day 1 实测:4×H20 部署、1M 上下文与 SGLang/vLLM 对照
用 4×H20 部署 GLM-5.3-Flash,并实测 SGLang 与 vLLM 的功能、吞吐、长上下文、Prefix Cache 和 OpenWebUI 接入。
- Qwen3.8-Flash-Next Day 0 实战:4×H20 跑通原生 262K
用 SGLang Day-0 官方镜像和 BF16/FP8 权重,在 4×H20 上验证 Qwen4 预览架构、精度与容量、262K 长上下文、PLE、MTP、长短混部与框架支持边界
- 8 卡节点的四卡任务,如何避免拿到跨 NUMA 的碎片 GPU
从 NVIDIA Device Plugin、Topology Manager、Volcano、Koordinator、HAMi 到 Kubernetes DRA,评价 GPU 设备拓扑感知调度的真实能力与生产落地路径
- 从 W&B Local 到 SwanLab:两年团队实验追踪实践与选型
从一套运行两年的 W&B Local 讲起,结合 SwanLab 真实 SFT 实测,解释实验追踪为什么难以生产化,以及团队应该怎样选型和验收
- RDMA 到底能让分布式训练快多少:DeepSeek V4 双机 16 卡实测
用 NCCL AllReduce/All-to-All 微基准、DeepSeek V4 Flash MoE SFT 正负对照和 SwanLab 六轮 Run,解释哪些并行方式能真正从 RDMA 获益
- Kubernetes 领域 SFT:社区案例、数据集与可执行评测
分析 KubeFix、K8s Distill、KubeBench、ITBench 等社区实践,解释 Kubernetes 文档问答、Manifest 生成和故障诊断应怎样准备数据、训练模型并完成可信评测
- 大模型 SFT 入门:把 Loss、LoRA、Batch 和并行一次讲明白
面向第一次接触大模型训练的读者,用一个完整例子解释 SFT、Token、Loss、LoRA、QLoRA、Batch、Epoch、Checkpoint、Dense、MoE、DP、TP、PP、EP、ZeRO 和效果评测
- SGLang v0.5.16 / v0.5.17 / v0.5.18 单卡 L20 实测:升级真的更快吗
使用官方镜像在同一张 L20 上实测 SGLang v0.5.16、v0.5.17 与 v0.5.18,并对照官方 Release 分析吞吐、尾延迟、启动与容量变化
- SwanLab 自托管:从 Kubernetes 部署到真实 SFT 指标
在 Kubernetes 部署 SwanLab,接入 ms-swift,区分实验追踪与基础设施监控,并用 Qwen3.5、Qwen3.6 MoE 和 DeepSeek V4 的真实 SFT 验证指标链路与过拟合拐点
- 大模型 SFT 训练实战:从单卡 LoRA 到 DeepSeek V4
用 Qwen3.5-4B 跑通 LoRA、SwanLab 与盲测闭环,再用 8 至 16 张 H20 实测 DeepSeek V4 Flash 的 Expert Parallel、跨机 GDRDMA 与过拟合拐点
- 用 SGLang-Omni 部署 MiniMax-Music3:从一句创意到完整歌曲
在 Kubernetes 单卡部署 MiniMax-Music3,并接入 OpenAI 兼容大模型自动生成歌名、结构化歌词和编曲描述
- Qwen3.8-27B Day 0:vLLM 与 SGLang 测试记录
记录 Qwen3.8-27B 官方 FP8 制品、vLLM 与 SGLang 镜像、单卡 L20 Kubernetes 实测、OpenWebUI 接入,以及后续 MTP 和长上下文 A/B
- 看似 NCCL 故障,实际是 Host Memory OOM
一次 ncclCommInitRank unhandled cuda error 的脱敏排障实录:从 GPU、PCIe、RDMA 逐步追到 cgroup OOM 与 NVIDIA 锁页失败
- 从 Docker 到 Kubernetes:DeepSeek Harness、内置 Chromium 与 DSH Plugin 实战
把 DeepSeek Harness、浏览器桌面和自研 DSH Plugin 封装到同一 OCI 镜像,记录 Kubernetes StatefulSet、PVC、NetworkPolicy、Cilium 探针与 Tailscale 远程访问边界
- DeepSeek Harness GitHub 仓库深度解析:插件架构、Agent Loop 与持久化
从源码目录、Cordis 插件树、Profile 与 Bundle、Agent 轮次、事件溯源会话和能力 seam,系统拆解 DeepSeek Harness
- DeepSeek Harness Docker、Compose 与 Helm 部署实战
为 DeepSeek Harness 构建多架构 Docker 镜像,并用 Docker Compose 与 Kubernetes StatefulSet 安全部署,解决 EROFS、持久化、原生模块和 Web 暴露问题
- GLM-5.2 FP8 在 H20 上的 vLLM、SGLang 与 P/D RDMA 实测
记录 GLM-5.2 FP8 单节点 TP=8 的 vLLM 与 SGLang 基线,以及双节点 P/D 分离下 TCP 和 RDMA 的 KV 传输与端到端性能对比
- 从 WorkBuddy 看企业 Agent 技术栈
从腾讯 WorkBuddy 的 Agent、Runtime、Session、Skill、MCP 与评测能力,拆解企业 Agent 从模型到沙箱、身份、观测和交付的完整技术栈
- 大模型权重分发与加载加速:社区与商业方案选型
从对象存储、并行文件系统、P2P、节点缓存到 GPU Loader,拆解大模型权重交付链路并给出可执行的选型与测试路线
- DeepSeek V4 Flash 的分布式 KV Cache:从 P/D 直传到全局缓存池
区分 P/D KV 直传、KV Offload、Prefix 感知路由与跨引擎共享缓存,比较 Mooncake、AIBrix、LMCache/llm-d 和 Dynamo KVBM,并给出 DeepSeek V4 Flash 的渐进验证路线
- 从半小时到五分钟:大模型冷启动全链路优化
从 DeepSeek-V4-Pro 滚动重启接近半小时的真实问题出发,按启动关键路径拆解怎样将 H20 节点缓存重启优化到五分钟量级,以及模型缓存、权重加载、JIT、CUDA Graph 与热恢复的工程取舍
- 企业内部 AI 应用如何快速发布与共享
面向商务、法务和运营等非研发用户的 AI 应用搭建、试运行、审批、发布、权限与运行时设计
- 大模型时代 GPU 开发平台踩坑记
从 JupyterHub/KubeSpawner、code-server 和组级八卡共享,走到 Ceph RBD、CephFS、Workspace Operator 与 KubeVirt 根盘的真实演进
- OpenClaw 作为企业 Agent 平台底座:优缺点与二次开发边界
分析 OpenClaw 的可复用能力、企业平台缺口、安全风险、推荐架构和采用决策
- 2026 年 AI Agent 现状、实现原理与趋势
主流编程、浏览器与企业 Agent 的产品格局、实现原理、开发框架、风险和演进趋势
- DeepSeek-V4-Flash-0731 的 H20 部署与压测
记录 DeepSeek-V4-Flash-0731 在单机八卡 H20 上的资源条件、vLLM 启动流程、性能基线、同 Pod PD 分离实测与 OpenWebUI 对接方法
- 在 Kubernetes 部署 ComfyUI:离线镜像、CephFS 模型与跨集群 Ingress
使用 NVIDIA GPU、只读 CephFS、ComfyUI extra_model_paths、Init Container 模型别名及双层 Ingress,在受限网络 Kubernetes 环境提供 MiniMax-H3 工作流页面
- AIBrix 真实 GPU 实测:从两机推理到八节点碎片 GPU
在生产 Kubernetes 集群使用 NVIDIA L20、AIBrix v0.7.0、RayClusterFleet、StormService 和 vLLM,验证两机模型并行、NIXL P/D 分离、八节点 Qwen3-235B FP8,以及 DeepSeek 70B 的四节点单卡、两节点双卡和单节点四卡拓扑
- SGLang Model Gateway CPU 实战
在没有 GPU 的 Kubernetes 1.30 集群部署 SGLang Router 和两个 OpenAI-Compatible Mock Worker,实测动态发现、轮询、摘除恢复与 Prometheus 指标
- RBG 多角色推理编排:从 CPU 控制面到生产 GPU 实测
在 Kubernetes 1.30 集群部署 RoleBasedGroup,实测角色依赖、服务发现、扩缩、自愈、Ray 两机推理和 NIXL P/D 分离,并以相同镜像与模型对比 RBG 和 AIBrix
- Higress AI Gateway:架构、安装与 AIBrix 接入实战
在既有 Kubernetes 集群隔离安装 Higress,理解 Controller、Gateway、Console、AI Proxy 与可观测插件,并设计 Higress 和 AIBrix 的同集群及跨集群链路
- 在既有 Kubernetes 集群落地 AIBrix:路由、P/D、自动扩缩容与可观测性实测
在 Kubernetes 1.30 集群安装 AIBrix v0.7.0,用 CPU mock 跑通模型路由、P/D、StormService、自动扩缩容、Prometheus 指标和 Higress 两层网关串联
- GPU 资源银行与潮汐推理平台实践蓝图
用 Kueue 或 Volcano 实现业务组 GPU 配额互借,结合 KServe、AIBrix、KEDA 与 vLLM 构建实时和定时弹性,并建立从硬件健康到单位 Token 成本的可观测闭环
- KubeVirt 单节点桌面实战:本地盘、CDI 与浏览器 noVNC
在没有 Ceph 的 Kubernetes 集群中,把 KubeVirt VM 限制到单个节点,使用本地盘保存完整系统环境,并通过受限 noVNC 网关从浏览器访问桌面
- 用 KubeVirt 与 Ceph RBD 构建持久 GPU Notebook
为每个用户提供带独立 RBD 根盘的持久 Linux 工作站,覆盖宿主机准备、KubeVirt/CDI、GPU 直通、快照、故障恢复和生产验收
- Spot GPU 与 Checkpoint 恢复实验
测量抢占通知、Checkpoint、重排队和训练恢复的真实成本收益
- Prefill/Decode 分离的性能拐点
用双池容量、KV 传输和真实负载判断 P/D 分离是否值得
- 从 Ollama 到 Kubernetes 生产推理
把本地模型验证迁移为可压测、可灰度、可观测的 vLLM/KServe 服务
- 模型显存与并发容量计算器
估算模型权重、KV Cache、运行时开销、最大并发和单位 Token 成本
- 70B 模型向百节点分发
为 TB 级模型和百节点推理池设计 Registry、对象存储、P2P 与节点缓存实验
- GPU 利用率为什么很低
从数据、CPU、通信、内核、批处理和平台指标定位 GPU 空转
- Kueue 与 Volcano 对比实验
用相同训练任务验证准入队列、Gang、公平共享、抢占与拓扑能力
- Kubernetes 还是 Slurm
从训练、推理、拓扑、队列、生态和运维边界选择 AI 调度平台
- vLLM、SGLang 与 TensorRT-LLM 同机实测
固定模型、硬件和负载,公平比较主流 LLM 推理引擎
- AI 集群事故复盘方法
用时间线、故障域、恢复证据和行动项复盘训练与推理事故
- GPU 有空闲,Pod 为什么仍然 Pending
从队列准入、调度、拓扑、设备、存储和弹性逐层定位 GPU Pending
- GPU 节点故障图鉴
用 XID、ECC、NVLink、掉卡、NCCL、RDMA 和 kubelet 证据定位 GPU 故障
- 国产 GPU/NPU 的 Kubernetes 实践
用平台契约接入昇腾及其他国产加速器,管理驱动、资源名、镜像、调度和可观测差异
- 国内外 GPU 云资源选型
按库存、拓扑、网络、存储、Spot、出流和软件栈评估云上 GPU
- 离线环境部署 AI/LLM 平台
在无公网环境同步镜像、Chart、模型、驱动、软件包和安全元数据
- Agent Sandbox 攻防实验
用文件、凭据、网络、资源耗尽和持久化测试验证 Agent 隔离边界
- 国内外主流云厂商 Kubernetes
对比阿里云 ACK、腾讯云 TKE、华为云 CCE、AWS EKS、Google GKE 和 Azure AKS 的托管边界与 AI/GPU 能力
- 开源 Kubernetes 集群管理工具与方式
从 kubectl、Web UI 和 GitOps,到 Rancher、Cluster API、Gardener、Karmada 与 OCM 的分层选型
- AI/LLM 集群组件清单
按最小闭环、训练、大数据、Ray、在线推理和高级推理场景列出 Kubernetes 集群需要的组件、引入理由与验收条件
- Ray 在大模型训练与推理中的角色
Ray Core、Data、Train、Tune、Serve、Serve LLM 与 KubeRay 在大模型数据处理、训练、后训练和在线推理中的边界
- LLM Serving 与 AI 微服务框架
对比 vLLM、KServe、AIBrix、Ray Serve、BentoML、NVIDIA NIM 与应用编排框架的层次、组合方式和选型边界
- 大数据 on Kubernetes
Spark、Flink、Kafka、Trino、Lakehouse、对象存储、Operator、队列调度,以及与大模型训练和 RAG 的结合
- 大模型时代的 GPU Notebook 平台与存储选型
从 JupyterHub、Kubeflow 和托管 Workbench,到整卡、MIG、共享 GPU、用户 Home、对象存储与本地缓存的生产选型
- Agent Sandbox 选型与架构分析
从威胁模型、生命周期控制面、gVisor、Kata、微虚机到托管沙箱的系统选型方法
- 本地运行与测试大模型
使用 Ollama、llama.cpp、LM Studio、LocalAI、MLX-LM 与 vLLM/SGLang 快速验证模型、API、RAG 和 Agent
- Kubernetes 跨集群与大规模 GPU
从 Federation 演进到 MultiKueue、Karmada、OCM、MCS 和 Liqo,并结合大规模 GPU 训练与推理设计
- GPU 工作负载与节点自动扩缩容
协调 HPA、KEDA、Kueue、Cluster Autoscaler 和 Karpenter,处理 GPU 冷启动、碎片和中断
- AI/LLM Kubernetes 术语表
GPU、大数据、调度、训练、推理、网络、Agent 沙箱、模型制品和可靠性常用术语速查
- RAG 数据面与向量检索基础设施
在 Kubernetes 上设计文档摄取、Embedding、向量数据库、Reranker、缓存、索引发布和灾备
- LLM 推理优化:Batch、KV Cache、量化与并行
用可验证的方法理解连续批处理、Prefix Cache、量化、投机解码和多种并行策略
- AI Gateway、推理路由与流量治理
区分 API Gateway、Gateway API Inference Extension 和模型请求调度,设计认证、配额、缓存感知和发布策略
- LLM 推理引擎选型
对比 vLLM、SGLang、TensorRT-LLM、Triton、llama.cpp 等引擎的能力、边界和 Kubernetes 集成方式
- 多机与分离式 LLM 推理
设计多机模型副本、LeaderWorkerSet、Prefill/Decode 分离和 KV 传输,并对比 AIBrix、llm-d、KServe、Dynamo、Ray Serve 与 vLLM Production Stack
- AI on Kubernetes 十年发展史
从 GPU Device Plugin、训练 Operator、MLOps 到 DRA、Inference Gateway 和分离式推理
- AI/LLM on Kubernetes 参考架构
从小型 GPU 平台、多租户训练、在线推理、分离式推理到 Agent 沙箱的五套参考架构
- 实验:从 GPU 节点到可观测推理服务
在已有 GPU Kubernetes 集群上完成节点检查、设备 Smoke Test、模型部署、指标验证和故障演练
- Kubernetes 如何承载 AI 工作负载
从控制器、调度、设备、网络和存储理解 AI 工作负载在 Kubernetes 中的完整运行路径
- 模型格式、制品供应链与分发
管理模型格式、OCI 制品、跨地域复制、P2P 分发、节点缓存、流式加载、签名和冷启动
- GPU 节点软件栈、初始化与验收
从固件、内核、驱动、容器运行时到 Kubernetes 设备接入构建可维护的 GPU 节点
- AI Kubernetes 集群架构设计
从故障域、节点池、控制面、网络和存储规划训练与推理集群
- NVIDIA、AMD、Intel、TPU 与 AI ASIC
Kubernetes 上多厂商 GPU、TPU、Gaudi 和云端 AI 加速器的接入方式、差异与选型边界
- Device Plugin、CDI 与 DRA
理解 Kubernetes 设备发现、容器注入和动态资源分配的职责、API 与迁移路径
- AI 平台安全与治理
身份、租户隔离、Pod 安全、镜像与模型供应链及合规审计
- 可靠性、Checkpoint 与故障恢复
AI 作业的故障模型、RPO、RTO、优雅退出、Spot 和恢复演练
- 队列、公平共享与多租户
Kueue 队列、ResourceFlavor、Cohort、优先级、抢占和租户治理
- 平台运维、升级与多集群
版本矩阵、渐进升级、CRD、备份、灾备和事故响应
- GPU、训练与推理可观测性
从用户请求和训练作业到 Pod、GPU、网络与存储的指标和追踪体系
- 边缘 AI、K3s 与云边协同
弱网自治、边缘设备接入、模型 OTA 和云边管理
- AI 数据、存储与缓存
对象存储、共享文件、本地 NVMe、数据加载和多级缓存设计
- GPU 成本、容量规划与 FinOps
AI 平台的成本归属、单位经济性、容量预测和弹性策略
- 性能基准、压测与回归
GPU、网络、存储、训练和推理的分层基准与发布门禁
- AI Agent、沙箱与工具执行
Agent 工作负载的运行时隔离、网络、身份、工具权限和审计设计
- K3s 升级与 DRA 预检报告
> 目标主机:192.168.1.200;主机日志时间以 CST(UTC+8)为准。报告记录环境检查、版本规划、多阶段备份、逐小版本升级、故障处理、最终验证,以及 Kubernetes 1.36 DRA 预检。
- RDMA 与 AI 高速网络
InfiniBand、RoCE、GPUDirect、NCCL、Kubernetes 接入和分层排障
- MLOps 与平台工程
流水线、实验、模型注册、GitOps 与内部平台 API
- LLM 推理平台
在线大模型服务的控制面、运行时、路由、伸缩和容量设计
- GPU 与异构资源调度
整卡、MIG、共享、拓扑、亲和性和资源碎片治理
- 分布式训练平台
训练控制器、Gang Scheduling、集合通信、容错和作业生命周期
- AI on Kubernetes 落地路线图
从现状评估到 30、60、90 天建设计划和长期能力演进