自主可控的 AI
基础设施

01 — 开发 / 09

几秒钟内启动配备 GPU 的 Jupyter 或 VS Code 环境，闲置时自动关停。

一键创建 Jupyter、Marimo、Streamlit、Gradio 或 VS Code 环境，按需分配 GPU。每个环境通过独立认证代理控制访问，可授权指定同事使用，默认在闲置时自动关停。

核心能力

• 统一提供 Notebook、IDE 与应用环境 预置 Jupyter、Marimo、Streamlit、Gradio 和 VS Code Server。
• 独立环境与访问控制 每个环境使用独立的 StatefulSet 和 oauth2-proxy 边车容器，仅所有者和获授权的同事可访问 IDE，即使他人获得 URL 也无法访问。
• 闲置自动关停，释放 GPU 活动探针检测 Jupyter 内核的实际活动。

02 — 训练 / 09

通过模板或项目配置提交训练作业，由 Kubernetes 统一运行。

支持两种作业配置方式：根据模板自动生成表单，或通过项目中的 trainx.yaml 声明运行要求、使用平台提供的镜像。提交前实时校验配额，运行时提供日志、进度、MLflow 记录和断点恢复，训练产物可继续用于评测或部署。

核心能力

• 两种配置方式：预置应用与运行镜像 预置应用包含下载模型、合并适配器或运行 lm-eval 等程序，通过 TrainXJobTemplate 定义参数类型并生成 Web 表单。
• 实时查看日志、进度与产物 实时展示流式日志，并从 TRAINX_PROGRESS: i/N 或作业指标文件中解析进度。
• 失败后从检查点恢复 声明检查点规范的模板支持自动恢复，可配置重启次数上限。

03 — 注册 / 09

自有环境中的 Hugging Face Hub，设置一个环境变量即可连接现有客户端。

自托管的模型与数据集仓库，兼容 Hugging Face 协议，支持 transformers、datasets、huggingface-cli、git-lfs 和 Xet。Web 界面提供模型卡、数据集分页浏览和文件历史，并内置 OIDC 认证、审计、配额及公共 Hub 缓存。

核心能力

• 兼容 Hugging Face Hub 协议 transformers、datasets、diffusers、huggingface-cli 设置 HF_ENDPOINT 后即可连接。
• 基于 git 管理模型版本 git clone、git lfs pull、git lfs push 原生可用；超过 5 GiB 的对象通过 Hugging Face 分片传输上传。
• 完整的仓库浏览界面 Web 界面支持搜索及按 tag、pipeline、library 筛选，提供带代码高亮和 GitHub 风格提示块的模型卡、文件查看器、提交历史、讨论与点赞。

04 — 推理 / 09

在您自己的 GPU 上提供兼容 OpenAI 与 Anthropic 的推理服务——每个 token 都可计量。

提供自托管模型服务，兼容 OpenAI 与 Anthropic API，支持嵌入、重排、语音和视觉推理。通过 KServe 管理部署，配备负载路由、熔断保护和前缀缓存感知路由，并按用户、密钥和模型统计成本。

核心能力

• 兼容主流 API，支持多模态推理 提供 /v1/chat/completions、/v1/embeddings、/v1/rerank、/v1/audio/speech、/v1/audio/transcriptions、/anthropic/v1/messages 和 KServe v2 /v2/models/:model/infer 等接口，并支持流式 SSE 输出。
• 支持多厂商 GPU 与 KServe 自动识别 NVIDIA、AMD、Intel、华为昇腾与寒武纪设备。
• 按模型统计成本、延迟与错误率 通过 OTEL 采集请求指标，按模型、用户和 API 密钥统计 P50/P95/P99 延迟、错误率和 token 成本，并支持预算、限流及余额归零时自动停用。

05 — 知识 / 09

让智能体依据自有文档作答，支持扫描版 PDF，并标注来源页码。

为 TAIP 智能体提供文档检索能力。导入普通文档或扫描版 PDF 后，通过混合检索和重排返回带页码的引用内容。各知识库相互隔离，由 OIDC 单点登录和访问权限统一管理；嵌入与重排使用自有 InferX 服务，向量存入可插拔的向量数据库。智能体通过 mcp__kb__search 检索文档，获取作答依据。

核心能力

• 导入文档，识别扫描内容 支持 PDF、Word、HTML、Markdown 和纯文本。
• 混合检索与结果重排 稀疏关键词向量与稠密嵌入以命名向量存储，检索结果经排名融合后，再由交叉编码器对排名靠前的结果重排，同时利用关键词和语义信息。
• 页级引用 每个文档分块保留来源与页码，导入、检索和重排后仍可追溯。

06 — 智能体 / 09

在 Kubernetes 上定义和运行智能体，支持版本管理、沙箱隔离和全程追踪。

通过 Agent 定义智能体，再以 Session 运行自主任务或交互式对话。平台提供独立会话沙箱、默认拒绝出站的网络策略、内置 / MCP / 自定义工具、跨会话记忆、定时任务和常驻服务。实时追踪记录执行过程与 token 用量，OIDC 单点登录和会话权限控制保障访问隔离，各项资源由 agent.tensorstack.dev 下的 CRD 管理。

核心能力

• Agent 定义支持版本管理 在 Agent 中声明模型、系统提示词、工具、记忆和沙箱，同一定义可重复运行。
• 支持自主任务与交互式对话 一个 AgentSession 表示一次运行，可用于一次性任务或多轮对话。
• 支持多种工具接入 bash、file、code 和 web 在沙箱内运行，MCP 服务通过 Streamable-HTTP 客户端接入。

07 — 治理 / 09

登录即可获得独立的 Kubernetes 工作空间，无需 kubectl 或人工开通。

首次通过单点登录（SSO）访问时，系统自动创建隔离的命名空间，配置配额、网络策略、存储和 Web 终端，并持续同步配置。ConsoleX 还统一提供平台令牌、SSH 网关和由集群分发的 taip 命令行工具。

核心能力

• 按用户自动开通工作空间 首次通过 OIDC 登录时，ConsoleX 自动创建命名空间、应用配额模板，并授予用户管理权限，无需人工开通或手动配置 RBAC。
• 在浏览器中管理工作负载 支持查看、创建、扩缩容、重启和调试 Pod、Deployment、StatefulSet、Job 与 CronJob，可实时查看日志、使用 Web 终端，并通过拖放上传或下载 PVC 中的文件。
• 配额自动同步与恢复 配额模板实时下发到关联工作空间。

08 — 运维 / 09

在一个控制台中管理 AI 集群，日常运维无需依赖 kubectl。

面向 AI Kubernetes 集群的管理控制台，以单个二进制文件交付。统一管理多厂商 GPU、Kueue、KServe、Ceph 与 Longhorn 存储，并提供应用健康监控、告警、闲置资源检测、身份管理、审计和全屏应急监控视图。自动识别已安装组件，按可用能力展示功能。

核心能力

• GPU 与 AI 工作负载管理 支持浏览扩展资源和 DRA 设备，通过 NVIDIA DCGM 与昇腾 NPU 指标查看单卡利用率、显存、温度及功耗。
• 统一查看存储用量与容量趋势 通过 StorageBackend CRD 声明 Ceph 与 Longhorn 的集群标识、控制台链接和采集任务，关联 PV 与存储后端。
• 监控平台应用健康状态 统一展示 TAIP 各应用的健康状态，将告警关联到对应 Pod，并支持直接重启、扩缩容或回滚。

09 — 部署 / 09

从裸机搭建 AI 平台，支持完全物理隔离部署。

面向联网与物理隔离环境的平台安装工具，统一部署 Kubernetes、eBPF 网络、多副本存储、负载均衡、身份认证、镜像仓库、GPU Operator 和多机训练组件。在构建机上准备发布包后，可重复执行同一套部署流程。

核心能力

• 预先准备离线部署资源 发布包预先包含 Chart，并将镜像打包为 OCI Layout，锁定各组件版本。
• 预集成平台基础组件 集成 Kubernetes、Cilium（eBPF CNI）、Longhorn（多副本块存储）、MetalLB（裸机 L2 负载均衡）、cert-manager、Envoy Gateway、自托管 OIDC 和 KServe（默认开启，可关闭）。
• 支持重复执行与分层重试 各安装角色均可重复执行，Ctrl-C 中断后可重新运行，也可使用 --tags k8s,longhorn 仅重跑指定层。