腾讯云大数据计算智能：从结构化 SQL 到多模态 AI Workload 的融合范式

背景数据平台计算侧的四大变化当数据平台从人类分析师的工具扩展为Agent 的算力底座计算层面对的变化远比交互层更深刻。具体而言未来我们将面临4方面的变化企业数据资产正在从结构化表扩展为多模态数据。未来合同、研报、客服录音、视频素材、商品图片、工单日志、Embedding、模型特征和 Agent 记忆都会成为可被模型理解、可被 Agent 调用、可被业务流程自动消费的新型数据资产。多模态数据不再只是“附件”或“归档材料”而会成为企业智能化的核心燃料。AI Agent 会从问答入口变成数据平台的新用户。人类用户通常低频地写 SQL、看报表、等待结果而 AI Agent 则会 7x24 小时高频并发地生成查询、触发检索、调用推理、提交训练任务并把结果写回业务系统。它改变的不只是交互方式而是数据平台的负载模型一次业务目标会被拆成一条持续运行的数据任务链。DataAI 工作负载会从单点模型调用走向复合计算链路。真实业务并不是查一张表、或者调一次模型这么简单而是多源读取、文档解析、视频抽帧、Embedding、向量与全文混合检索、Rerank、大模型推理、SQL 校验、传统机器学习预测、报告生成和知识库写回的连续过程。平台竞争力会从 Computing Efficiency 转向 Agent Efficiency。传统平台关注查询延迟、吞吐、CPU 利用率和作业稳定性Agent 时代还要关注 Agent 完成任务的平均成本、调用链路成功率、RAG 召回准确率、推理延迟、GPU 利用率、数据来源可追溯性和自动复盘能力。计算智能面向Agent-Ready的新一代融合计算体系我们可以预见传统数据平台的升级方向不是简单增加一个向量库或一个 MCP 接口而是把 SQL 分析、多模态计算、模型训练/推理、RAG 检索等 DataAI 工作复杂统一到一套可治理、可观测、高性能的计算体系中。在过去AI-Ready 解决的是 AI Agent能不能访问到数据Agent-Ready 解决的是Agent 能不能持续、可信、低成本地调用数据和计算完成业务目标。计算智能是 Agent-Ready 数据平台的执行层也是数据智能真正落地的基础。具体而言计算智能是面向 DataAI 与 AI Agent 工作负载的新一代融合计算体系。计算智能可以统一支撑结构化 SQL、多模态处理、传统ML训推、RAG 和 Agent 调用并在 CPU/GPU 等异构资源之间进行智能调度满足人类用户和 AI Agent 的多元化计算需求。腾讯云大数据计算智能的产品化落地在从 AI-Ready 走向 Agent-Ready 的过程中腾讯云大数据一直致力于围绕计算智能持续完善底层计算平台的能力布局首先通过SQL高性能计算引擎 Meson 强化结构化计算性能让传统 SQL 与 Spark 任务具备更高吞吐、更低成本和更强增量处理能力另一方面通过多模态计算引擎 Xpark、TCRay 和 ES 一站式 RAG 服务将多模态处理、模型推理、CPU/GPU 调度和企业知识检索纳入统一计算体系。由此数据平台不再只是服务人类用户的数据分析工具而是逐步演进为可被 AI Agent 高频调用、自动编排、持续执行的智能计算底座。在结构化计算侧Meson让结构化计算适配 Agent 高频分析Agent-Ready 时代SQL 不会退场反而会被更高频、更自动化地调用。腾讯云面向结构化数据计算范式的高性能计算引擎 Meson 的价值是让结构化计算具备 AI 时代所需的性能、增量化和异构加速能力。腾讯云自研SQL高性能计算引擎 Meson 基于向量化执行、Pipeline 模型、Columnar Shuffle、Remote Shuffle 和 SSD Cache 等能力对 Spark SQL 深度优化。2026年高性能计算引擎 Meson 全新发布三项能力 Spark Rapids、增量计算和 Spark 4.0 的全面支持。这些能力正式对应了 Agent-Ready 的未来关键需求Spark Rapids 让 Shuffle、Join 等重计算算子可进入 GPU 加速阶段通过分时调度 DataAI 平台 GPU 算力资源的方式让传统 SQL 分析性能更上一层楼。增量计算避免 Agent 高频分析时每次全量重算。目前Meson 在 1TB TPC-DS 存算分离场景整体性能提升 3.6 倍计算密集型最高 5 倍CPU 使用率从 80% 降至 40%已服务 100 客户。在多模态计算侧Xpark 高性能、开箱即用的多模态计算引擎多模态处理过去常常依赖 PySpark、OpenCV、Librosa、Python 脚本、模型服务和向量库的拼接链路割裂、GPU 利用率低、任务调优困难。针对这一系列痛点腾讯云大数据推出了自研基于 Python 生态的分布式多模态计算引擎 Xpark底层基于 Ray Data 扩展 Xpark DataSet并内置50文本去重、文本归纳、视频拆分、图像数据增强等多模态算子和常见处理 Pipeline。基于 Xpark开发者不必在 Spark、Ray Data、Python 函数、模型推理服务之间反复切换而可以用统一 Dataset/DataFrame 语义完成文本、图片、音频、视频等数据的联合处理。在性能和可靠性上Xpark 也不只是封装 AI 能力。它基于 Ray Data 实现原生分布式多模态处理文本 MinHash Dedup 算子性能可达Data-Juicer 的 8 倍分布式 Exact Substring Dedup较开源版快 50 倍Embedding 支持 GPU 与 CPU 混合推理CLIP 推理异步化带来约1.5 倍性能提升。对于长链路、多阶段、多模型的数据处理任务Xpark 还通过算子级重试、任务重分配、跳过策略、血缘重建和任务级 Checkpoint降低单点故障和数据异常导致的全量重跑风险。对企业来说Xpark 的价值是把非结构化数据处理从“算法团队的脚本工程”变成数据平台里的标准化、分布式、可治理计算任务。它可用于 PB 级网页、文档、代码等 LLM 预训练语料的清洗、去重、质量过滤、隐私脱敏和 Tokenization也可用于多模态模型训练前的视频切分、音频抽取、图像质量过滤、图文相似度筛选、视频 caption 生成和安全性检测还能支撑舆情分析、翻译、摘要、多模态检索等 AI 生成应用。在 SQL 与 AI 融合侧AI Function 让 SQL 成为 AI 应用的“任意门”腾讯云 Xpark 重点发布了TCHouse-X AI Function 的使用形态。作为腾讯云全自研云数据仓库TCHouse-X 将联动 Xpark 提供 AI Function 能力。TCHouse-X AI Function 通过SQL 语义可快速调用 Xpark 强大的分布式多模态数据计算和LLM/传统机器学习训练与推理能力如用户可以在 SQL 中使用 AI kmeans 做客户聚类用 AI frequency 计算购买频次也可以通过 CREATE MODEL 创建 KMeans 模型再在 SELECT 中调用 predict 返回聚类 ID、购买频次、退货比率等结果。TCHouse-X AI Function 解决的是 AI 能力普及的门槛问题。过去业务分析师要做聚类、预测或大模型分析往往要导出数据、写 Python、调用模型服务、管理依赖环境再把结果写回数仓整体链路冗长复杂。通过 TCHouse-X AI Function 可快速通过一条 SQL 完成上述任务开箱即用、方便强大且符合数据分析师的使用习惯。在资源调度侧TCRay 下一代 AI 工作负载 Infra当 DataAI 进入生产真正的瓶颈不只是模型而是 CPU/GPU 资源如何在批处理、训练、推理、RAG 和 Agent 服务之间动态调度。TCRay 在开源 Ray 基础上面向腾讯云大数据 AI Infra 深度优化 CPU 与 GPU 统一调度能力。同时TCRay 对开源 Ray Core、Ray Data、Ray Train、Ray Serve 进行了深度优化其中重点继续增强 Ray 作业调度、任务恢复、资源弹性、运行时隔离和大规模作业稳定性降低长任务、批量推理和训练任务在运行过程中的失败率和排障成本。生态融合方面TCRay 重点打通 Ray Data、Ray Train、Ray Serve 的使用链路完善训练任务管理、模型注册、在线推理、离在线资源共用和国产硬件适配。在业务侧围绕智能推荐、RAG、文档智能、批量推理、大模型微调等场景沉淀可复用模板 从而让 TCRay 具备面向 DataAI 场景的开箱即用的便利性和能力增强。在检索推理侧ES 一站式 RAG 新发布 RAG 效果测评对 Agent 来说RAG 是企业记忆系统对企业来说RAG 是让私域知识进入 AI 工作流的关键路径。生产级 RAG 不只是向量库还包括文档解析、Chunking、Embedding、全文检索、向量检索、混合检索、Rerank、权限过滤、推理服务、效果评测和反馈优化。在本次发布会上ES 一站式 RAG 服务 重磅发布了 RAG 效果测评。RAG 效果测评是 ES 一站式 RAG 服务从“能检索”走向“可验证、可优化”的关键能力。传统 RAG 应用上线后常见问题并不是模型不能回答而是召回内容是否准确、上下文是否完整、答案是否忠实于原文、不同检索策略之间效果如何对比往往缺少统一评估标准。通过内置 RAG 效果测评平台可以围绕召回命中率、答案相关性、事实一致性、引用可追溯性等维度对知识库、Embedding 模型、Chunk 切分策略、混合检索和 Rerank 效果进行持续评估帮助客户快速定位“检索不准”“答案幻觉”“上下文缺失”等问题。对企业级 Agent 来说这意味着 RAG 不再只是一个知识问答组件而是具备可观测、可调优、可闭环演进能力的企业知识底座。ES 作为计算智能层的检索出口与 TCRay 协同完成 RAG 推理与 TCLake 打通存储底座。计算智能不是封闭引擎而是公共算力池。上述引擎通过 SQL、Python、MCP、Skill、CLI 多种接口对外开放可被 DataBuddy、WorkBuddy、CodeBuddy 以及第三方 Agent 平台直接调用。无论用户是人类分析师还是 AI Agent都能以同一套接口获取计算能力。未来展望在未来数据平台的主要用户会从“人”扩展为“人 Agent”越来越多的查询、分析、调度、训练和报告任务不再由人手工发起而由 Agent 自动发起。这要求平台接口机器友好、权限可控、结果可解释、调用可审计、执行可恢复。同时计算对象会从结构化数据表扩展为多模态上下文数据。文本语义、图片内容、视频片段、音频情绪、向量相似度、图关系、模型特征和 Agent 记忆都会进入计算链路。数据平台必须具备跨模态计算能力。而计算范式会从单引擎优化转向复合链路优化。一次业务任务可能同时调用 SQL 引擎、多模态计算引擎、向量检索、全文检索、模型推理服务、训练框架和 Agent 编排系统。平台竞争力不再只是某个引擎跑分而是整条链路的效率。DataAI 的深水区不在于企业是否接入了大模型而在于企业是否拥有一套能让多模态数据被 Agent 持续理解、计算、调用和治理的数据底座。腾讯云大数据计算智能解决方案未来将继续致力于把结构化计算、多模态计算、模型推理、RAG 检索和 Agent 编排统一到一套可治理、可观测、可持续演进的平台中让用户可快速搭建 DataAI 时代企业级AI Native计算底座。