倒计时一天这个词放在活动预告里总能让人多一分紧张感。第八届金猿大数据产业发展论坛地点上海主题落在AI Infra和Data Agent这两个词上再加上一场颁奖典礼。作为一个常年混迹大数据圈的人看到这个组合的第一反应是今年的风向确实变了。往年论坛标题里高频出现的是数据中台、数据治理、实时数仓今年主角换成了AI基础设施和数据智能体这个信号本身就值得从业者停下来想一想。我自己的感觉是这场论坛与其说是一场行业聚会不如说是一次阶段性的技术盘点。大数据发展了十几年从Hadoop时代走到数据湖仓时代再到今天所有人都在讨论怎么把大模型和数据基础设施结合起来行业其实卡在了一个很不舒服的转型点上——旧的问题没彻底解决新的问题又压过来了。所以这篇东西不打算写成活动通稿我想以一个从业者的视角把论坛主题背后的技术脉络、行业痛点、以及对普通开发者和数据团队的实际参考价值一次性说清楚。哪怕你没机会去现场看完这篇也能知道大家在关心什么、争论什么、下一步大概往哪走。1. 论坛核心看点拆解AI Infra和Data Agent为什么是今年的大数据主旋律1.1 从数据平台到AI Infra底层逻辑发生了什么变化过去我们聊大数据基础设施脑子里蹦出来的是HDFS、Hive、Spark、Flink、ClickHouse这一串名字。传统数仓解决的是“数据能不能存、能不能算、算得快不快”的问题核心矛盾是数据量和计算效率。但AI Infra这个概念的加入把整个问题的讨论范围往前推了一大截——数据基础设施不再只是为人写的SQL查询服务而是要为模型训练、推理、微调、Agent调用这些场景提供底层支持。这个变化说透了就一句话数据变成了AI的燃料但燃料管道还没修好。很多团队现在面临的真实困境是模型选型可以做GPU也可以买但数据准备这一层反而成了最大的瓶颈。特征数据散落在不同的数仓表里实时数据链路不稳定数据质量没人敢打保票权限管控在AI场景下到底怎么设计这些问题在过去两年被大模型的热度盖住了现在开始集中暴露。AI Infra的价值恰恰在于把数据这一层重新拉回C位解决的是“模型吃饱吃好”的问题。从技术栈上看AI Infra这张菜单已经越来越清晰。存储上对象存储加JuiceFS这类分布式文件系统在慢慢替代传统HDFS的方案湖仓格式上Iceberg和Paimon已经把事务能力、Schema演进、Time Travel这些都做得相当成熟查询引擎方面Doris和StarRocks把联邦查询玩得越来越顺再加上Milvus、Qdrant这批向量数据库以及负责调度的K8s和负责编排的Airflow、DolphinScheduler一套支持AI场景的数据底座已经能拼出来了。但这里我想泼一盆冷水AI Infra不是简单地把新组件堆上去。它最考验人的是工程化能力包括如何平衡成本与性能、如何让数据血缘在全链路可追溯、如何在多租户场景下把资源隔离做好。这些往往是文档里不会教的东西只能在真实环境里一步步踩出来。1.2 Data Agent从数据工具人到主动干活的数据智能体如果说AI Infra解决的是底座问题那Data Agent解决的就是交互方式的问题。大数据领域的工具一直有个尴尬BI报表太被动数据分析师写SQL太慢数据治理靠人推根本推不动。Data Agent想做的事情是让系统本身具备理解需求、拆解任务、执行动作、反馈结果的能力本质上是在数据平台上层加了一个“智能操盘手”。关于Data Agent的落地形态我个人认为目前最靠谱的是垂直场景的窄Agent而不是一个包打天下的通用数据助手。什么叫窄 Agent比如一个“埋点数据质量巡检Agent”你只需要用自然语言告诉它“扫描最近三天的用户行为日志找出缺失字段占比超过5%的表并生成报告”Agent会自动定位相关表、执行扫描、汇总异常、推送报告。整个过程看起来很简单但背后是工具调用、任务规划、上下文记忆、结果校验这一整套机制的配合。从技术实现上说一个可用的Data Agent通常需要两个能力一是Function Calling让模型能够调用Spark SQL、API、定时调度器这些工具二是Memory机制让Agent在长时间任务链里不丢失上下文。我见过很多失败的Demo问题几乎都出在同一个地方——Agent执行完一个步骤之后忘了自己为什么要执行这一步。所以在设计Agent的思考链路时一定要把目标拆解和目标校验做扎实让每一步动作都能追溯到原始需求。这个方向值得关注但也要清醒地认识到Agent不可能替代数据工程师的位置它替代的是“重复劳动”的属性。就像当年Excel没有淘汰会计一样Data Agent淘汰的是机械取数而不是业务理解。1.3 为什么这个时间节点值得关注现在这个节点很有意思。一方面模型能力已经够用GPT-4级别和国产开源模型的差距在快速缩小很多企业开始敢把数据场景交给AI接手另一方面数据基础设施的标准化程度也比三年前好太多湖仓一体、实时计算、数据血缘这些概念终于不再是PPT而是有成熟的开源方案可以落地。两个条件同时满足AI Infra和Data Agent才有机会从Demo走向生产。所以我会把这场论坛看作一个“分水岭式”的讨论现场过去大家关注的是怎么把数据管好现在关注的是怎么让数据自己干活。这个转变不是某个单一技术的突破而是整个技术生态演进到这个阶段之后必然出现的方向。2. 大数据学习与技能矩阵重建从八股文到AI时代的实战路线2.1 不能再只啃Hadoop生态老八股了上面聊了行业变化不可避免要牵扯出另一个话题现在学大数据到底还值不值得从Hadoop生态那一套从头啃起。我的回答是核心原理必须懂但学习路线必须重构。很多年轻朋友后台私信问我大数据学习路线开口就是“HDFS、MapReduce、Hive、Spark、Flink按什么顺序学”。这个思路放在五年前没毛病但放到2025年我会建议换一种打法。原因很简单企业招聘的逻辑变了。现在数据岗位的JD上写得越来越杂——既要你会Spark SQL做离线处理又要你懂实时数仓和Flink还要你了解数据湖格式和向量检索最好再懂一点大模型Prompt和Agent交互。光会写Hive SQL已经很难撑起一份简历。理想的路线应该是先搞懂数据仓库和数据建模的核心思想然后上手一套完整的湖仓技术栈比如Iceberg加StarRocks或Doris再补实时的部分Kafka加Flink最后学AI Infra这一层向量数据库、特征存储、模型服务化。每一步都必须配合项目做纸上谈兵没有任何意义。2.2 做项目比背八股有用得多我特别想说一说热搜词里被反复提到的“网约车大数据综合项目”。这个项目系列之所以受欢迎是因为它涵盖了一条非常完整的数据链路用Hive做数据分析、用Spark做数据清洗、用Flask加ECharts做数据可视化。这其实是一个非常典型的“伪生产级”项目——它足够全面但又足够简单适合用来建立整体认知。但注意如果你只是跟着教程跑完一遍拿到一个图表写进简历里说“精通大数据处理”那面试官问两句就露馅了。正确做法是把自己当成这个项目的负责人主动去问几个“为什么”为什么用Spark而不是纯Hive完成清洗清洗的规则是怎么定的依据是什么可视化指标的选取和业务方怎么对齐这些思考深度才是项目真正的价值。做项目还有一个容易被忽视的点数据集的选择要尽量贴近真实业务。很多同学为了省事拿一个几十MB的公开数据集反复玩这跟真实场景动辄几百GB的数据量级完全不是一回事。你至少要用一个规模大到会让单机内存吃紧的数据集才有机会理解为什么需要分布式计算才能明白分区、分桶、谓词下推这些优化手段的用处。2.3 AI技能正在变成大数据岗位的隐形门槛如果你观察最近半年的招聘趋势会发现一个微妙的变化数据分析师和数据工程师的岗位描述里开始频繁出现Prompt Engineering、Agent、知识库、RAG这类关键词。这并不代表企业指望数据工程师去调模型而是意味着数据团队需要具备和大模型打交道的能力。我认识一位在电商公司做数据架构的朋友他们团队最近的KPI里增加了两项一个是通过大模型辅助生成数据质量报告把常规巡检的时间从每天两小时压到二十分钟另一个是搭建了一个知识库问答机器人专门用来回答业务方“这个指标为什么跌了”这类问题。这两件事都不是纯粹的数据工程但都离不开数据底座的支撑。这就是AI时代数据从业者的新常态——你不一定要会训练模型但你必须知道怎么把数据和模型结合起来解决问题。3. 大数据行、列权限设计开源方案从论坛主题延伸出的硬核落地场景3.1 为什么权限治理成了躲不开的话题热搜词里出现了“大数据行、列权限设计开源”这个话题放到论坛背景下格外应景。做数据的人应该都有体会数据越做越多权限就越来越乱。早期小团队可能一个Grafana账号打天下但到了几十人上百人的规模行级权限和列级权限就成了刚需。举个例子某零售企业有全国各大区的销售数据。区域经理可以看自己区域的明细数据但不能看其他区域的总部管理层可以看全国汇总但不能看员工个人薪资列。这个需求听起来简单真正落地却异常痛苦。因为数据分散在几十张表里权限规则又经常变动还要考虑跨表Join时权限的传播——A表有权限、B表没权限的用户通过Join查询能不能绕过限制这一层不守住前面所有权限都形同虚设。我在实际项目中踩过的坑是只在应用层做权限过滤而没有下沉到底层引擎。应用层可以轻松被绕过而且一旦指标口径更新过滤逻辑就得跟着改一遍。正解是在Hive、Spark、Doris这些引擎里做统一的权限模型比如通过Ranger或内部实现把行级过滤条件自动注入到SQL执行计划中列级权限通过Schema裁剪实现。3.2 开源方案怎么选关于权限方案目前大致有三条路线。第一条是直接用Apache Ranger它对Hive、HDFS、Kafka的支持比较成熟行级过滤通过Ranger Hive Plugin实现但缺点是配置繁琐、性能损耗大在Doris或StarRocks上支持还不完整。第二条是用各引擎原生的权限功能比如StarRocks的企业版有行列级权限Doris有较完善的RBAC但多引擎环境下需要分别维护权限策略难统一。第三条是自己基于拦截器再加一层在SQL解析阶段注入权限条件灵活且统一但开发和维护成本高。我个人的建议是如果公司技术栈偏传统、引擎固定选Ranger如果数据平台已经引入湖仓组件、多引擎并存趁早考虑统一权限网关的方案。权限这件事拖不得越往后返工成本越高。你可以考虑从数据治理最弱的那张表开始试点把一个域彻底打通再逐步扩展到全平台。3.3 权限设计的五个必须回答的问题在做权限方案设计时我通常会逼团队先回答五个问题。第一权限的原子粒度是什么——是库、表、行、列还是单元格级别第二权限规则的存储和下发机制是什么——是集中式还是分布式策略变更多久能生效第三跨引擎Join时权限如何传播和收敛第四同一条数据在不同视角下比如销售数据既是业务数据又是经营数据的权限模型如何不冲突第五审计日志如何保留万一出现权限跳过我们能及时发现吗这五个问题你可以在纸上提前画一遍。很多权限项目做到一半推翻重来不是因为技术不行而是因为需求边界根本没想清楚。4. 从论坛看大数据集群部署策略稳定性、成本与AI负载的博弈4.1 集群部署策略为什么值得重新讨论金猿论坛把大数据集群部署策略作为热点词之一我一点都不意外。过去几年大数据集群的部署思路经历了从“物理机裸部署”到“容器化编排”再到“存算分离”的演进而AI负载的出现让这个讨论变得更加复杂。以前一个集群可能百分之八九十的负载跑的是离线任务实时任务占到剩下的比例大家按部就班地规划计算资源和存储资源就够了。现在不一样了训练任务可能要一次性占满几十张卡推理服务对延迟极度敏感特征数据需要高频更新这些负载形态完全不同。最稳妥的部署策略我认为是分层而不是一体化底层统一存储上层按负载类型拆分计算集群。底层的对象存储或者分布式文件系统负责承载全量数据离线的Spark集群、实时的Flink集群、AI训练集群分别部署通过统一元数据服务共享数据。好处是每一层的扩缩容都能独立进行坏处是对网络和存储的吞吐要求更高。4.2 成本和性能的取舍集群部署永远绕不开成本问题。GPU很贵CPU也不便宜存储更是在指数级增长。我见过的做法里性价比最高的是“冷热分层加弹性伸缩”。热数据放高性能存储配大内存计算温数据放普通HDD冷数据归档到对象存储低频层。计算节点根据队列负载自动伸缩高峰期前提前扩容低谷期缩容释放。这套玩法前期需要写不少调度脚本、做不少压测但上线之后能省下的钱是实打实的。另一件容易被忽视的事是Quota管理。很多集群跑着跑着就卡死不是机器不够而是某个业务方一口气提交了几万个任务把队列占满了。合理的做法是给每个业务线设置资源配额并区分优先级核心实时链路最高优先级离线报表次之临时探查任务优先级最低、可以被抢占。没有这套机制你再加多少机器都是杯水车薪。5. 颁奖典礼与行业案例的价值看展板不如看懂背后的方法论5.1 奖项之外真正值得研究的是案例的拆解逻辑论坛的颁奖环节最容易被人忽略的是案例本身的价值。很多人在展区看一圈拍拍照收集一下纪念品就走了但其实每一个获奖案例背后都对应着某类企业踩过坑、填过洞之后沉淀下来的方法论。这些东西比台上那几分钟演讲值钱得多。我看案例的习惯是关注三个维度这个案例解决的是哪一类通用问题用了什么技术组合以及踩了哪些没写在PPT上的坑。举个例子有电商公司用实时数仓做“大促实时大屏”表面上是把Flink、Kafka、StarRocks串起来实际上最难的是大促峰值时段的流量预估和资源预留还有数据延迟的容忍度设计——究竟哪些指标允许一分钟延迟哪些指标必须秒级可见这是业务和技术博弈出来的结果不是纯技术能解决的。5.2 从案例反推业务场景才是最快的成长路径我还想多说一句如果你所在的公司规模不大没那么多复杂的业务场景不要急着羡慕大厂的案例。你需要做的是把别人案例里的问题抽象出来映射到自己的场景里。别人做的用户行为分析你完全可以迁移到自己的订单数据分析上别人做的实时风控你也可以简化成实时库存预警。技术是活的场景是迁移的这才是看案例的正确姿势。6. 参会实用指南线下论坛这样听才有收获6.1 提前做功课带着问题去听去这种档次的行业论坛最忌讳的是一头扎进会场被动听讲。我的经验是活动开始前一天花半小时把议程里感兴趣的议题列出来每个议题提前写一个问题。比如看到“Data Agent在企业落地的挑战”这种议题先问自己我对Agent的规划能力怎么评估如果Agent调用错了工具是否有回滚机制带着问题去听你会发现自己能听出来的信息密度完全不同。我通常还会专门盯演讲者的职务背景。架构师分享的更多是技术选型和落地坑点技术VP分享的更多是战略思考和资源组织方式。这对我来说就是两种完全不同的信息。6.2 会议现场如何高效记录记录这件事我非常推荐“三栏笔记法”。左边一栏记录演讲的核心论点和数据支撑中间一栏记录和你预先问题相关的答案右边一栏随时写下你脑海中冒出来的新问题或者可以结合自己业务的点子。会后不需要整理全部内容只需要把右边那一栏的碎片想法梳理成行动清单这场论坛对你来说就算值回票价了。6.3 颁奖典礼环节的额外价值金猿论坛的颁奖典礼不只是荣誉表彰它更大的价值在于提供了一个可以短时间内浏览大量同行案例的场景。你可以在颁奖间隙快速看一遍获奖名单和案例简介找出和你同行业的团队会后想办法在会场找到对方聊二十分钟。这种一对一的深度交流往往比听十场演讲收获更大。7. 写在最后的个人观察我接触大数据这些年最大的感受是这个行业从来不缺炫酷的概念缺的是把概念拆成可执行步骤的人。AI Infra和Data Agent听起来很高大上但落到实际它可能就是你把一条数据管线的权限模型打通了可能是你写了一个让分析师的取数效率翻倍的内部工具也可能只是你用一个向量库把客服知识库的检索准确率提了几个点。别被“AI替代”这种话吓到。工具越强会用工具的人价码越高。我身边真正拿到好机会的几乎都是那种既懂业务、又懂数据、还能跟模型做朋友的人。这场论坛值得关注不是因为它的标题里有AI两个字而是因为它背后反映出的行业需求——数据行业正在从一个“做报表”的行业变成一个“做智能”的行业。这句话值得每个还在观望的人仔细咂摸一下。
