腾讯云于7月30日正式发布了智能数据湖计算平台AI DLC,这一创新产品旨在为自动驾驶、具身智能和Agent等前沿AI场景提供从数据处理到应用部署的一体化解决方案。长期以来,企业在开发AI应用时面临一个显著痛点:数据清洗和加工通常依赖Spark框架,而模型训练和推理则需切换到Ray等工具,不同环节运行在独立平台上,导致数据需要反复搬运,权限、元数据和算力资源也需分别管理。AI DLC通过将Spark与Ray整合在同一平台,彻底打破了这一壁垒。Spark负责大规模数据处理和特征准备,Ray则承接多模态数据处理、模型训练、在线推理及Agent任务,两套框架共享数据、算力和权限体系,数据处理完成后即可直接进入训练和推理环节,无需跨平台搬运。这一设计大幅简化了AI开发流程,提升了整体效率。
AI DLC的核心优势在于其Serverless架构和异构资源统一调度能力。平台采用按任务秒级弹性伸缩的算力模式,企业无需预留和运维固定集群,仅按使用时长计费,显著降低了运维成本。在算力层面,AI DLC将CPU、GPU、TPU等异构资源纳入统一资源池,根据数据处理、训练和推理任务的实时需求动态调度,任务结束后资源自动释放并分配给其他作业,从而减少固定集群的长期闲置。据腾讯云介绍,平台整体资源利用率可提升数倍,并已适配国产主流GPU芯片,帮助企业在自主可控的算力底座上运行AI负载。此外,AI DLC搭载了腾讯云自研的向量化计算引擎Meson和多模态计算引擎Xpark。Meson兼容Spark API、SQL语法及生态组件,在标准测试中查询性能提升3.6倍,部分复杂查询最高加速5倍,CPU使用率下降近一半;Xpark则面向文档、图片和音视频等多模态数据,提供50多种多模态和大模型算子,相比开源方案推理吞吐提升3倍,GPU利用率可长期接近100%。这些技术突破使AI DLC成为业内首个在同一平台提供生产级Spark与Ray全托管服务的计算平台。
AI DLC的发布对AI应用开发具有深远影响。它不仅解决了数据反复搬运和资源分别管理的痛点,还面向Agent场景进行了专门升级。Agent运行产生的轨迹、记忆和反馈可沉淀至数据湖,经过处理和后训练后持续反哺Agent;平台同时通过MCP、Skills和Open API开放能力,让WorkBuddy、CodeBuddy等Agent直接调用数据处理、训练和分析能力。以腾讯自研的WorkBuddy为例,接入AI DLC后,处理同一批数据的端到端时间缩短了80%,完成相同任务所需算力降至约五分之一。WorkBuddy运行过程中持续产生对话、文档和用户反馈等数据,部分单字段达到GB级,数据量月增速超过100%,而AI DLC使这些数据可直接完成清洗、特征提取、模型后训练和评估回流,形成可复用的数据与训练流水线。在自动驾驶场景中,AI DLC同样展现出巨大潜力,能够高效处理海量传感器数据,加速模型迭代。这一平台的出现,标志着AI开发从碎片化走向一体化,为企业构建高效、可扩展的AI应用提供了坚实底座,有望推动自动驾驶、具身智能和Agent等领域的快速发展。
