视频主题:谷歌、思科和 a16z 探讨构建 AI 时代的现实世界基础设施。 主要参与者: Amin Vahdat:谷歌副总裁兼系统基础设施总经理。 Jeetu Patel:思科执行副总裁兼首席产品官。 Martin Casado:a16z 合伙人(主持人)。 核心观点与内容总结: AI 基础设施建设的规模与速度前所未有 规模对比:当前的 AI 基础设施建设规模被形容为“互联网建设 + 太空竞赛 + 曼哈顿计划”的综合体。其规模和速度是 90 年代末互联网繁荣时期的 10 倍甚至 100 倍。 基础设施变得“性感”:长期被忽视的基础设施领域再次成为焦点,兼具地缘政治、经济、国家安全和技术速度的多重意义。 供需缺口:尽管投入巨大,但 Amin 和 Jeetu 都认为目前仍处于资本支出周期的早期。需求极其旺盛(如谷歌 7-8 年前的 TPU 仍有 100% 的利用率),但受限于电力、土地、许可和供应链等因素,供应在未来 3-5 年内很难完全满足需求。 基础设施的技术演进与挑战 计算架构的变革:虽然并未完全回归大型机时代,但正在经历“专业化的黄金时代”。为了追求更高的能效(每瓦性能),硬件架构正从通用的 CPU 转向 GPU、TPU 以及针对特定负载(如推理、服务、代理工作负载)更定制化的芯片。 网络的关键作用:网络正成为主要瓶颈。未来的 AI 工作负载具有极端的突发性(极短时间内需 100% 网络利用率,随后闲置),这需要全新的网络架构。同时,随着数据中心分布越来越广(追逐电力资源),需要“横向扩展(Scale-across)”的网络技术,将相距数百公里的数据中心连接成一个逻辑集群。 软硬协同设计:未来的计算堆栈将发生翻天覆地的变化,软件和硬件必须紧密协同设计(Co-design),类似于谷歌早期为分布式系统设计的 GFS、MapReduce 等。 推理成本的下降与质量需求的提升 成本大幅降低:通过硬件优化和软件改进,推理成本实际上已经实现了 10 倍甚至 100 倍的降低。 质量需求抵消成本红利:然而,用户对模型质量的要求不断提高(这就好比原来的模型很便宜,但大家想要更聪明、更强大的新模型),导致实际使用的成本并没有显著下降。市场在追求更高的“每美元智能(Intelligence per Dollar)”。 AI 在企业内部的实际应用与成效 代码迁移与现代化:谷歌利用 AI 将庞大的代码库从 x86 架构迁移到 ARM 架构,并将数万个应用从旧系统(Bigtable)迁移到新系统(Spanner),这种大规模的代码重构和现代化在以前被认为是“不可能完成的任务”(预估需要数千年人时)。 开发效率提升:在前端开发、调试(Debugging)和从 0 到 1 的新项目中,AI 辅助编程带来了显著的效率提升。但在处理底层基础设施代码或旧代码时,挑战依然存在。 其他场景:销售准备、合同审查和产品营销(如竞品分析)也是目前见效较快的应用场景。 文化重置:最大的挑战在于让工程师适应 AI 工具的快速迭代。即使今天工具不好用,也要在几周后重试,因为它们进化极快。 对创业者的建议与未来展望 拒绝“薄壳”应用:Jeetu 建议初创公司不要只做大模型的简单“薄壳(Thin Wrapper)”,这种商业模式很脆弱。真正的护城河在于将模型与产品深度结合,利用产品反馈不断优化模型。 多模态的爆发:Amin 预测未来 12 个月,图像和视频的输入/输出能力将像两三年前的文本模型一样迎来爆发,不仅用于娱乐,更将转化为生产力和教育工具。 代理(Agents)的崛起:基于更强模型构建的智能代理(Agents)及其框架将在未来一年变得“可怕地好(Scary good)”,能够长时间自主完成复杂任务。 总结: 这是一场关于 AI 基础设施“硬核”现实的讨论。虽然外界担心泡沫,但身处核心的建设者们认为建设才刚刚开始,且受限于物理世界的资源(如电力)。未来几年,我们将见证计算架构的彻底重构、网络的重新定义以及 AI 真正深入企业核心业务流带来的生产力飞跃。对于创业者,机会在于深度整合模型与产品,而非简单的套壳。

a16za16z youtube channel
目录

观点原文

视频主题:谷歌、思科和 a16z 探讨构建 AI 时代的现实世界基础设施。

主要参与者:

Amin Vahdat:谷歌副总裁兼系统基础设施总经理。

Jeetu Patel:思科执行副总裁兼首席产品官。

Martin Casado:a16z 合伙人(主持人)。

核心观点与内容总结:

AI 基础设施建设的规模与速度前所未有

规模对比:当前的 AI 基础设施建设规模被形容为“互联网建设 + 太空竞赛 + 曼哈顿计划”的综合体。其规模和速度是 90 年代末互联网繁荣时期的 10 倍甚至 100 倍。

基础设施变得“性感”:长期被忽视的基础设施领域再次成为焦点,兼具地缘政治、经济、国家安全和技术速度的多重意义。

供需缺口:尽管投入巨大,但 Amin 和 Jeetu 都认为目前仍处于资本支出周期的早期。需求极其旺盛(如谷歌 7-8 年前的 TPU 仍有 100% 的利用率),但受限于电力、土地、许可和供应链等因素,供应在未来 3-5 年内很难完全满足需求。

基础设施的技术演进与挑战

计算架构的变革:虽然并未完全回归大型机时代,但正在经历“专业化的黄金时代”。为了追求更高的能效(每瓦性能),硬件架构正从通用的 CPU 转向 GPU、TPU 以及针对特定负载(如推理、服务、代理工作负载)更定制化的芯片。

网络的关键作用:网络正成为主要瓶颈。未来的 AI 工作负载具有极端的突发性(极短时间内需 100% 网络利用率,随后闲置),这需要全新的网络架构。同时,随着数据中心分布越来越广(追逐电力资源),需要“横向扩展(Scale-across)”的网络技术,将相距数百公里的数据中心连接成一个逻辑集群。

软硬协同设计:未来的计算堆栈将发生翻天覆地的变化,软件和硬件必须紧密协同设计(Co-design),类似于谷歌早期为分布式系统设计的 GFS、MapReduce 等。

推理成本的下降与质量需求的提升

成本大幅降低:通过硬件优化和软件改进,推理成本实际上已经实现了 10 倍甚至 100 倍的降低。

质量需求抵消成本红利:然而,用户对模型质量的要求不断提高(这就好比原来的模型很便宜,但大家想要更聪明、更强大的新模型),导致实际使用的成本并没有显著下降。市场在追求更高的“每美元智能(Intelligence per Dollar)”。

AI 在企业内部的实际应用与成效

代码迁移与现代化:谷歌利用 AI 将庞大的代码库从 x86 架构迁移到 ARM 架构,并将数万个应用从旧系统(Bigtable)迁移到新系统(Spanner),这种大规模的代码重构和现代化在以前被认为是“不可能完成的任务”(预估需要数千年人时)。

开发效率提升:在前端开发、调试(Debugging)和从 0 到 1 的新项目中,AI 辅助编程带来了显著的效率提升。但在处理底层基础设施代码或旧代码时,挑战依然存在。

其他场景:销售准备、合同审查和产品营销(如竞品分析)也是目前见效较快的应用场景。

文化重置:最大的挑战在于让工程师适应 AI 工具的快速迭代。即使今天工具不好用,也要在几周后重试,因为它们进化极快。

对创业者的建议与未来展望

拒绝“薄壳”应用:Jeetu 建议初创公司不要只做大模型的简单“薄壳(Thin Wrapper)”,这种商业模式很脆弱。真正的护城河在于将模型与产品深度结合,利用产品反馈不断优化模型。

多模态的爆发:Amin 预测未来 12 个月,图像和视频的输入/输出能力将像两三年前的文本模型一样迎来爆发,不仅用于娱乐,更将转化为生产力和教育工具。

代理(Agents)的崛起:基于更强模型构建的智能代理(Agents)及其框架将在未来一年变得“可怕地好(Scary good)”,能够长时间自主完成复杂任务。

总结: 这是一场关于 AI 基础设施“硬核”现实的讨论。虽然外界担心泡沫,但身处核心的建设者们认为建设才刚刚开始,且受限于物理世界的资源(如电力)。未来几年,我们将见证计算架构的彻底重构、网络的重新定义以及 AI 真正深入企业核心业务流带来的生产力飞跃。对于创业者,机会在于深度整合模型与产品,而非简单的套壳。

AI

相关观点