全站显示自助广告位，特惠招租中～

谷歌AI掌门人Jeff Dean与Transformer作者深度对话：AI性能提升300%，未来或将迎来1000万倍工程师时代

在最近的一次深度访谈中，谷歌首席科学家Jeff Dean与Transformer的创始人Noam Shazeer分享了关于人工智能（AI）领域的一些关键技术和未来展望。这次访谈不仅揭示了低精度计算技术如何使模型速度提升三倍，还回顾了AI发展中的一些重要突破，如“猫神经元”的发现，以及展望了AI未来可能处理万亿级别Token和实现“1000万倍工程师”的潜力。

Jeff Dean提到，随着制造工艺的改进周期延长，通用CPU的扩展性已经不如从前。专用计算设备如机器学习加速器、TPU和专注于机器学习的GPU的出现，为现代计算带来了高性能和高效率。这些设备特别适合处理深度学习任务，与传统计算任务如运行Microsoft Office等大不相同。Noam Shazeer补充说，由于算术运算成本降低而数据传输成本相对较高，深度学习得以迅速发展。他们通过矩阵乘法构建深度学习模型，这涉及大量的运算和数据传输。

Jeff Dean进一步解释了谷歌如何通过开发TPU来适应这一变化。TPU是低精度线性代数处理器，这种硬件的出现使得算术运算的数量可以大幅增加。Jeff提到，通过降低算术运算的精度，可以在芯片上放置更多的乘法单元，从而提升计算效率。从TPUv1开始，谷歌就尝试使用8位整数进行量化，并围绕这一点构建整个芯片。随着时间的推移，训练和推理的精度都在降低，现在甚至可以使用INT4或FP4进行运算。Jeff认为，这是一个明显的趋势，尽管量化可能带来一些不便，但它能使模型速度提升三倍，这是一个不容忽视的优势。

在谈到神经网络扩展的有效性时，Jeff Dean回忆了早期在Brain团队的经历。当时，他们专注于构建能够训练非常大规模神经网络的基础设施。尽管数据中心只有CPU，但他们通过模型并行和数据并行的方式，成功训练了一个针对1000万个随机选择的YouTube帧进行无监督学习的系统。这个系统在2000台计算机上运行，使用了16000个核心进行训练，最终模型能够有效地从高层表示中重构事物，展示了神经网络扩展的巨大潜力。