下一次AI革命

在过去的十年里，由于处理器速度的提高和大数据的出现，我们见证了机器学习算法的规模成倍增长。最初，模型小到可以使用中央处理单元（CPU）内的一个或多个内核在本地机器上运行。

不久之后，使用图形处理单元(GPU)进行计算成为处理较大数据集的必要条件，并且由于引入了基于云的服务，如SaaS平台(如Google Colaboratory)和IaaS(如Amazon EC2 Instances)，变得更加容易实现。此时，算法仍然可以在单机上运行。

最近，我们看到了专门的应用专用集成电路(ASIC)和张量处理单元(TPU)的发展，它们可以包装出约8个GPU的功率。这些设备已经增强了在多个系统之间分布式学习的能力，以尝试建立得到更多更大的模型。

最近，随着GPT-3算法（2020年5月发布）的发布，这种情况达到了顶峰，它拥有一个包含1750亿个神经元的惊人网络架构—比人类大脑中存在的神经元数量（约850亿）多出一倍。这比有史以来创建的下一个最大的神经网络Turing-LG（2020年2月发布，包含约175亿个参数）的神经元数量多10倍以上。有估计称，该模型的训练成本约为1000万美元，耗电量约为3GWh（约为三座核电站一小时的发电量）。

虽然GPT-3和Turing-LG取得的成绩值得称赞，当然也自然导致了一些业内人士对人工智能行业日益增长的碳足迹提出了批评。不过，这也有助于激发人工智能学界对更加节能计算的兴趣。这样的想法，比如更高效的算法、数据表示和计算，几年来一直是一个看似不相关领域的焦点：微型机器学习。

微型机器学习（tinyML）是机器学习和嵌入式物联网（IoT）设备的交叉领域。该领域是一门新兴的工程学科，有可能给许多行业带来革命性的变化。

tinyML的主要行业受益者是在边缘计算和节能计算领域。TinyML源于物联网（IoT）的概念。传统的物联网概念是将数据从本地设备发送到云端进行处理。一些人对这个概念提出了一定的担忧：包括隐私、延迟、存储和能效等等。

能源效率。传输数据(通过电线或无线)是非常耗能的，比机载计算(具体来说是乘积单元)耗能约一个数量级。开发能够自己进行数据处理的物联网系统是最节能的方法。AI先驱们讨论这种 "以数据为中心 "的计算理念（相对于云模式的 "以计算为中心"）已经有一段时间了，现在我们开始看到它的发挥。

隐私。传输数据可能会被侵犯隐私。这些数据可能会被恶意行为者拦截，而且当数据被储存在一个单一的位置（如云端）时，其本质上变得不那么安全。通过将数据主要保存在设备上并尽量减少通信，这可以提高安全性和隐私性。  

存储。对于很多物联网设备来说，它们获取的数据是没有价值的。想象一下，一个监控摄像头每天24小时记录一栋大楼的入口。在一天中的很大一部分时间里，摄像头的录像是没有用处的，因为没有任何事情发生。通过拥有一个更智能的系统，只有在必要的时候才会激活，就需要更低的存储容量，并减少传输到云端所需的数据量。

（编辑：常州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!