性能远前者。thep1atform也由此评论，难怪用惯了x86处理器集群做机器学习的谷歌要自己研一款新的芯片做推理。
    在谷歌的测试中，使用64位浮点数学运算器的18核hae11xeone5-2699器，以2.3ghz运行的情况下每秒能够处理1.3tops（每秒万亿次运算），提供51gb/秒的内存带宽，hae11芯片的能耗是145瓦，系统（包括了256gb的内存）繁忙时耗能455瓦特。
    相比之下，tpu使用8位整数数学运算器，拥有256gb的主机内存和32gb的自身内存，片上内存带宽34gb/秒，峰值92tops，推理吞吐量高了71倍，而托管tpu的服务器的热功率为384瓦。
    谷歌还对比测试了cpugpu和tpu处理不同批量（batch）大小的每秒推理吞吐量。
    在批量很小数量为16的情况下，hae11cpu处理完前99应时间接近7毫秒，每秒推理数为5，482次（ips），相当于最大值（13，194ips，批量64）的42%，而达到峰值则用了21.3毫秒的时间。相比之下，tpu可以做到在批量大小为2oo的情况下仍然满足7毫秒的上限，并且ips
 <本章未完请点击"下一页"继续观看!>