“从理论上讲,左右脑分工的想法无疑有一定道理。
感知任务与推理任务的确有着不同的计算特性,但我认为林教授是不是高估了硬件在这种分工中的作用?
目前的深度学习框架可以做到任务的并行化处理,并且大多数高效的推理任务也可以在同一硬件上完成。
不同的计算方式,能否真的改变现有架构?我对此持怀疑态度。”
克里斯的问题让人有些质疑,但并不轻易放弃。
就在他刚说完,人在东京的首席架构师伊利亚·苏茨凯弗立刻回应了他:“你说得没错,现有的框架能处理某些任务的并行化,但这只是对感知任务的部分优化。
但我们都知道,现有的硬件瓶颈存在。
在GPT系列模型的推理过程,大量的推理计算涉及长时间的推理链和符号计算,现在的GPU处理起来其实效率并不高,尤其在模型规模不断增加时。
我们完全可以借鉴林教授的概念,构建一种专门的逻辑推理处理单元,与感知任务处理单元分开。”
伊利亚顿了顿,接着补充道:“而且,我们必须注意,IBM和英特尔在这一方向上已有多年探索。
内容未完,下一页继续阅读