按理来说,这种大项目,这样的验收时间并不算富裕,不过周昀有信心一年之内搞定。

        实验室里,周昀并没有第一时间就开始设计方案,反倒是开始看起了论文。

        因为不管是前世还是现在,他接触的都是“小模型”,这里的小模型指的是LSTM、、F这种结构单一,参数量不大的轻量级神经网络。

        而他现在要做的项目则需要用到真正意义上的多模态大模型,这种大模型现在普遍都是基于Transformer架构,

        虽然Transformer非常厉害,但是也有一个缺点,因为他的主要核心Attention也就是注意力机制,

        这种算法的时间复杂度复杂度是O(n^2),所以需要的计算量非常大,这也是为什么现在市面上的大模型训练需要的显卡都是几千几万张。

        大模型和小模型之间除了算力消耗和成本上有着巨大差异,在整体架构上也有着明显的差异。

        一个小模型可能只需要几百行代码就能完整的写出来,然后开始运行。

        而一个真正意义上的大模型想要正常运行,除了其核心代码之外还需要各种的配套功能的代码,这些加起来几万行都算是少的了。

        他在这方面的,不管是经验还是知识都很欠缺,所以第一步就是——看文献,至少要熟知多模态大模型领域所有的先进技术之后,他才会开始计划怎么将现有参数量不大的模型进行升级。

        其实这一步应该是在谈项目之前就做的,只不过周昀那个模型的性能实在太优秀了,

        内容未完,下一页继续阅读