5个比特可以训练了吗?
题主的问题主要是关于深度学习的,所以就从这个方面来回答一下。 首先想说的是,从问题的截图来看,好像是在问能不能训练五个比特(的参数)?但是问题描述又说是想要测试140亿参数的模型,所以是不是想问这个?(毕竟没人会无聊到给5个比特一个模型然后还发出来问能不能训练吧。。。)
那么这个问题就比较好回答了。 假设问题的确是这样,当然是可以训练的,而且非常容易。 现在深度学习中常用的网络结构是卷积神经网络(Convolutional neural network, CNN)。一种比较简单的CNN结构如下图所示。 其中输入层、编码层、解码层和输出层的原理都不在赘述,直接看一下图中每个部分的参数数量就可以了。 因为图中的网络只是进行了简化表示,实际上的网络可能会比这要复杂一些并会有不同的优化方法。这样看的话,整个网络中需要训练的参数数目大约是2987361(5*5*5+7*7*7+6*6*6),而图像中的像素点数也是这个数目(一图像像素点个数=通道个数,这里是RGB三个通道各两个维度所以就是9个维度,每个维度上每个像素的值都不同所以这个数目实际上应该为9 * (10^7)),也就是大约相当于每像素训练一个参数。