预训练和训练有什么区别
发布网友
发布时间：2022-04-20 21:49
共1个回答
热心网友
时间：2023-08-24 23:01
不是简单的字面预训练和正常的训练的意思，而是训练数据与训练数据模型的概念。
预训练是指使用尽可能多的训练数据，从中提取出尽可能多的共性特征，从而让模型对特定任务的学习负担变轻。
训练是指使用少量带有标签的数据训练模型，使用过程中得到的模型对未标记数据进行预测，预测结果作为伪标签，然后将标记数据和未标记数据结合标签和伪标签一起训练模型，再在测试集上评估模型最后重复1以上步骤，对模型迭代。
