roberta模型结构图,

预训练模型中的强基准:roberta
prover模型基于roberta,包含三个模块,分别是问答(qa)模块,节点(node)
考虑到roberta采用双向关注的transformer作为编码层,特殊符号 s>所
预训练模型中的强基准:roberta
模型优点缺点对比总结与资料收集transformerbertalbertrobertaernie