论文COLING 2022《MetaPrompting: Learning to Learn Better Prompts》旨在解决：
1. Soft prompt方法使用可学习的参数来替代prompt模板中固定的token，尽管在少标注文本分类任务上性能优异，但是其表现随模型初始化参数不同会出现很大的波动。
2. 人工选择soft prompt模型参数需要对语言模型内部工作机理的深入理解和大量试错，并且在遇到不同少标注任务时难以复用。
论文将目光从任务专用的soft prompt模型设计转移到任务通用的模型参数初始化点搜索，以帮助模型快速适应到不同的少标注任务上。采用近年提出的基于优化的元学习方法，例如MAML、Reptile等，来搜索更优的soft prompt模型参数初始化点，以解决模型对初始化点过于敏感的问题。
Prompt方法通过将下游任务转化成语言模型预训练目标的形式，帮助模型更好地在下游任务上发挥性能。如图所示，对于一个新闻文本分类任务，可以通过将输入文本填入prompt模板的方式，将该文本分类任务转化为MLM任务形式。之后将模型在[MASK]位置填入各个词语的概率映射到不同标签上，即可完成文本分类任务的处理。Soft prompt模型中，部分prompt tokens以可训练embedding的形式给出，并可以和预训练模型的参数一起进行优化，在保留离散token中语义信息的同时，给予模型更多的灵活性。
本文使用元阶段（episode）风格的少标注学习范式。具体而言，每一个少标注任务包含支持集和查询集两个部分，支持集中每个类别所对应标注样本数量极少，本文通过将模型在支持集上进行适配，在查询集上进行测试的方法，衡量模型的少标注学习性能。本文将不同标签对应的样本分别划分成用于训练、验证和测试的少标注任务，以衡量模型从源领域学习通用元知识来处理目标领域少标注任务的能力。MetaPrompting的整体优化过程如图所示。元训练阶段，模型在少标注任务的支持集上进行试探性参数更新，并在查询集上进行梯度回传。元测试阶段，模型在未见过的少标注任务上进行适配和预测。令和分别表示预训练模型和soft prompt的参数，在元训练阶段，模型在一个少标注任务支持集上进行适配的过程如下式所示：
本文分别采用5way 1shot和5way 5shot的少标注学习设定来测试模型性能。实验选择了HuffPost、Amazon、Reuters和20newsgroup四个广泛使用的文本分类数据集，结果以分类准确率%给出。实验结果如表1所示，表中20newsgroup数据集性能由于数据构造问题与原文略有出入，现为勘误后结果，勘误不影响实验结论。由实验结果可见，MetaPrompting性能优于当前的SOTA模型ContrastNet和其他基于元学习和提示学习的方法，取得了明显的性能提升。相比于不使用元学习优化目标的Ours (Pretrain Init)，引入元学习搜索模型参数初始化点的Ours (Meta Init)也得到了更好的性能，说明了元学习方法在soft prompt模型参数优化中的有效性。