Prompt Engineering 简明教程

Transformer Architecture − 语言模型的预训练通常使用基于 Transformer 的架构来完成，如 GPT（Generative Pre-trained Transformer）或 BERT（Bidirectional Encoder Representations from Transformers）。这些模型利用自我注意机制来有效地捕捉自然语言中的上下文依赖关系。

Pre-training Objectives − 在预训练期间，语言模型接触到海量的非结构化文本数据，以了解语言模式和关系。两个常见的预训练目标是 − Masked Language Model (MLM) − 在 MLM 目标中，输入文本中一定比例的标记被随机屏蔽，并且模型的任务是根据句子中的上下文预测被屏蔽的标记。 Next Sentence Prediction (NSP) − NSP 目标旨在预测是否两个句子在文档中连续出现。这有助于模型理解较长文本序列中的话语和连贯性。

Knowledge Transfer − 在大量语料库上预训练语言模型使它们能够学习一般的语言模式和语义。在预训练期间获得的知识可以转移到下游任务，从而使学习新任务变得更容易、更快。

Reduced Data Requirements − 迁移学习减少了对大量的特定于任务的训练数据的需求。通过在与目标任务相关的较小数据集上微调预训练模型，提示工程师即使在数据有限的情况下也能取得有竞争力的表现。

Faster Convergence − 与从头开始训练模型相比，微调预训练模型需要更少的迭代和时代。这导致更快的收敛，并减少了训练所需的计算资源。

Feature Extraction − 一种迁移学习方法是特征提取，其中提示工程师冻结预训练模型的权重，并在其上方添加特定于任务的层。然后对目标数据集微调任务特定的层。

Full Model Fine-Tuning − 在完全模型微调中，预先训练模型的所有层在目标任务上进行微调。这种方法允许模型根据任务的特定要求调整其整个架构。

Task-Specific Data Augmentation − 为了提高模型针对特定任务的泛化能力，提示工程师可以使用特定于任务的数据增强技术。使用原始样本的变体增强训练数据可以增加模型对各种输入模式的接触。

Domain-Specific Fine-Tuning − 对于特定领域的的任务，特定领域的微调涉及针对目标领域的数据对模型进行微调。此步骤确保模型捕获特定于任务领域的细微差别和词汇。

Data Preprocessing − 确保在预训练期间使用的 data preprocessing 步骤与下游任务一致。这包括标记化、数据清理和处理特殊字符。

Prompt Formulation − 根据上下文和用户需求定制提示以适应特定的下游任务。精心设计的提示可以提高模型提供准确且相关响应的能力。