ChatGPTは、大規模言語モデル（LLM: Large Language Model）と呼ばれる機械学習の自然言語処理モデルの一種を発展させたものです。LLMは、膨大な量のテキストデータを収集し、文章中のキーワードの関係を推論します。LLMは、インプットデータの量とその変数が増えれば増えるほど、その能力を発揮できます。
言語モデルの最も基本的な学習方法は、一連の単語の中からある単語を予測することです。最も一般的な学習方法は、次の単語を予測する方法 (next-token-prediction) と隠された単語を予測する方法 (masked-language-modeling) です。
ChatGPTはInstructGPTの発展系で、人間のフィードバックを学習プロセスに取り入れることで、モデルの出力をよりユーザーの意図に近づけるという新しいアプローチを導入しています.
この手法はRLHF(Reinforcement Learning from Human Feedback)と呼ばれ、人が事前に正解のデータ(ラベル)を入力し、出力された文章とそれらを比較することで、良し悪しを判断し学習していく方法です。
言語モデルの「ラベル」とは、入力されたテキストがどの分類に属するかを表すタグのことです。InstructGPTは、機械と人間のフィードバックから学習データを強化することで、より正確なラベル生成ができるようになります。
次のページ
https://tech-blog.abeja.asia/entry/chat-gpt-first-half-202307