ChatGPTの回答生成の仕組み

ChatGPTの回答生成は、一度に文章を読み取って単語や言い回しの関連性のパターンを見つけ出し、ある単語の次にどの単語が続くのかを予測する。

「吾輩は猫である」という文章を例に考えてみましょう。

ここでは入力として「吾輩は」だけが与えられた時を考えます。

「吾輩は」に続く出力を、「犬」「猫」「今日」といった様々な語を検討して、言語モデル上での確率がどれくらいなのかを調べます。

「吾輩は」に続く確率は、「猫＞犬＞今日」の順に高いことがわかる。

この確率は、ChatGPTが事前に学習したデータによって決定されている。

Temprature

Tempratureとは、回答の多様性を設定するものです。

Temperatureを小さな値にすると確率分布の散らばりが大きくなって、確率の高い語はより高く、確率の低い語はより低くなります。逆にTemperatureが高くなると、確率の高い語と低い語の差が縮まります。