報酬予測誤差とは何か:期待と現実の差は脳の学習をどう進めるのか

動物を対象にした研究では、学習は、受け取った報酬と予測した報酬の差である「報酬予測誤差」によって進むことが示されています。完全に予測どおりだった報酬は新しい学習を生まず、予測と結果に差があったときに、主に学習が起こります。

しかし、学習とは正しい知識を覚えることで、間違いは避けるべきものではないのか、という疑問が残ります。人の学習でも同じように働くかは、動物を対象にした研究では確かめられていません。

目次

予測と結果の差が学習を進めるという研究

動物の実験では、報酬が完全に予測どおりのとき、その報酬と組み合わせた刺激は学習されませんでした。Waelti、Dickinson、Schultz による2001年の Nature 論文では、行動の学習も神経の学習も、主に報酬予測誤差が生じたときに起こっています。

行動実験からは、学習が将来の出来事への期待の変化によって進むと考えられています。

正解をただ受け取るだけの学習では、結果が予測どおりになり、誤差がほぼゼロになります。受け身で情報を受け取るだけでは知識が定着しにくい理由の一つは、ここにあると思います。

報酬予測誤差とは何か

報酬予測誤差とは、実際に得られた結果(報酬)と、事前に予測していた結果(報酬)との差分です。この差の情報が、学習を進める信号になります。

ドーパミンは「快感」の物質として知られていますが、サルを対象にした研究では、ドーパミン神経の活動が報酬の予測誤差を表しているとみられています(Schultz、Dayan、Montague、1997年、Science)。

サルの実験で見られたドーパミン神経の活動を、人にたとえた場面と並べると、次のようになります。

誤差人にたとえた場面ドーパミン神経の活動
期待を上回る(ポジティブ)期待していなかった試験で高い評価を得る予測していなかった報酬に反応して活動が増える
誤差ゼロ(期待どおり)高い評価を確信していた試験で、その通りになる活動に変化はない
期待を下回る(ネガティブ)自信があったのに、期待した成果が得られない報酬が出るはずの時点で、活動が基準より下がる

結果が期待を下回ったとき、脳が予測の直すところを見つけ、神経回路を最も強く組み替える、という説明があります。この点は、上回る場合と強さを比べた研究では確かめられていません。ドーパミンの信号が、神経の結び付きが変わる神経可塑性の合図になるという見方は、1997年の論文が論じたものです。

失敗を予測を直す情報として扱う

この見方では、予測が外れた結果は、予測を直すための情報になります。予測の不完全な部分を示す手がかりになる、という見方です。

この見方は、科学の進め方に重なります。仮説・実験・観測・修正の4つの流れは、予測と結果の差で予測を直す仕組みに似ていると思います。

  1. 仮説の立案(予測):「こうすれば望ましい結果が得られるのではないか」という予測を立てます。
  2. 実験(行動):仮説に基づいて実際に行動します。
  3. 結果の観測(現実):何が起こったかを客観的に観察します。
  4. モデルの修正(学習):予測と現実の差を分析し、次の仮説をより精度の高いものへ修正します。

仕事のプロジェクト、新しいスキルの習得、資産形成、人間関係でも、仮説・実験・観測・修正の流れは使えます。間違いを過度に恐れてしまう人がいるのは、正解が一つしかない「減点法」の評価に慣れてきたためかもしれません。

予測を立てて試してみる

次に何かを試すときは、「こうなるはずだ」という予測を先に一つ書いてみてはいかがでしょうか。結果が予測と違っていたら、その差を、予測を直す手がかりとして見てみてはいかがでしょうか。

  • URLをコピーしました!
  • URLをコピーしました!
目次