The Effect of Reduced Learning Ability on Avoidance in Psychopathy: A Computational Approach.
Takeyuki Oda et al, November 2019.
先行研究によると、サイコパスは罰から学習することが困難である。たとえば、彼らはある刺激をひとたび報酬と関連づけると、その後に同じ刺激が罰と関連付けられるようになっても刺激の価値を更新することができず、誤った反応を繰り返してしまう (逆転学習の障害)。
しかしながら、こうした学習の障害が生じるメカニズムについては不明な点が多い。罰そのものに対する感受性が低いのか、刺激と結果(報酬/罰)の連関を更新するのが遅いのか、そもそも結果の予測が下手くそなのかどうかが分からないのである。
Computational Approach (計算論的アプローチ) はこの問題を解決する。被験者の学習プロセスを数理モデル化することで、ボトルネックとなる学習パラメータを特定することができるからだ。
今回紹介するのは、サイコパスの学習に関する計算論的解析である。2019年11月に発表された論文で、日本のサイコパス研究としては最新だ。それでは、詳しくみていこう。
要旨
日本の大学生を対象に、サイコパシー高/低 群のあいだで「Go/No Goタスク」のパフォーマンスを数理的に解析した。結果、一次サイコパシーの高い人 (以下、サイコパス)は、損失に関する正の「予測誤差」に対する「学習率」が比較的低いことが分かった。
このことは、罰を回避することに成功したにもかかわらず、サイコパスは回避反応の価値を更新する程度が小さいことを示す。
背景
先行研究の多くは、サイコパスにおける「罰学習」の障害を明らかにしてきた (Newman, 1986; Finger, 2011)。罰学習とは、ネガティブな結果のフィードバックに基づいて、自身の行動を適応的に更新することである。
私達は、何が自分にとって良いもので悪いものなのか、あるいはそれに対してどう反応すべきかということを、予測と結果の差(予測誤差)に基づいて学習する (強化学習)。
この障害は、不安の程度が低いサイコパスにおいて顕著である (Lykken, 1957; Newman, 1998)。彼らがなぜこのような障害を示すのかについては、これまで多くの議論が為されてきた。その過程で、次の２つの仮説が浮上した。
1. 低恐怖仮説
サイコパスは脅威刺激 (たとえば銃声)に対する驚愕反応の低下を示す (Lykken, 1957; Patric, 1993; Hoppenbrouwrs, 2016)。この仮説では、サイコパスはネガティブな結果の影響を受けにくいために、学習の障害が生じると考える。
IES理論 (Blair, 2006)は、これについて神経学的な因果モデルを提示する。扁桃体と眼窩前頭前皮質(OFC)は、「刺激-結果 連関」を形成し、それに基づいて適切な反応を導くために必要な領域である。サイコパスはこれらの領域に機能不全をもつので、学習の障害を示す。 これがIES理論だ。
詳しくは、James Blair 著「サイコパス -冷淡な脳-」、本ブログの解説記事を参考にしてほしい。
2. 反応調節仮説
ジョセフ・ニューマンは、サイコパスの学習障害が注意機能の異常によって生じるという考えを提唱した。サイコパスはある目的に対して行動しているとき、それとは無関係な刺激を (たとえネガティブな結果をもたらすものでも) 無視してしまうのである。これが反応調節仮説だ。
言い換えると、サイコパスは選択的注意が強すぎるために、妨害刺激の影響を受けにくいということである。このことは数多くの実験で繰り返し実証されてきた。
さて、これらの仮説が説明しようとする「学習の障害」は、いずれも”学習全体”のパフォーマンス(e.g. エラー率; 全反応に対する誤反応の割合) に基づいている。
しかし、実際の学習は各トライアル (ひとつの予測→結果の流れ) ごとに行われているはずである。そこで、各トライアル毎の学習を記述するモデルを活用することにより、サイコパスの学習障害をより詳細に調べることができる。
そこで役に立つのが「強化学習モデル」である。
パブロフの犬をご存じだろうか。
ベルを鳴らした後にエサを与えるという行動を犬に対して繰り返すと、その犬はベルの音を聴いただけでヨダレを垂らすようになる、というものだ。
これは、次のように言い換えられる。
はじめ、犬にとって無価値だった「ベルの音」という刺激が、「エサ」という報酬に関連付けられたことにより、その価値を増していった。
この学習プロセスを数式で記述すると、次のようになる。
V(t+1) = V(t) + α*δ
δ = O(t) - V(t)
V(t) ：ある時間tにおける「ベルの音」の主観的価値。
V(t+1) ：次の瞬間の主観的価値。以前の価値V(t)にα*δを足したもの。
α：「学習率」と呼ばれる定数。
δ：「予測誤差」。予測V(t)と実際の結果 O(t) (ベルの後にエサを貰えたかどうか) の差。
例を挙げて考えてみる。
あなたは友人に誘われて競馬に行ったとしよう。
ギャンブル嫌いのあなたにとって、その時点での競馬の価値V(t)はゼロだ。
しかし幸運にも、あなたは10万円の利益を手に入れてしまった。
このとき、予測誤差δは δ = (10万円) - (0円) = 10万円 である。
あなたの学習率α が 0.1と仮定すれば、あなたがビギナーズラックをぶち当てた後の競馬の主観的価値V(t+1)は、
V(t+1) = (0円) + 0.1 * (10万円) = 1万円 となる。
ゆえに次回の競馬では、あなたは1万円程度なら喜んで賭けるだろう。
このように、強化学習とは「その刺激(反応)があなたにとってどれほど良い/悪いのか」を学習するプロセスである。
強化学習モデル少し厄介だが、私達の身の回りの現象を記述する上で非常に強力なので、教養として理解しておく価値は大いにある。
次回は実際にサイコパスの学習障害を明らかにするために「最適モデル」を構築する段階だ。これをベースに解説を進めるので、ぜひとも理解しておいて欲しい。
参考
