より良い定義、より良い結果？

「ドラえもん」に登場するのび太といえば、心優しいことを除けば、早撃ちと昼寝、それにあやとりくらいしか取り柄のない冴えない少年というのが一般的な印象ではないだろうか。それが改めて漫画を読み返してみると、あにはからんや、なかなかに稀有な人物であるような気がしてくるから面白い。第1巻第1話を見るに、大学進学率が3割に満たない時代に大学受験をしているし⁽¹⁾、それどころか卒業後には起業までしている。ドラえもんと共にタイムマシンでやってきたのび太の孫の孫のセワシくんによれば「100年たっても返しきれない」ほどの借金をこしらえたということだが、見方を変えれば、それだけの巨額を借りるに足る信用が成人したのび太にあったとも解釈できる。

何より初登場時の彼の発言の端々には、ただの小学生とは思えない鋭さがある。その最たるものが「ろくなめにあわない」のび太の運命を変えにきたと誇らしげに宣言するドラえもんとセワシくんに返した言葉だろう。巨額の借金の存在を知らされ、直前まで子孫への申し訳なさと情けなさでさめざめと泣いていたのび太は、一転、「考えてみるとやっぱりおかしい」「ぼくの運命が変わったら、きみはうまれてこないことになるぜ」と冷静に突っ込みを入れるのだ。

そろそろ連載テーマとの関連を説明したほうが良いだろう。前回、心理学が用いるさまざまな概念——性格、知能、態度などから、男っぽさ、差別、嫌悪感受性まで——の定義が、必ずしも一つに定まらないことを述べた。学会で確立した定義が存在するとは限らず、一人ひとりの研究者は、自らが適切と信じる定義を仮に採用して実験や調査を行い、その結果を報告する。上手くいけば主張は受け入れられ投稿論文の受理と雑誌掲載という栄誉に浴することができるが、悪くすると採用した定義に異議が呈され、掲載拒否の憂き目に遭う。

公刊できた論文の数（と内容と掲載誌のランクとその他の諸々）は、直接的または間接的に研究者の能力の指標として研究費申請や就活の場面で用いられ、公私にわたる研究者の人生に影響する。概念をどのように定義するかは、究極的には、心理学者の人生に関わる重大な意思決定なのであった。だとすれば、ドラえもんの力を借りることでのび太が運命を変えようとするのと同じように、より良い定義を採用することで、心理学者の人生もより良いものにできるかもしれない。しかしのび太が不安がるように、自分ひとりの人生を良くしようとする行いが、思わぬ悪影響——例えば子孫であるセワシ君が生まれなくなってしまう——を及ぼすことはないものだろうか。

不安気なのび太にセワシくんは「心配いらない」と言う。東京に住むのび太が大阪に行こうとするときには、飛行機、新幹線、船などいろいろな選択肢があるが、方角さえ正しければ、最終的には大阪に到達できる。人生も同じで問題はないというのだ。仮にドラえもんの世界はそれで良いとしても、心理学における概念の定義も同じと考えられるだろうか。研究の向かう「方角さえ」合っていれば、「より良い未来」をもたらす定義を選んだとして最終的には辻褄を合わせることができるのだろうか。

いささか無粋だが先に答えを言ってしまえば、もちろんそんな都合よくことは運ばない。それどころか、「辻褄」が合うように定義を選ぶことによって、社会的論争を呼ぶような主張に見せかけの科学的な“エビデンス”を与えてしまいかねない危うさが、心理学研究にはある。しかもその時に研究者本人は、自分が科学的な手続きに厳密に従っていると信じていることすらある。そうした“科学的に不適切な主張”がどのようにして生じうるのか、具体例を見つつ考えてみよう。

再び高校生の姿で日本心理学会の大会ポスター会場を訪れることにしよう⁽²⁾。ぷらぷら歩いていたら見るからに若そうな心理学者が発表している姿が目に入った。控えめに言って大学生、下手すると自分と同じ高校生かもしれない。こんな若い人まで発表しているのかすごいなと感心しつつ発表タイトルを見てぎょっとした。「す、すみません、この生理周期って、つまり、その、女性の生理周期のことでしょうか？」「そうです！　女性は生理周期の時期によってホルモンバランスが変化するので、それが心にどう影響するのかを調べています！」「あと、この投票行動というのは、つまり、いわゆる衆議院選挙とかでの投票行動ということでしょうか？」「そうです！　ホルモンバランスによって支持する候補者が変わるか、知事選で調査した結果です！」「な、なるほど……。どうやったらそんなこと研究しようって思いつくんですか？」「それはですね……」

そもそもの話として霊長類の中でもヒト女性は妊娠可能性の高い排卵期であることが外見的に分かりにくいという特徴があって……というヒトの進化にかんする理論から説き起こす極めて熱量の高い解説だったが、紙幅もあるので最後の部分だけを取り上げると、米国で排卵期と大統領候補への支持にかんする研究があり、前からホルモンバランスに興味があったので卒論のテーマとして取り上げた。大学院進学を希望していることもあり、せっかくデータも取れたので指導教員から学会報告を勧められ挑戦してみたということらしい。それで結果はどうだったのだろう。

「実は思ったほどきれいな結果ではなかったんですよ」声のトーンが落ちた。「アメリカの研究では、パートナーがいる女性は排卵期にはロムニー支持だったのが、シングルの女性は排卵期にはオバマ支持だったんです⁽³⁾」え、本気？　どういうこと？？　「それで日本でも、結婚してたり恋人がいる女性は排卵期は保守系支持で、そうでない人は野党支持なんじゃないかと思ったんですけど、分析してみたらコウゴサヨウがユウイじゃなくって」

高校生が意味不明の結果と意味不明の専門用語に混乱している様子が気の毒だったのかもしれない。横で聞いていた心理学者が「コウゴサヨウとはですね……」と助け舟を出してくれた。アメリカでは排卵期の女性とそれ以外の時期の女性で支持する候補者が異なっていたが、そこにパートナーの有無がもう一枚噛んでいたことを「交互作用」と言うらしい⁽⁴⁾。片やパートナーがいる女性では、排卵期の人はより保守的（共和党候補を支持）だった。片やパートナーがいない女性では、逆にリベラル（民主党候補を支持）寄りだった⁽⁵⁾。「排卵期かどうか」だけを考えていても不十分で、「パートナーの有無」との掛け合わせ（交互作用）を見ないと、排卵期の女性が誰を支持する傾向があるかは見極められない。そして、そうした交互作用の効果が「ある」と判断する科学的な根拠として使われたのが、統計分析の結果が「有意（ゆうい）」だったことなのである。学部生さんが調べた日本のデータは「有意」でなかったので、交互作用があるとは言えないことになる。

それがなぜ「きれいな結果ではなかった」ことになるのだろう。アメリカと日本で結果が違ったからと言って「きれいでない」と残念がる必要はないようにも思える。そもそも生理周期で支持先がコロコロ変わるアメリカのデータのほうが奇妙なのではないか。日本の結果の方がよっぽど自然な気もするし、アメリカの結果が世界標準ではないことを示したという意味で、良い結果だったと考えることもできるのではないか。尋ねてみると助け舟さんと学部生さんが揃って難しい顔をした。「でも先行研究では有意ですしね」「そうですよね」「結果が有意じゃないとね」「難しさはありますよね」　「有意」であることはかなり大事なようだ。「その方が査読も通りやすいしね」　つまり心理学者にとっては「有意な結果」が「きれいな結果」で、きれいだからこそ査読も通りやすい「良い結果」ということなのだろうか。

その時、後ろで話を聴いていた心理学者が会話に入ってきた。若々しさの中に中堅クラスの落ち着きが同居している。「すみません、配偶ステータス⁽⁶⁾はどうやって尋ねました？」「え？　あ、先行研究と同じです。交際状況について、“婚約または結婚している”か“同棲している”を選んだ人はパートナーが居ることにして、それ以外の人はパートナーが居ないことにして分析してます！」「ですよね。これってDuranteたちの研究ですよね。でもあれって、それ以外の選択肢は“恋人はいない”と“デート相手は一人だけ”だったと思うんですが、そこも同じですか？」「そこが私も気になってて。論文だと“dating”だったと思うんですけどニュアンスが分からなくて。Duranteさんたちはデート相手のいる人はパートナーなしってカウントしてましたけど、ふつう、それってパートナーがいることになるんじゃないかなぁって」「そういう気もしますよね」「ラボミーティングでも相談したんですけど、随分お子様なことを言うのね。デートしてるだけじゃ付き合ってるとは言わないのよって人が出てきたかと思ったら、それを聞いて、もう誰も何も信じられないって落ち込む人も出てきて、ちょっとした修羅場でした」

心理学研究室のミーティングというのはどこに地雷があるのか分からないヒリヒリしたものなのだなと感心した。と、同時に気づいた。これは配偶ステータスという概念にかんする操作的定義の問題だ。それならば定義を変えることで、「きれいに有意」な結果になったりするのだろうか。意気込んで質問してみたらすでにやっていて、デート相手がいる人もパートナー有りにカウントするよう定義を変えて分析し直したらみごとに「交互作用」が「有意」になったという。

「そっちのほうが理論的には分かりやすいじゃない。なんでその結果を前面に出したポスターにしなかったの？」中堅心理学者が問いかけた。「そうなんですよね。でも完全に同じじゃないんです。年齢も入れた交互作用だと有意だったんですけど、うまく解釈できてなくて」「どういう結果だったの？」「年齢の低群では……」「年齢はレンゾクリョウ？」「いえ25パーセンタイルごとに分けて」「なるほど。それで？」　そこから専門家同士の専門用語満載の専門的な議論が始まってしまったので「面白かったです」とお礼を言ってその場を退散することにした。

例によってポスター会場脇の休憩スペースで一息入れていると、先ほどの中堅心理学者を含む一団がやってきた。となればどうしたって会話が気になる。

「いやーさっきはヒヤヒヤしたよ。学部生相手にマルチバースの話までするなんて」「そこはもちろん配慮したのよ？　なんできれいな結果でポスター作らなかったのってカマかけたじゃない」「あれね」「ちゃんとしてそうだったからね。ところであなた、さっきあのポスターのところにいた学生さんよね。あなたも学部生？」聞き耳を立てていたことがバレた。「いえ、高校生です。あの、ヒヤヒヤしたってどういうことでしょうか？」

つまりはこういうことらしい。学部生さんの研究の元になった生理周期と大統領候補支持にかんする論文には後日談があるというのだ。ポスター前で議論になった配偶ステータスの定義に加えて、生理周期の捉え方にも複数の可能性があるのだという。理論的には妊娠可能性の高低が支持候補に影響することが予測される。そこで参加女性に尋ねた情報から、回答したその日にその女性の妊娠可能性が高かったのか低かったのかを分けて、その高低で支持候補に違いがあったのか比較する必要がある。ところが、その高低の判断基準が少なくとも5つある⁽⁷⁾。大統領候補の研究をしたアメリカの研究チームも、別の論文では違う判断基準を使っているくらいで、「妊娠可能性が高い」という概念には同じくらいに正しそうな定義が複数あるということだ。

「他にも色々あってね。あなたさっき、“そっちの操作的定義で分析したらどうなるんですか？”って質問してたじゃない。あれを突き詰めて、色々あるなら全部やっちゃおうって考えた人がいるのよ」それをマルチバース分析と呼ぶそうだ⁽⁸⁾。配偶ステータスとしてどの定義を採用するのか、妊娠可能性の判断基準にどれを採用するのか。採用する定義によって同じ女性が「妊娠可能性の高いシングル女性」に分類されることもあるし「妊娠可能性の低いパートナーあり女性」に分けられる場合も出てくる。そこで複数の定義の全ての組み合わせで分析してみる。どの定義を選ぶのかは言ってみれば人生の分岐点のようなもので、選んだ道の先はそれぞれ別の“宇宙”を形作る。分岐点が複数あったら生まれる宇宙の数も掛け算で増える。配偶ステータスで2つ、妊娠可能性の高低で5つの定義があったら、2ｘ5で10の宇宙というわけだ。実際のところ生理周期と大統領候補支持の研究については210の宇宙が生まれることになった。それらを全て分析してみたら交互作用が「有意」になったのは半分弱の宇宙だけだった⁽⁹⁾。

「ということは半分強では有意じゃなかったということですか？」「そういうことになるわね」それが意味することはなんだろう。どの宇宙で採用された定義も、絶対に正しいとも、絶対に間違っているとも言えない。つまり、どの宇宙が特に優れているわけでも、特に劣っているわけでもないはずだ。そのうち「きれいな結果」になったのが半分弱だったということは、この研究の勝率が半分だったということだろうか。

「つまり元の大統領候補の研究で交互作用がきれいに有意だったことは、研究をした人たちが勝率5割の勝負に勝ったということでしょうか？」思い切って聞いてみたら中堅心理学者と仲間たちが「うーん」という顔をしている。さすがに素人すぎな質問だったかもしれない。

「まず研究というのは勝ち負けじゃないんだよね」それはそうだ。「それに、有意な宇宙を見つけるのが目的ということでもない」あれ、そうなのか。さっきの人たちと言っていることが違うぞ。心理学者にとっては有意な結果ことが良い結果という話ではなかったのか。だんだん分からなくなってきた。「そうね……」中堅心理学者が、どこから説明したら良いものかと思案顔をしていたら仲間の一人が言った。「あれかな、メニーアナリスツの話もあると分かりやすいかな」また新しい単語が出てきた。

説明によるとメニーアナリスツとは、一つの仮説について、同じデータを使って、多数の研究者が同時に分析をしてみる、ということらしい。それで many analysts、つまり多数の分析家というわけだ。三人よれば文殊の知恵みたいな話かと思ったら、それとは少し違うという。それだったら普通の共同研究で、メニーアナリスツは「宇宙」の探索を多人数でやるところに特徴があるという⁽¹⁰⁾。

先ほど出てきたマルチバース分析は、ある概念について複数の定義が考えられる分岐点があったら、その先を全て辿ってみようという話だった。しかし研究者も万能ではないので、大事な分岐点を気づかずに見落としてしまうことがあるかもしれない。読者の中にも、デートしてるだけで付き合っていると受け取る人が存在するなんて思いもしなかった、という方がいることだろう。そういう人だけで分析していたら配偶ステータスにかんする分岐点は見落とされてしまう。そこで分析者一人ひとりの視野の狭さを、多数で分析することで補おうというのがメニーアナリスツなのである。

メニーアナリスツ研究では、個々の分析家（もしくは分析チーム）は、自分が最も適切と考える定義を採用してデータを分析する。つまり個々の分析家は自分の辿った道の先に生まれた一つの宇宙だけを分析する。分析家によって分岐点での選択が異なると、たどり着く宇宙も異なったものになる。そうやって限られた研究者では見落とされかねない宇宙を、できるかぎり漏らすことなく探し出すのである。

やってみるとどんな結果になるのだろうか。「それが面白いというか困るというか、分析家ごとにバラバラの結果になる場合があってね」　ある研究では「偉い研究者ほど雄弁である」という仮説が正しいか、オンライン研究フォーラムでの発言記録を使って、メニーアナリスツで検証を試みた⁽¹¹⁾。仮説が正しければ、偉い研究者ほどフォーラムへの書き込みが（統計的に有意に）多いという分析結果が得られるだろう。果たして合計20の分析家チームのうち4チームからはそのような分析結果が報告された。4/20だから、敢えて勝ち負けで言えば勝率は20％だ。先ほどの生理周期と大統領候補支持の研究と比べるとかなり低い。ところが話はそれで終わらない。奇妙なことに、3チームの宇宙では逆の結果になったというのだ。つまり偉い研究者ほど雄弁ではないという結果が有意になった。

「分析家によって真逆の結果になったということですから、交互作用があったってことですか？」「そういう言い方をすれば、そう言えるわね」「それじゃ、心理学的にはきれいな、嬉しい結果ってことですね」「それがそうとも言ってられないのよ」

そろそろ話を整理する必要があるだろう。マルチバースとメニーアナリスツに共通していたのは、一つの仮説について同じデータを分析する際に、同等に適切と思える分析手続きが多数存在することがあり、かつ、それらが時に大きく異なる結論を導くということである。おや、同等に適切だったのは概念の定義で、分析手続きの話なんてどこに出てきたっけと疑問に思われた方は鋭い。ここで言う分析手続きとは、概念の操作的定義に基づいてデータを仕分ける作業のことを指している。ある女性の回答日の排卵可能性の高低を判断する作業のことだから、定義と分析手続きは密接に結びついている。

これはまずい状況である。メニーアナリスツで行われていたことを整理すると状況がクリアになるかもしれない。メニーアナリスツの分析家たちは、各々が適切と考える定義／分析手続きによって研究を進め、その結果を報告した。それは冒頭で述べた通常の心理学者の研究活動——自らが適切と信じる定義を仮に採用して実験や調査を行い、その結果を報告する——と全く同じである。そうした分析家たちがたどり着いた結論がバラバラであったことは、ある仮説についてバラバラの主張をする論文がいくつも発表されていることと同じである。それだけではない。全ての論文が全く同じデータに依拠しているのである。その筋の専門家たちが、全く同じデータから、真逆の見解を、科学的な根拠にもとづいて主張しているのだ。いったい何を信じれば良いのか分からなくなってしまう。

生理周期と投票行動の話に目を転じると、事態はなお深刻である。アメリカのデータの分析結果は「交互作用が有意」な、心理学者にとって「きれい」なものであった。そのお陰か論文はトップジャーナルである Psychological Science 誌に受理されている。掲載された論文では「デート相手がいる」女性を「パートナーなし」とする操作的定義が用いられていた。これを仮に定義Aと呼ぼう。その後に同じデータを用いたマルチバース研究を行ったところ、「デート相手がいる」女性を「パートナーあり」とする宇宙では、交互作用が有意にならないことが多かったのである（仮に定義Bとする）。定義Aと定義Bがどちらも同じくらいに適切な定義と考えられるのなら、どちらも科学的に妥当な主張ということになる。いずれがより正しい結論なのか客観的に判断しようがない。研究者が「デートしているだけではパートナーありとは言えない」と決めることで得た“科学的な分析結果”が、実は言うほど客観的なエビデンスではなかったことになる。しかしその“エビデンス”は堂々と一流誌に掲載されているのだ⁽¹²⁾。

さらにここで、（架空の）日本心理学会会場での学部生の報告のことを思い出そう。彼女のデータでは定義Aではきれいな結果にならなかったが、定義Bではきれいな結果になったという。それについて中堅心理学者が「きれいな方で発表すれば良かったのに」とカマを掛けていた。定義Aの結果は見なかったことにして、定義Bの（きれいな）結果だけを報告しても良かったんじゃない？というヒリヒリした問いかけだ。

どこがヒリヒリしているのか。予めお断りしておくが以下はあくまで一般論であって、生理周期と投票にかんする具体的な論文について論じるものではない。一般論であることが明確になるように「東京から大阪に行くのに電車・飛行機・船のどれを使うか」というドラえもんの話で説明することにしよう。研究で扱う構成概念の定義が交通手段に相当する。研究者がある一つの定義を取り上げるのは「私はこの交通手段が大阪行きだと考えます」と宣言するようなものである。日常生活とは異なり、今から乗ろうとする電車や飛行機の行く先が確実ではない（定義の適切さが客観的に定まらない）のが心理学研究の難しさであることは、過去2回の連載で検討してきた。今号で紹介したマルチバースやメニーアナリスツが示したのは、大阪行きと考えて良さそうな飛行機や電車が数多く見つかるが、必ずしもそれらの全てが大阪行きとは限らないことであった。

ところで心理学論文はしばしば仮説検証型の構造を取る。つまり「私の仮説に基づけば、この電車は大阪行きである」と宣言し、実験や調査を行い、得られたデータを分析した結果として「はい、予測通りに大阪に到着しました。私の仮説は支持されました」と宣言するという構造である。その時に「え、そんな電車も大阪に行くの？」と思わせる予測であればあるほど、そして「へえ、ほんとに大阪に着くんだ」という驚きの結果であればあるほど、その研究は独創的で革新的と評価される傾向がある。雑誌に投稿したら受理される可能性は高くなるし、上手く行けば学会賞をもらえたりして就職にも有利に働く。

ここに問題がある。現実に東京から大阪に行こうとするなら、さまざまな交通手段を試してみるにしても限界がある（お金も時間もかかる）。ましてやそれが「のび太の人生」だったらお試しはまずます困難である。ところがデータの分析はそうではない。あり得そうな交通手段を片端から試してみることができる。そうして無事に大阪に到着できたものを選別し、さらに、その中でも特に意外感のあったケースだけを取り上げて「皆さん意外に思われるかもしれないけれど、私の仮説によればこの方法でも大阪に行けると予測できて、ほら、本当に大阪に付きましたよ。すごいでしょう？」と（技術的には）言えてしまうのである。中堅心理学者はさりげない風を装って「そういうつまみ食いができそうに一瞬思えるけど、あなたはどう思う？」とカマをかけていたのだ。学会デビューほやほやの学部生に「あなたの目指す学問はズルしようと思えばできてしまうものだけど、あなたはどの道を選ぶの？」と問い詰めていたのだ。全くもって穏やかではない。

繰り返しておくが以上は一般論であって、生理周期と大統領候補支持の研究についてことさら論じたものではない。そもそも日心会場での学部生のくだりは完全なフィクションである。大事なことは、一般論として、心理学研究の構造にはつまみ食いを許す余地があるということである。「つまみ食い」という言葉を敢えて選んだことが含意しているように、これはもちろん学問の正当性、厳格性を損なう大きな問題であると筆者は考えている。その何処にどのような問題があるのかは、次回以降で詳らかにしていきたい。

そのためにもまず、そもそもなぜ概念の定義を変えたくらいで結果が大きく変わってしまうのか、という問題を考える必要がある。そんなことがなければ「つまみ食い」が問題になることもない。だいたい科学というものは、本来、客観的なデータと論理的な思考にもとづいて世界の真理の片鱗を明らかにしてくれるものではなかったのか。それにもかかわらず、同じデータについて少し定義を変えて分析したくらいで結論が変わってしまったのは何故なのだろう。次回はその周辺のことを考えてみたい。

1. ドラえもん第1話の記述によればのび太の最初の受験は1979年。文部科学省統計調査企画課による調査から大学進学率は3割未満であることがわかる（ただし男性では約39％）: https://www.ipss.go.jp/syoushika/tohkei/Data/Popular2005/09-03.htm
2. 高校生の姿で日本心理学会の年次大会に潜り込んでいるという設定です。第1回をご参照ください。
3. オバマ元米国大統領の再選時の選挙（2012年）での調査。ロムニーは共和党の候補者。なお日本でのデータの話は創作です。Durante, K. M., Rae, A., & Griskevicius, V. (2013). The fluctuating female vote: politics, religion, and the ovulatory cycle. Psychological Science, 24(6), 1007–1016. https://doi.org/10.1177/0956797612466416
4. 少なからぬ読者はここで、同じ女性が生理周期の時期によって支持する候補者を変えたように思われるかもしれない。実際にはそのような個人内での変化を追跡する調査は行われていない。調査に参加した日にたまたま妊娠可能性の高い時期だった女性の支持先と、低い時期だった女性の支持先を比較しただけである。心理学研究の知見が紹介される時、同一人物内での変化と、異なる人の間での差を混同させるような表現がされることは少なくない。この問題も連載でいずれ扱う予定である。
5. 連載第1回で説明した通り、これは心理学でいう「全体的傾向」である。つまりパートナーのいる排卵期女性の全てが保守より（共和党候補者支持）であったということではなく、相対的に共和党支持者が多かったというに過ぎない。
6. 学部生が参考にした元の原文では relationship status と言及されている。他方で mating status という表現が使われることもある。ほぼ同じ概念に異なるラベルが貼られることも心理学では少なくない。
7. 具体的には月経周期の何日目から何日目を「妊娠可能性の高い時期」と判断するかに違いがある（例：7-14日目、9-17日目など）。マルチバース分析では、月経周期の数え方についても、複数の定義を比較している。
8. Steegen, S., Tuerlinckx, F., Gelman, A., & Vanpaemel, W. (2016). Increasing transparency through a multiverse analysis. Perspectives on Psychological Science, 11(5), 702–712. https://doi.org/10.1177/1745691616658637
9. 帰無仮説検定について知っている方は「多重検定の調整はしたのか」と疑問に思われることだろう。ここでの「有意」は調整していないp値が5%を下回ったことを指している。
10. 実際には概念の定義以外に、分析モデルの設定、サンプル除外規定など、研究仕様（research specification）全体についてのアイディア出しを行う。
11. Schweinsberg, M., Feldman, M., Staub, N., van den Akker, O. R., van Aert, R. C. M., van Assen, M. A. L. M., Liu, Y., Althoff, T., Heer, J., Kale, A., Mohamed, Z., Amireh, H., Venkatesh Prasad, V., Bernstein, A., Robinson, E., Snellman, K., Amy Sommer, S., Otner, S. M. G., Robinson, D., … Luis Uhlmann, E. (2021). Same data, different conclusions: Radical dispersion in empirical results when independent analysts operationalize and test the same hypothesis. Organizational Behavior and Human Decision Processes, 165, 228–249. https://doi.org/10.1016/j.obhdp.2021.02.003
12. これが極端までいった例が、社会心理学のトップジャーナルである Journal of Personality and Social Psychology への「超能力（未来予知）論文」（Bem, 2011)の掲載である。本連載でもいずれ取り上げる予定である。