HARKing
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2024/09/15 15:43 UTC 版)
HARKingは社会心理学者のノーバート・カーが造語した頭字語であり、「結果が判明したあとに仮説を作る」hypothesizing after the results are known[1]という疑わしい研究慣行を意味する。[2]カー(1998)はHARKingを「研究レポートのイントロダクションで事後仮説を事前仮説であったかのように提示すること」と定義した。[1]HARKingは研究者が事前仮説をテストして、結果が得られてから研究レポートからその仮説を省くときに起きることもある。
分類
HARKingは下記のようにいくつかに分類される:
- THARKing
- 隠すのではなく、非公開にするのでもなく、明示的に結果が判明したあとに仮説を作ること(Transparently hypothesizing after the results are known)。カー(1998)によって初めて提案された。このケースでは、研究者ははっきりと自分は研究結果が得られてから仮説を構築したと述べる。(Hollenbeck & Wright, 2017).[3]
- CHARKing (or Pure HARKing)
- CHARKing (Rubin, 2017)または"純HARKing" (Kerr, 1998)は結果が判明したあとに仮説を作り、その仮説を事前仮説として提示することを指す(constructing new hypotheses after the results are known and presenting them as a priori hypotheses)。[1][4]CHARKingはHARKingの典型例とされることがよくある。
- RHARKing
- RHARKingは結果が判明したあとに既存の学説から古い仮説を取り出して、その仮説を事前の仮説として提示することを指す(retrieving old hypotheses from the existing literature after the results are known and presenting them as a priori hypotheses)。(Rubin, 2017)[4]RHARKedされた仮説は、現在の研究結果を知る前に開発され公開されたという意味で、事前の仮説とみなせることに注意。[4][5]
- SHARKing
- 仮説テストの結果が判明したあとに事前の仮説を隠す(Suppressing a priori hypotheses after the results of tests of those hypotheses are known) (Kerr, 1998; Rubin, 2017)[1][4]
- Active and passive HARKing
- 能動的(Active) HARKingは研究者が自分の研究を出版投稿するまえにHARKingするときに起きる。受動的(Passive) HARKingは研究者がピアレビュープロセスで編集者と査読者の求めに応じてHARKingしたときに起きる。(Rubin, 2017, p. 317).[4]
科学コミュニティにおける関心
HARKingへの科学コミュニティーにおける関心の上昇は、カー(1998)の影響力の大きい論文の引用数の増加に見て取れる。[6]Google Scholarによれば、カーの論文の2000年から2009年における引用数は平均4.3回/年だった。引用数は2010年から2019年には90.5回/年に増加し、2018年から2019年には224.5回/年だった。
研究者の間での蔓延
2017年の6つのサーベイでは、平均して研究者の43%がHARKingを“少なくとも一回”やったことがあると答えた。[4]この数字はもし仮に研究者が(a)疑わしい研究慣行を報告することをためらっていたり、(b)HARKingは編集者や査読者に提案されたので自分には責任がないと考えていたり(つまり、受動的HARKing)、(c)後知恵バイアスや確証バイアスによって自分がHARKingしていることを認識していない場合には、過小評価の可能性がある。
研究者の動機
HARKingは事前の仮説を事後の仮説よりも重視し、null result（仮説を支持する結果が見つからないこと）を冷遇する出版バイアスが存在する出版環境において研究を世に出したい欲望に動機づけられているようである。 研究者は、自分の研究結果を出版する可能性を高めるために、有意な結果が得られなかった事前の仮説を密かに隠して、予想されなかった有意な結果を説明できる事後の仮説を構築または取り繕い、そして研究レポートにおいて、新しい事後の仮説を事前の仮説であったかのように提示する。[1][7][8][4][9]
予測と収容
HARKingは予測と収容に関する議論と関係がある。予測では、仮説は事前の理論とエビデンスから演繹される。収容では、仮説は現在の研究結果から帰納される。[6]ある見方では、HARKingは収容の一形態を表し、研究者はアドホックな仮説をその時の研究結果から帰納する。(Kerr, 1998).[1]別の見方では、HARKingは予測の一形態を表し、研究者は、その時の研究結果を知ってから、事前の理論とエビデンスを用いて仮説を演繹する。(Rubin, 2019).[6]
科学への潜在コスト
カー(1998, p. 211)はHARKingの潜在コストを12項目挙げた:
- 第一種過誤を根絶困難な理論に変換する
- カール・ポパーの不承認テストに合格できない理論を提案する
- 事後の説明を事前の説明と偽装する
- なにがうまくいかなかったかという貴重な情報を伝えない
- 正当化できない統計的お墨付きを取得する
- 生徒に科学の不正確なモデルを提示する
- ほかのグレーな領域でごまかしを助長する
- 偶然の発見がしにくくなる
- 狭くて文脈に縛られた新理論の採用を助長する
- 広すぎる、確証できない古い理論の保持を助長する
- ありえそうな別の仮説の特定を阻害する
- 暗黙のうちに基本的な倫理原則に違反している
Rubin (2019)はKerr's (1998)のHARKingの12のコストに対する批判的分析を提供した。彼は、これらの費用は「見当違いに案出されており、HARKingに誤って結びつけられており、証拠が不足しており、出版前および出版後の査読や研究資料やデータの公開を考慮していない」と結論付けた。[6]
HARKingと再現性の危機
HARKingのコストの一部が科学における再現性の危機に繋がったと思われている。[3]Bishop (2019)はHARKingを出版バイアス、低い検定力、p値ハッキング[10]に並ぶ“再現性アポカリプスの4騎士”であると述べている。[11]HARKingが再現性危機の原因の一部だと結論づけるのは時期尚早だとする見方もある。[6][4][12]
データ収集前の、研究仮説の事前登録制はHARKingを特定し、阻止するための方法として提案されている
倫理的問題
Kerr (1998, p. 209)は「HARKingは隠蔽を伴うことがある。よって問うべきなのはHARKingによって隠されたものが“真理”にとって有用な部分なのか、それとも反対に基本的に情報が提供されていないのか（よって、著者の裁量で安全に無視できるようなものなのか）」であるとしている。(p. 209).[1]HARKingの倫理に関して3つの立場があり、HARKingが「“真理”にとって有用な部分」を隠すかどうかによって異なる。
最初の立場は、科学研究を正直かつ完全に伝達するという基本原則に違反しているため、すべてのHARKingはすべての状況下で非倫理的であるというものである。(e.g., Kerr, 1998, p. 209).[1]この立場によれば、HARKingは常に真理の有用な部分を隠している。この立場と合致して、2017年のTwitter投票では、212票の75.5％が「著者が事後の分析のあとで思いついた仮説で、事前の仮説をテストしたと主張することは詐欺である。」という意見に賛同した。[13]
二番目の立場は、HARKingは倫理的実践の“グレーゾーン”であるとするものである。(Butler et al., 2017; Kerr, 1998).[1][14]この立場によれば、HARKingはある状況下で、形態によってより倫理的だったり、より非倫理的だったりする。[15][4][16][6]したがって、いくつかの形態のHARKingだけが、ある条件下で真理の有用な部分を隠す。この立場と合致して、2018年の119人のアメリカの研究者の調査では、("予期しない結果を最初から仮説だったと報告する")HARKingは"明確に非倫理的"な研究慣行よりも"あいまいに非倫理的"な研究慣行であるとされた。[17]
三番目の立場は、仮に(a)理論的根拠で説明されているように、仮説が明示的に事前の理論とエビデンスから演繹でき、そして(b)読者が関連する研究データと資料にアクセスできるならば、HARKingは許容できるというものである。(Rubin, 2019)[6]この立場によれば、HARKingは読者がHARKingされた仮説の(a)理論的品質と妥当性と(b)仮説がテストされた方法論的厳密さについて、適切な情報に基づいた評価をすることを阻止しない。[6][16]この場合、HARKingは真理の有用な部分を隠さない。さらに、研究者は、たとえ結果を知った後に予測が推論されたとしても、事前の理論と証拠が結果を予測すると主張するかもしれない。[6][18]
参考文献
- ^ a b c d e f g h i Kerr, N. L. (1998). “HARKing: Hypothesizing after the results are known.”. Personality and Social Psychology Review 2 (3): 196–217. doi:10.1207/s15327957pspr0203_4. PMID 15647155.
- ^ John, L. K.; Loewenstein, G.; Prelec, D. (2012). “Measuring the prevalence of questionable research practices with incentives for truth telling.”. Psychological Science 23 (5): 524–532. doi:10.1177/0956797611430953. PMID 22508865.
- ^ a b Hollenbeck, J. R.; Wright, P. M. (2017). “Harking, sharking, and tharking: Making the case for post hoc analysis of scientific data.”. Journal of Management 43: 5–18. doi:10.1177/0149206316679487.
- ^ a b c d e f g h i Rubin, M. (2017). “When does HARKing hurt? Identifying when different types of undisclosed post hoc hypothesizing harm scientific progress”. Review of General Psychology 21 (4): 308–320. doi:10.1037/gpr0000128.
- ^ Vancouver, J. B. (2020). “Navigating the review process through the holier than thou”. Industrial and Organizational Psychology 13: 72–75. doi:10.1017/iop.2020.8.
- ^ a b c d e f g h i Rubin, M. (2019). “The costs of HARKing”. British Journal for the Philosophy of Science. doi:10.1093/bjps/axz050.
- ^ Mazzola, J. J.; Deuling, J. K. (2013). “Forgetting what we learned as graduate students: HARKing and selective outcome reporting in I–O journal articles”. Industrial and Organizational Psychology: Perspectives on Science and Practice 6 (3): 279–284. doi:10.1111/iops.12049.
- ^ O’Boyle, E. H. Jr.; Banks, G. C.; Gonzalez-Mulé, E. (2017). “The chrysalis effect: How ugly initial results metamorphosize into beautiful articles”. Journal of Management 43: 367–399. doi:10.1177/0149206314527133.
- ^ Cairo, A. H.; Green, J. D.; Forsyth, D. R.; Behler, A. C.; Raldiris, T. L. (2020). “Gray (literature) matters: Evidence of selective hypothesis reporting in social psychological research”. Personality and Social Psychology Bulletin 46 (9): 1344–1362. doi:10.1177/0146167220903896. PMID 32093574.
- ^ Simmons, Joseph P.; Nelson, Leif D.; Simonsohn, Uri (17 October 2011). “False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant” (英語). Psychological Science. doi:10.1177/0956797611417632 13 October 2020閲覧。.
- ^ Bishop, D. (2019). “Rein in the four horsemen of irreproducibility”. Nature 568 (7753): 435. Bibcode: 2019Natur.568..435B. doi:10.1038/d41586-019-01307-2. PMID 31019328.
- ^ Mohseni, A. (2020). HARKing: From misdiagnosis to misprescription. 12 November 2020閲覧。.
- ^ “It is fraud for an auth to assert that a study tested an a priori hypothesis that the auth knowingly thought of only after post hoc analysis”. Twitter. 3 March 2020閲覧。
- ^ Butler, N.; Delaney, H.; Spoelstra, S. (2017). “The gray zone: Questionable research practices in the business school”. Academy of Management Learning & Education 16: 94–109. doi:10.5465/amle.2015.0201.
- ^ Leung, K. (2011). “Presenting post hoc hypotheses as a priori: Ethical and theoretical issues”. Management and Organization Review 7: 471–479. doi:10.1017/CBO9781139171434.009.
- ^ a b Vancouver, J. N. (2018). “In defense of HARKing”. Industrial and Organizational Psychology 11: 73–80. doi:10.1017/iop.2017.89.
- ^ Sacco, D. F.; Bruton, S. V.; Brown, M. (2018). “In defense of the questionable: Defining the basis of research scientists' engagement in questionable research practices”. Responsible Conduct of Research and Research Integrity 13 (1): 101–110. doi:10.1177/1556264617743834. PMID 29179623.
- ^ Worrall, J. (2014). “Prediction and accommodation revisited”. Studies in History and Philosophy of Science 45: 54–61. doi:10.1016/j.shpsa.2013.10.001. PMID 24984450.
HARKing
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/05/15 19:18 UTC 版)
また、多数のデータを比較したときに、たまたま相関係数が強く出た組み合わせの結果をもとに、事前の仮説を訂正して論文を書き上げる行為は、HARKingと呼ばれる。探索的研究としてではなく、仮説検証型の研究としてHARKingを行った論文を公表することは、偶然の結果を、あたかも強い意味がある結果であるかのように誤認させ、第一種や第二種の過誤をしてしまう可能性が高いため、研究の手続きとして大きな問題がある。
※この「HARKing」の解説は、「相関係数」の解説の一部です。
「HARKing」を含む「相関係数」の記事については、「相関係数」の概要を参照ください。
- HARKingのページへのリンク