Selin @ Real Scientists DEApr 8
¡Hola de nuevo! ☀️ Unter meinen Posts diese Woche findet ihr bisher viele Links zu Quellen und Artikeln. Das ist ggf. ein schöner Anlass für einen Exkurs, über "gute wissenschaftliche Praxis" nachzudenken und v.a. diese (⬇️ Danke!) spannende Frage aufzugreifen. Ich bin gespannt auf Eure Resonanzen! 💭

RE: https://bsky.app/profile/did:plc:sxywerxczndu352qmtynj3hp/post/3mistqxwvrc24
Show threadSelin @ Real Scientists DEApr 8
Was lief/läuft schief? Wie läufts besser? Welche Auswirkungen hat das, welche Strukturen wirken potenziell begünstigend? Ein (teils ggf. nerdig anmutender) Thread zur Reproduzierbarkeitssituation und Vertrauen in Psychologie & psych. Forschung 🧵:
Show threadSelin @ Real Scientists DEApr 8
2015 replizierte die Open Science Collaboration 100 als "klassisch" geltende psych. Studien. Ergebnis: Nur ~36% hatten wieder signifikante Ergebnisse. Effektgrößen im Schnitt halbiert. Ein herber Einschnitt, aber auch Startschuss für Open Science Revolution. (www.science.org/doi/10.1126/...)
Show threadSelin @ Real Scientists DEApr 8
Wie konnte das sein? Bad practice 1: p-Hacking. Daten so lange anders analysieren (andere Stichproben, Ausreißer raus, andere Tests), bis Signifikantes rauskommt (oft: p < .05). Heißt m.E.: Daten ausquetschen, bis sie gestehen, was man hören will. (doi.org/10.1037/a0033242)
Show threadSelin @ Real Scientists DEApr 8
Bad practice 2: HARKing. Hypothesizing After Results are Known. Schaue erst die Daten an, findee etwas Signifikantes — und schreibe dann so, als wäre genau das schon vorher gesucht. Paper: klingt sauber. Das Vorgehen: eher nicht. "Wilhelm Tell" der fragwürdigen Forschungspraktiken, #Apfel #Pfeil.
Show threadSelin @ Real Scientists DEApr 8
(Quelle zu HARKing: doi.org/10.4088/JCP.20f13804)
HARKing, Cherry-Picking, P-Hacking, Fishing Expeditions, and Data Dredging and Mining as Questionable Research Practices

In this article, Dr Andrade helps readers identify several types of statistical analysis that violate scientific principles and that researchers may knowingly—or unknowingly—engage in.

Psychiatrist.com
Show threadSelin @ Real Scientists DEApr 8
Bad practice 3: Publication bias. Journals drucken gerne "Es wirkt!" versus "Kein Effekt gefunden." Studien mit Null-Befunden laufen Gefahr, in der Schublade zu landen (= "file drawer problem"). Literatur wird dadurch systematisch verzerrt — Metaanalysen stützen sich auf einen ggf. verzerrten Pool.
Show threadSelin @ Real Scientists DEApr 8
Immerhin: Es gibt inzwischen gute Methoden, Publikationsverzerrungen zu untersuchen, z.B. Funnel Plots oder visuelle Inspektion von Egger's Test (z.B. doi.org/10.1136/bmj.323.7304.101).
Investigating and dealing with publication and other biases in meta-analysis

This is the second in a series of four articles Studies that show a significant effect of treatment are more likely to be published, be published in English, be cited by other authors, and produce multiple publications than other studies.1–8 Such studies are therefore also more likely to be identified and included in systematic reviews, which may introduce bias.9 Low methodological quality of studies included in a systematic review is another important source of bias.10 All these biases are more likely to affect small studies than large ones. The smaller a study the larger the treatment effect necessary for the results to be significant. The greater investment of time and money in larger studies means that they are more likely to be of high methodological quality and published even if their results are negative. Bias in a systematic review may therefore become evident through an association between the size of the treatment effect and study size—such associations may be examined both graphically and statistically. #### Summary points Asymmetrical funnel plots may indicate publication bias or be due to exaggeration of treatment effects in small studies of low quality Bias is not the only explanation for funnel plot asymmetry; funnel plots should be seen as a means of examining “small study effects” (the tendency for the smaller studies in a meta-analysis to show larger treatment effects) rather than a tool for diagnosing specific types of bias Statistical methods may be used to examine the evidence for bias and to examine the robustness of the conclusions of the meta-analysis in sensitivity analyses “Correction” of treatment effect estimates for bias should be avoided as such corrections may depend heavily on the assumptions made Multivariable models may be used, with caution, to examine the relative importance of different types of bias ### Funnel plots Funnel …

The BMJ
Show threadSelin @ Real Scientists DEApr 8
Good practices in a nutshell:
Show threadSelin @ Real Scientists DEApr 8
✅ Präregistrierung: Hypothesen & Methoden vor Datenerhebung festlegen (z.B. Open Science Framework). ✅ Open Data, Materials & Code. ✅ Reproduzierbare Analysecodes und transparentes Forschungsdatenmanagement. ✅ Größere Stichproben. ✅ Multi-Lab-Studien (Psychological Science Accelerator, Many Labs).
Show threadSelin @ Real Scientists DEApr 8
Auch die Abweichung von präregistrierten Analysen und deren begründete, transparente Dokumentation kann die eigene Forschungsethik stärken.
Show threadSelin @ Real Scientists DEApr 8
In Psychotherapieforschung besonders relevant: Adversarial Collaboration: Formen der Zusammenarbeit, bei denen Vertretende unterschiedlicher Auffassungen gemeinsam daran arbeiten, das Wissen auf einem strittigen Gebiet zu erweitern. (doi.org/10.1038/d41586-025-01379-3)
Show threadSelin @ Real Scientists DEApr 8
Aber läuft es denn inzw. besser? Bogdan (2025) analysierte >240.000 psych. Artikel 2004–2024: Anteil fragiler p-Werte sank von 32% auf ~26%. Noch kein Wunder, aber ein Trend. Problem bleibt: Top-Universitäten publizieren noch immer schwächere p-Werte. Anreize zählen. (doi.org/10.1177/2515...)
Show threadSelin @ Real Scientists DEApr 8
Wer viel publiziert, macht Karriere. Wer sorgfältig repliziert, aktuell noch nicht. Smaldino & McElreath (2016): Fragwürdige Forschungsmethoden können sich auch ohne per se betrügerische Intentionen durchsetzen — sondern durch Selektion. "Publish or perish". (doi.org/10.1098/rsos.160384)
The natural selection of bad science

Abstract. Poor research design and data analysis encourage false-positive findings. Such poor methods persist despite perennial calls for improvement, sugg

The Royal Society
Show threadSelin @ Real Scientists DEApr 8
Good news: Immer mehr Fachzeitschriften bieten "Registered Reports" an. Peer Review vor Erhebung (Stage 1). Bei erfüllten Qualitätskriterien erfolgt In-Principle Acceptance: Publikation unabhängig vom Ergebnis (Stage 2). Damit verliert p-Hacking seinen Zweck. (cos.io/initiatives/registered-reports)
Registered Reports

Peer review before results are known to align scientific values and practices.

Show threadSelin @ Real Scientists DEApr 8
Es gibt auch Stimmen, die sagen: Nicht alle Reformen sind neutral. Zu starre Methoden-Normen könnten epistemische Vielfalt beschneiden — also kreative Abweichungen, die Wissenschaft voranbringen. Krise als Chance: ja. Zugleich: Selbstkritik braucht auch verlässliche Bezugsdaten. 🤔
Show threadSelin @ Real Scientists DEApr 8
Übrigens: Gestern und heute arbeite ich parallel an einem Ressourcenpaket, als technische Unterstützungsangebote für psychologische Abschlussarbeiten an unserem Lehrstuhl. Ziel: Analysen und deren Dokumentation maximal offen und reproduzierbar gestalten. Falls es dazu Fragen gibt: Gerne her damit! 💬
Show threadSelin @ Real Scientists DEApr 8
In Lehre empfehle ich, bei wiss. Artikeln zuerst den Methodenteil zu lesen, um die Aussagekraft flugs besser einschätzen zu können. Insgesamt ist mein Eindruck, dass Sprache in Wissenschaft, anders als vielleicht vor hundert Jahren, inzwischen etwas weniger elitär ist. Way to go. Wie seht ihr das?
Show threadSelin @ Real Scientists DE
#nextgen | Eine gute Nachricht (in meinem Eindruck): Psychologiestudium im DACH-Raum ist inzwischen äußerst stark orientiert an guter wissenschaftlicher Praxis, Offenheit, toleranter Fehler-/Selbstreflexionskultur und methodisch/statistisch insgesamt sehr gut.
Apr 8 at 1:44pmWeb
Show threadSelin @ Real Scientists DEApr 8
Das zahlt auch wundervoll auf aktuelle Aufgaben meiner Uni-Rolle ein: Es macht Spaß, mit klugen Studierenden über Forschungsprojekte und Abschlussarbeiten sprechen zu dürfen. Das ist auch deshalb besonders wertvoll, da ich ja selbst noch gar nicht allzu lange aus dem eigenen Studium "raus" bin.
Show threadSelin @ Real Scientists DEApr 8
tl;dr: Replikationskrise = Vertrauenskrise? Prinzipiell ja, auch empirisch so: Gescheiterte Replikationen senken das Vertrauen der Öffentlichkeit in Forschende und Befunde. Aber: Transparente Kommunikation von Open-Science-Reformen kann diesen Effekt abpuffern. (doi.org/10.1007/978-...)
Show threadSelin @ Real Scientists DEApr 8
Woran merkt Ihr, dass Ihr Sicherheit und Vertrauen beim Lesen von Wissenschaft/-skommunikation erlebt? Was wünscht Ihr Euch von Akteur*innen und Institutionen? Ich lese mit und bin gespannt. 💭