An unintended but positive side effect of the rise of AI and LLMs is that it may accelerate the long overdue reform of research assessment. If the "journals" are flooded with slop academia will be forced to take DORA seriously.
An unintended but positive side effect of the rise of AI and LLMs is that it may accelerate the long overdue reform of research assessment. If the "journals" are flooded with slop academia will be forced to take DORA seriously.
RE: https://mastodon.social/@OpenAIRE/116283445949332979
Excited to share this @OpenAIRE interview with @mathijsvleugel, head of our office & Chair of the #CoARA National Chapter Germany, reflecting on research assessment & sharing insights into our survey "Valuing what matters?" (further information & data set: https://doi.org/10.5281/zenodo.18944700) #ResponsibleResearchAssessment (lmf)
What should research assessment really value?
In our latest interview, Dr Mathijs Vleugel reflects on the gap between what is rewarded in evaluation and what researchers believe should count.
🔗Read the interview: https://shorturl.at/Ou1L3
RE: https://wisskomm.social/@WissRat/116211637900668257
Zwei Beobachtungen aus der Pressekonferenz:
1) Quantitative Rankings sieht die Jury beim internationalen Wettbewerb kritisch. So fiel die Anmerkung, dass qualitative Begutachtungsverfahren gestärkt werden sollen und die Forschungsbewertung generell eine willkommene Veränderung durchlaufe (Stichwort #CoARA).
2) Die @BerlinUAlliance erhielt insbesondere Lob für ihren kooperativen Ansatz (Forschung, Lehre, Studium, Infrastruktur). Und die Ausweitung auf @b_r_50 wurde explizit begrüßt.
Quantitative Metriken setzen falsche Anreize. Was in vielen Disziplinen längst ein strukturelles Problem ist, hat die #Rechtswissenschaft noch nicht erfasst. Sie kann #Bewertungslogiken sowie #Publikationsinfrastruktur noch so gestalten, dass diese den epistemischen Anforderungen der Disziplin entsprechen & eine belastbare Grundlage für #Forschungsbewertung schaffen.
Wie? Dazu habe ich mit @philippfalkenburg bei #IntRechtDok ein #Preprint veröffentlicht:
https://doi.org/10.17176/20260309-114602-0
#CoARA #DOA #OA
In the #RESQUE evaluation scheme („Research Quality Evaluation scheme for psychological research“), there is an indicator for publications: “Correctness of computational results has been independently verified“.
With CODECHECK, you can request and upload a verification certificate. This gives you "extra points“ in our evaluation scheme, as this is a real quality criterion.
#researchAssessment #CoARA @aufdroeseler https://nerdculture.de/@aufdroeseler/116165190898955396
📣 Der neueste Helmholtz Open Science Newsletter ist da!
Wir berichten u.a. über:
✅ Das Helmholtz Open Science Office hat seinen eigenen #CoARA Aktionsplan zur Reform der Wissenschaftsbewertung veröffentlicht.
🇪🇺 Neue Impulse und forschungspolitische Entwicklungen aus Brüssel.
🔙 Rückblick: Highlights vom Forum Helmholtz Research Data Commons und Online-Seminar „Open Research Information in Action“.
👉 Jetzt lesen: https://os.helmholtz.de/ueber-uns/newsletter/113
The Helmholtz Open Science Office has published its own #CoARA action plan.
The action plan offers:
🕶️ An overview of the interactions between open science and research assessment reform
👁️ Classification of the current status quo
🚀 Measures and planned activities for the period 2026–2030