ICSA 2026 - Open Science Challenge - ICSA 2026

Since the introduction of the Artifacts Evaluation Track in 2021, ICSA has taken important steps toward improving reproducibility and transparency in software architecture research. This track encouraged authors to share their tools, datasets, and replication packages, setting a strong foundation for artifact quality and reusability. Building on this success, we launch the ICSA 2026 Open Science Challenge. This challenge is inspired by ongoing discussions, challenges, and meta-research efforts in the software architecture community and beyond. This includes, among others: Fostering availa ...

ORKG Ask – KI unterstützt Forschende bei Recherchen – Wissen hoch N

YESciEval: Robust LLM-as-a-Judge for Scientific Question Answering

Large Language Models (LLMs) drive scientific question-answering on modern search engines, yet their evaluation robustness remains underexplored. We introduce YESciEval, an open-source framework that combines fine-grained rubric-based assessment with reinforcement learning to mitigate optimism bias in LLM evaluators. We release multidisciplinary scienceQ&A datasets, including adversarial variants, with evaluation scores from multiple LLMs. Independent of proprietary models and human feedback, our approach enables scalable, cost-free evaluation. By advancing reliable LLM-as-a-judge models, this work supports AI alignment and fosters robust, transparent evaluation essential for scientific inquiry.

TIB Hannover / Open Research Knowledge Graph (ORKG) / HITL-LitRev-KG · GitLab

GitLab.com

Open Research Knowledge Graph

Open Research Knowledge Graph

Open Research Knowledge Graph

Frag die Quantenphysik – KI auf der Suche nach Antworten in physikalischer Literatur - TIB-Blog

Die Quantenphysik ist eines der faszinierendsten Forschungsfelder unserer Zeit. So ist es nicht verwunderlich, dass auch einhundert Jahre nach ihrer Begründung weiter viel publiziert wird. Von Grundlagenforschung bis zur Anwendung, von Quantenverschränkung bis Qbits: Allein im Quantenjahr 2025 verzeichnet arXiv bislang über 6.000 Veröffentlichungen zur Quantenphysik. Einen besonders nutzerfreundlichen Zugang ermöglicht der KI-Assistent ORKG Ask. Forschenden können ihre Fragen in natürlicher Sprache stellen und erhalten eine Antwort aus fast 80 Millionen Open-Access-Veröffentlichungen. Zusätzlich zur synthetisierten Kurzzusammenfassung zeigt ORKG Ask eine tabellarische Übersicht der relevantesten Veröffentlichungen an.