jcbForscher des MIT entwickeln einen neuen Ansatz, um die Problemlösungsfähigkeiten großer Sprachmodelle entscheidend zu verbessern: https://www.linux-magazin.de/news/mit-mit-neuem-ansatz-fuer-problemloeser-sprachmodelle/
MIT mit neuem Ansatz für Problemlöser-Sprachmodelle
Forscher des MIT haben einen neuen Ansatz dafür entwickelt, großen Sprachmodellen das Lösen komplizierter Probleme zu ermöglichen. Anders als bei bisherigen Ansätzen versuchten sie dabei nicht, die nativen Problemlösungsfähigkeiten eines großen Sprachmodells (LLM) zu verbessern. Stattdessen verwenden Sie das LLM dazu, die vom Benutzer in natürlicher Sprache eingegebene Problembeschreibung in eine mathematische Formulierung zu übersetzen, mit der eine spezielle Optimierungssoftware umgehen kann. Die direkte Benutzung des Optimierungsalgorithmus wäre für nicht speziell vorgebildete Anwender zu kompliziert. Das LLM aber kann die nötige Übersetzung leisten. Mithilfe des von den Forschern entwickelten Frameworks, das LLM-Based Formalized Programming (LLMFP) genannt wird, gibt eine Person eine natürlichsprachliche Beschreibung des Problems, Hintergrundinformationen zur Aufgabe und eine Abfrage, die ihr Ziel beschreibt. Dann fordert LLMFP ein LLM auf, über das Problem nachzudenken und die Entscheidungsvariablen und die wichtigsten Einschränkungen zu bestimmen, die die optimale Lösung formen werden. Das LLMFP fordert das LLM auf, die Anforderungen an jede Variable detailliert zu beschreiben, bevor die Informationen in eine mathematische Formulierung eines Optimierungsproblems umgewandelt werden. Es schreibt einen Code, der das Problem kodiert, und ruft den angeschlossenen Optimierungslöser auf, der eine ideale Lösung findet. Die Forscher testeten ihr System an neun komplexen Aufgaben, wie beispielsweise der Minimierung der Strecke, die Lagerroboter zur Erledigung von Aufgaben zurücklegen müssen. Dabei erzielte das System eine Erfolgsquote von 85 Prozent, während die beste Basislösung nur eine Erfolgsquote von 39 Prozent erreichte. „Unsere Forschung führt einen Rahmen ein, der im Wesentlichen als intelligenter Assistent für Planungsprobleme fungiert. Er kann den besten Plan finden, der allen Anforderungen gerecht wird, selbst wenn die Regeln kompliziert oder ungewöhnlich sind“, sagt Yilun Hao, Doktorand am MIT Laboratory for Information and Decision Systems (LIDS) und Hauptautor einer Veröffentlichung zu dieser Forschung.
Benjamin Strobel
Nutt Los
bmftr_bund
Mark Albers
Medienzentrum LK Harburg