#Zoomposium mit Dr. #Gabriele #Scheler: "Die #Sprache des #Gehirns - oder wie #KI von #biologischen #Sprachmodellen lernen kann"

Es gibt einen #Paradigmenwechsel weg vom rein informationstechnologischen-mechanistischen, rein daten-getriebenen #Big #Data-Konzept der #LLMs hin zu immer stärker informationsbiologische-polykontexturalen, struktur-getriebenen #Künstliche, #Neuronale #Netzwerke (#KNN)-Konzepten.

Mehr auf: https://philosophies.de/index.php/2024/11/18/sprache-des-gehirns/

oder: https://youtu.be/forOGk8k0W8

#Zoomposium mit Dr. #Gabriele #Scheler: "Die #Sprache des #Gehirns - oder wie #KI von #biologischen #Sprachmodellen lernen kann"

Es gibt einen #Paradigmenwechsel weg vom rein informationstechnologischen-mechanistischen, rein daten-getriebenen #Big #Data-Konzept der #LLMs hin zu immer stärker informationsbiologische-polykontexturalen, struktur-getriebenen #Künstliche, #Neuronale #Netzwerke (#KNN)-Konzepten.

Mehr auf: https://philosophies.de/index.php/2024/11/18/sprache-des-gehirns/

oder: https://youtu.be/forOGk8k0W8

Tokyoter Start-up stellt KI-Modell vor, dass sich stärker am Gehirn orientiert

Die japanische KI-Firma Sakana, ein Startup, das unter anderem von namhaften Ex-OpenAI-Wissenschaftlern wie Llion Jones und David Ha mitgegründet wurde, hat ein neuartiges KI-Modell vorgestellt: die Continuous Thought Machine (CTM). Anders als herkömmliche Transformer-Modelle verlässt es sich nicht auf eine feste Anzahl paralleler Schichten künstlicher Neurone, die gleichzeitig den Input verarbeiten. Stattdessen erlauben CTMs jedem künstlichen Neuron basierend auf einem Kurzzeitgedächtnis seiner bisherigen Aktivität selber zu entscheiden, wann es sich aktivieren will. Diese Entscheidungen erfolgen in internen Schritten, die als „Ticks“ bezeichnet werden, sodass das Modell die Dauer und Intensität seiner Schlussfolgerungen dynamisch anpassen kann. Die Anzahl der Ticks ändert sich je nach den eingegebenen Informationen und kann selbst bei identischen Eingabeinformationen größer oder kleiner sein, da jedes Neuron entscheidet, wie viele Ticks es durchläuft, bevor es ein (oder kein) Ergebnis liefert. Dieser Ansatz stellt sowohl eine technische als auch eine philosophische Abkehr vom konventionellen Deep Learning dar und führt zu einem stärker biologisch geprägten Modell. Sakana hat CTMs als einen Schritt in Richtung einer gehirnähnlichen Intelligenz bezeichnet – Systeme, die sich im Laufe der Zeit anpassen, Informationen flexibel verarbeiten und bei Bedarf tiefere interne Berechnungen durchführen. Die CTM basiert auf zwei Schlüsselmechanismen. Erstens merkt sich jedes Neuron im Modell in seinem Arbeitsgedächtnis eine kurze „Geschichte“ darüber, wann es aktiviert wurde und warum, und nutzt diese Geschichte, um eine Entscheidung darüber zu treffen, wann es als nächstes feuert. Zweitens kann die neuronale Synchronisation – also die Art und Weise, wie und wann Gruppen von künstlichen Neuronen eines Modells gemeinsam „feuern“ oder Informationen verarbeiten – organisch erfolgen. Gruppen von Neuronen entscheiden, wann sie gemeinsam feuern, und zwar auf der Grundlage einer internen Ausrichtung, nicht auf der Grundlage externer Anweisungen oder der Gestaltung von Belohnungen. Diese Synchronisationsereignisse werden steuern die Aufmerksamkeit insofern, als das sie auf die Bereiche gelenkt wird, in denen mehr Neuronen feuern. Im Zusammenspiel sollen diese Konzepte den Rechenaufwand bei simplen Aufgaben senken und bei schwierigen Problemen tiefere und längere Nachdenkphasen initiieren.

Linux-Magazin

#News 📢 aus der #KI-#Forschung 🤖: „Wie #ChatGPT 📱 von menschlichen #Gehirnen 🧠 profitieren kann – oder wie wir #Maschinen 💻 das #Denken 🤓 beibringen“

Ein „Highlight“ war zum Beispiel das sehr spannende Interview „Zoomposium mit Dr. #Patrick #Krauß: „Bauanleitung Künstliches Bewusstsein“, in dem wir ihn zu den Möglichkeiten befragt haben, „wie man die #Theorien des #Bewusstseins – insbesondere jene von #Antonio #Damasio – nutzen könnte, um künstliche Systeme zu entwickeln, die auf "#gefühlten" #Informationen basieren. Diese Grundlage könnte dazu dienen, um #maschinelles #Lernen und #Deep #Learning so zu gestalten, dass KI-Systeme lernen, ähnlich wie #biologische #Organismen auf #Emotionen und #Veränderungen in ihrer #Umgebung zu reagieren.

In diesem Zusamenhang war #Patrick #Krauß auch aktuell vom 03. bis 05. Oktober 2024 auf der #Embodied and #Situated #Language #Processing (#ESLP2024) conference, die von Mitgliedern des #Brain #Language #Lab der #FreienUniversitätBerlin organisiert worden war. Dort hatte er zuammen mit seinem Team von der #FAU die Möglichkeit die neuesten Forschungsergebnisse vorzustellen.

In dem Vortrag von #Patrick #Krauß ging es um eine Studie „Analyzing Narrative Processing in Large Language Models“, die er in Zusammenarbeit mit seinem Kollegen #Achim #Schilling erstellt hatte. Die Ergebnisse dieser Studie basieren zum Teil auf einen Artikel „Leaky-Integrate-and-Fire Neuron-Like Long-Short-Term-Memory Units as Model System in Computational Biology“, für den er und sein Team auf der „International Jount Conference on Neural Networks #IJCNN2023“, der weltweit größten interdisziplinären Konferenz für #künstliche und #biologische #neuronale #Netze zusammen mit seinem Team mit dem #BestPaperAward ausgezeichnet worden ist.

Es geht bei der aktuellen KI-Forschung von Herrn #Krauß folglich um ein echtes „jointventure“ zwischen #KI und #Neurowissenschaft, da die Daten und Methoden direkt zur Verbesserung von großen #Sprachmodellen (#Large #Language #Model #LLM), wie z. B. #ChatGPT beitragen können und im Gegenzug die #kognitiven #Neurowissenschaften aus der #Implementierung und #Simulation von #kognitiven #Prozessen auf #Maschinen ebenfalls wieder etwas über die #Verwendung und #Bildung von #Sprache im #Gehirn erfahren können.

Wer mehr zu #Patrick #Krauß ' sehr interessanten #Forschungsergebnissen erfahren möchte, kann sich hier informieren:

https://www.ai.fau.digital/speakers/dr-patrick-kraus/

oder auf: https://philosophies.de/index.php/2023/10/24/bauanleitung-kuenstliches-bewusstsein/

Dr. Patrick Krauss

Pattern Recognition Lab…

AI.FAU.DIGITAL

#Zoomposium mit Dr. #Gabriele #Scheler: "Die #Sprache des #Gehirns - oder wie #KI von #biologischen #Sprachmodellen

Auch hier zeichnet sich ein allmählicher „#Paradigmenwechsel“ ab, weg vom informationstechnologischen-mechanistischen, daten-getriebenen "#Big #Data"-Konzept der LLMs hin zu immer stärker informationsbiologische-polykontexturalen, struktur-getriebenen „#Künstliche, #Neuronale #Netzwerke (KNN)“-Konzepten vollzieht.

Mehr auf: https://philosophies.de/index.php/2024/11/18/sprache-des-gehirns/

oder: https://youtu.be/forOGk8k0W8

Zoomposium mit Gabriele Scheler: "Die Sprache des Gehirns"

In dem Interview mit der Informatikerin, KI-Forscherin und Neurowissenschaftler Dr. Gabriele Scheler geht es um die Sprache des Gehirns.

philosophies

#Zoomposium mit Dr. #Gabriele #Scheler: "Die #Sprache des #Gehirns - oder wie #KI von #biologischen #Sprachmodellen lernen kann"

Ein „#Paradigmenwechsel“ ab, der weg vom rein informationstechnologischen-mechanistischen, rein daten-getriebenen "#Big #Data"-Konzept der LLMs hin zu immer stärker informationsbiologische-polykontexturalen, struktur-getriebenen „#Künstliche, #Neuronale #Netzwerke (KNN)“-Konzepten vollzieht.

Mehr auf: https://philosophies.de/index.php/2024/11/18/sprache-des-gehirns/

oder: https://youtu.be/forOGk8k0W8

Zoomposium mit Gabriele Scheler: "Die Sprache des Gehirns"

In dem Interview mit der Informatikerin, KI-Forscherin und Neurowissenschaftler Dr. Gabriele Scheler geht es um die Sprache des Gehirns.

philosophies

#Zoomposium mit Dr. #Gabriele #Scheler: "Die #Sprache des #Gehirns - oder wie #KI von #biologischen #Sprachmodellen lernen kann"


Inwiefern die Entwicklung von "Large Language Models (#LLM)", wie z. B. #ChatGPT nicht auch etwas über die Bildung und Verwendung von Sprache im menschlichen Gehirn aussagt.

Interessanterweise wird diese Frage gerade duch die #KI-Forschung und die Computational Neuroscience entschieden voran getrieben. Auch hier zeichnet sich ein allmählicher „#Paradigmenwechsel“ ab, der weg vom rein informationstechnologischen-mechanistischen, rein daten-getriebenen "#Big #Data"-Konzept der LLMs hin zu immer stärker informationsbiologische-polykontexturalen, struktur-getriebenen „#Künstliche, #Neuronale #Netzwerke (KNN)“-Konzepten vollzieht. Genau das hatte ich ja bereits in meinem älteren Essay „Das System braucht neue Strukturen“  zu beschreiben versucht.

Mehr auf: https://philosophies.de/index.php/2024/11/18/sprache-des-gehirns/

oder: https://youtu.be/forOGk8k0W8

Zoomposium mit Gabriele Scheler: "Die Sprache des Gehirns"

In dem Interview mit der Informatikerin, KI-Forscherin und Neurowissenschaftler Dr. Gabriele Scheler geht es um die Sprache des Gehirns.

philosophies

#Zoomposium mit Dr. #Gabriele #Scheler: "Die #Sprache des #Gehirns - oder wie #KI von #biologischen #Sprachmodellen lernen kann"

Es zeichnet sich ein „#Paradigmenwechsel“ ab, der weg vom informationstechnologischen-mechanistischen, daten-getriebenen "#Big #Data"-Konzept der LLMs hin zu immer stärker informationsbiologische-polykontexturalen, struktur-getriebenen „#Künstliche, #Neuronale #Netzwerke (#KNN)“-Konzepten vollzieht.

Mehr auf: https://philosophies.de/index.php/2024/11/18/sprache-des-gehirns/

oder: https://youtu.be/forOGk8k0W8

Zoomposium mit Gabriele Scheler: "Die Sprache des Gehirns"

In dem Interview mit der Informatikerin, KI-Forscherin und Neurowissenschaftler Dr. Gabriele Scheler geht es um die Sprache des Gehirns.

philosophies
Intelligence artificielle : des chercheurs mettent au point une architecture neuronale plus efficace

Des chercheurs ont créé une nouvelle architecture pour l’intelligence artificielle générative, bien moins gourmande en puissance de calcul que celle utilisée actuellement. Le secret ? Imbriquer des réseaux neuronaux les uns dans les autres.

Futura