One poorly delivered joke in 2019 became the catalyst for the most human breakthrough in AI: RLHF.
Now, machines aren’t just answering—they’re understanding us.
This isn’t the future. It’s happening now.
⬇️ See how empathy, feedback, and a little comedy changed everything.
#AIAlignment #RLHF #EthicalAI #HumanFeedback
👉
https://medium.com/@rogt.x1997/the-joke-that-taught-ai-empathy-inside-the-rlhf-breakthrough-174a56d91bf7

Good point made by @soumith on X:
"Open LLMs need to get organized and co-ordinated about sharing human feedback. It's the weakest link with Open LLMs right now. They don't have 100m+ people giving feedback like in the case of OpenAI/Anthropic/Bard."
#Opensource #AI #LLM #GenerativeAI #humanfeedback

Könntet ihr euch ein #KI-System zur Unterstützung bei der #Formalerschließung von physisch vorliegenden Medien in #Bibliotheken und #Informationseinrichtungen vorstellen? Ich schon. Deswegen habe ich dazu in diesem Semester ein menschenzentriertes Konzept ausgearbeitet, das sich die Kombination von #OCR und #LLM zu Nutze machen will, um letztendlich alle an der #Katalogisierung beteiligten Mitarbeitenden zu entlasten und damit mehr Zeit für den "Feinschliff" der Datensätze oder natürlich auch andere Tätigkeiten bleibt: https://doi.org/10.5281/zenodo.8075090

Sind euch ähnliche Ansätze bekannt? Oder bin ich (wieder mal) nur ein Träumer? Mein Dozent meinte, er sieht Potenzial, ob ich ein Startup daraus machen wolle? Ich: Eine Unternehmung, die darauf ausgelegt ist, sich an den nächstbesten Großkonzern zu verkaufen? Nee, das haben wir im Bibliotheks-IT-Sektor schon seit Jahrzehnten, dass die kleinen innovativen Firmen von Monopolen geschluckt werden. Da ich aber ein Freund davon bin, Wissen allen Menschen frei zugänglich zu machen, könnt ihr euch in dem oben verlinken Zenodo-Repository einfach selbst ein Bild von meiner Idee machen und zwar in der Form
- eines Problemszenarios (Beschreibung einer typischen Realsituation in Storytelling-Manier mit Personas, um herauszustellen, welches Problem mit der KI-Anwendung gelöst werden soll),
- eines Aktivitätsszenarios (Vorstellung einer typischen Situation in Storytelling-Manier mit Personas, wie es in Zukunft mit KI besser laufen soll),
- einer Claims-Analyse (Vor- und Nachteile der wichtigsten Funktionen des KI-Konzepts),
- eines AI Project Canvas (eine auf menschenzentrierte KI-Projekte zugeschnittene Abwandlung eines Business Canvas)
- eines AI Service Blueprints (ein auf menschenzentrierte KI-Projekte zugeschnittene Abwandlung eines Service Blueprints)

Shoutout an KI-Trainer Manuel Kulzer von der @hdmstuttgart, der meinen Kommiliton*innen und mir im Projekt #HumanCenteredAI die hier verwendeten Methoden nahegebracht und uns davor bewahrt hat, in Technology-Push-Ansätze abzudriften. Vielleicht das auch als kleine Anregung an @dini, @bib_info und alle, die gerade Veranstaltungen zum Einsatz von KI-Tools planen, mal auf die menschenzentrierten Ansätze ein Auge zu werfen. Das Human-Centered Design stellt nicht KI, die von Menschen trainiert werden muss, sondern Endnutzer*innen in den Mittelpunkt, denen die KI helfen soll.

CC:
@SemAntiKast hatte mal Ende Mai hier eine ähnliche Frage in den Raum geworfen, ob #ChatGPT et al. die Inhaltserschließung obsolet machen könnten.
@kaiec hier ist meine Idee, über die wir uns mal unterhalten hatten, jetzt etwas konkreter gedacht.
#Automatisierung #Informationssysteme #LLMs #GenerativeKI #ReinforcementLearning #HumanFeedback

The secret to making #AIChatbots sound #smart and #spew less #toxic nonsense is to use a technique called reinforcement learning from #HumanFeedback, which uses input from people to improve the model’s answers. It relies on a small army of #human #data #annotators who evaluate whether a string of text makes sense and sounds fluent and natural. They decide whether a response should be kept in the AI model’s database or removed. https://www.technologyreview.com/2023/06/13/1074560/we-are-all-ais-free-data-workers

In the intro to his keynote on Reasoning with Realistically Imperfect Knowledge, Alexander Gray is comparing gpt-3 rlhf to Shub-Niggurath, a mythical goddess from the Lovecraftian monster universe
#eswc2023 #lovecraft #reinforcementlearning #humanfeedback #gpt #rlhf