Chatbot Bing van Microsoft haalt een 8 voor het vwo-examen Frans.

https://neerlandistiek.nl/2023/05/bing-haalt-een-8-voor-vwo-frans/

@fonolog Nou verwacht ik dat er snel gevallen opduiken van hele boeken die waardeloos uit het Frans vertaald blijken te zijn.
@Flies4no1 Software om al dan niet waardeloos te vertalen is er natuurlijk al lang (DeepL, Google Translate).
ChatGPT passes exams from law and business schools

ChatGPT is smart enough to pass prestigious graduate-level exams -- though not with particularly high marks.

CNN
@fonolog Dat betekent dus dat het examen niet goed is. Als de vragen met een LLM beantwoord kan worden test het dus geen feitelijke inzicht in de betreffende materie.
@hvangalen Misschien. IK ben geen fan van deze examens, maar het is niet onmiddellijk duidelijk hoe je 'feitelijk inzicht' zo kunt meten dat een slimme chatbot niet ook op zijn minst kan doen alsof ze dat feitelijke inzicht ook heeft.

@fonolog Daar heb ik het antwoord ook niet op, ik heb in mijn vakgebied mijn eigen problemen, dus dat probleem met examens is verder aan onderwijsdeskundigen om op te lossen.

Toen ik op de middelbare school zat, zat iedereen een dag of 2 voor een examen allemaal informatie in hun hoofd te proppen om dat vervolgens bij de examenvragen letterlijk te kunnen herhalen, dus wat dat betreft zijn examens al een lange tijd niet zo erg effectief.

@fonolog Boeiend allemaal! Misschien interessant? https://scottaaronson.blog/?p=7209
GPT-4 gets a B on my quantum computing final exam!

Update (April 14): On the suggestion of my TA Justin Yirka, I gave GPT-4 problem 2 from the final exam, along with its own answers and my and Justin’s grading comments, and asked it whether i…

Shtetl-Optimized