𝗡𝗶𝗲𝘂𝘄 𝗴𝗲𝘃𝗮𝗹 𝘃𝗮𝗻 𝗵𝗮𝗻𝘁𝗮𝘃𝗶𝗿𝘂𝘀 𝗴𝗲𝗺𝗲𝗹𝗱 𝗶𝗻 𝗡𝗲𝗱𝗲𝗿𝗹𝗮𝗻𝗱

De Wereldgezondheidsorganisatie (WHO) heeft melding gemaakt van 'nog een geval' van het hantavirus in Nederland. Het gaat om een bemanningslid van het cruiseschip Hondius, waar het virus uitbrak, dat vanuit Tenerife is gerepatrieerd en geïsoleerd is voor behandeling.

https://www.rtl.nl/nieuws/binnenland/artikel/5604512/nieuw-geval-van-hantavirus-gemeld-nederland

#hantavirus #geval #Nederland

[Перевод] Оценка систем LLM: основные метрики, бенчмарки и лучшие практики

Оценка LLM-систем вручную — это утомительное, времязатратное и порой раздражающее занятие. Поэтому, если вам приходилось многократно прогонять набор промптов, чтобы вручную проверять каждый вывод LLM, вас обрадует, что эта статья научит вас всему необходимому для правильной оценки LLM и обеспечения долгосрочной эффективности вас и вашего приложения на основе LLM. Оценка LLM относится к процессу обеспечения соответствия выходных данных LLM человеческим ожиданиям, которые могут варьироваться от этических и безопасных соображений до более практических критериев, таких как правильность и релевантность выходных данных LLM. С инженерной точки зрения эти выходные данные LLM часто можно найти в форме тестовых кейсов , в то время как критерии оценки формализуются в виде метрик оценки LLM . На повестке дня: В чем разница между оценкой LLM и оценкой системы LLM , а также их преимущества Офлайн-оценки , что такое бенчмарки системы LLM, как создавать наборы данных для оценки и выбирать правильные метрики оценки LLM, а также распространенные ошибки Оценки в реальном времени и их польза для улучшения наборов данных для офлайн-оценок Реальные примеры использования систем LLM и как их оценивать , включая chatbotQA и Text-SQL

https://habr.com/ru/articles/874538/

#LLM #TextSQL #deepeval #бенчмарки #geval

[Перевод] Метрики оценки LLM: полное руководство по оценке LLM

Независимо от того, улучшаете ли вы точность модели путем дообучения или улучшаете контекстную релевантность системы генерации с дополненной выборкой (RAG), понимание того, как разрабатывать и выбирать подходящий набор метрик оценки LLM для вашего варианта использования, является обязательным для построения надежного конвейера оценки LLM. В этой статье вы научитесь всему, что нужно знать о метриках оценки LLM, включая примеры кода. Мы рассмотрим следующие вопросы: Что такое метрики оценки LLM , как их можно использовать для оценки систем LLM , а также распространенные ошибки и что делает метрики отличными. Различные методы вычисления метрик оценки LLM и почему подход LLM-as-a-judge («LLM как судья») является наиболее эффективным. Как реализовать и выбрать подходящий набор метрик оценки LLM с использованием библиотеки DeepEval ( GitHub: DeepEval ).

https://habr.com/ru/articles/873332/

#llm #rag #BLEU #ROUGE #METEOR #GEval #Prometheus #GPT_OpenAI #bertscore #moverscore

Как ухватить LLM за хвост: эффективные стратегии тестирования AI-моделей

Как убедиться, что ваша LLM не выдаст полную чепуху в самый неподходящий момент? Как проверить, что она действительно понимает контекст, а не просто генерирует красивые, но бессмысленные фразы? И самое главное — как сделать это эффективно, не тратя недели на ручную проверку тысяч ответов? Давайте разберёмся!

https://habr.com/ru/articles/853038/

#LLM_тестирование #LangSmith #GEval #DeepEval #AI_метрики #LLM

tonight!

#BoomLeeds #BrainrotterRecords #LeedsGigs #UKHC #TheAnnihilated #TSWarspite #LastOrders #Churchgoers #Fixer #Motive #Distort #TheSocial #Geval #BloodFeud