IQuestLab đã phát hành IQuest-Coder-V1, một mô hình ngôn ngữ lớn (LLM) với 40 tỷ tham số chuyên về lập trình. IQuest-Coder-V1 đã đạt được kết quả hàng đầu trên các bài kiểm trabenchmarks như SWE-Bench Verified (81.4%), BigCodeBench (49.9%), và LiveCodeBench v6 (81.1%).

#IQuestLab #IQuestCoderV1 #LLM #CodingWithAI #SWE #BigCodeBench #LiveCodeBench

https://www.reddit.com/r/LocalLLaMA/comments/1q0vom4/iquestlabiquestcoderv1_40b_parameter_coding_llm/

[Перевод] Сравнение бенчмарков LLM для разработки программного обеспечения

В этой статье мы сравним различные бенчмарки, которые помогают ранжировать крупные языковые модели для задач разработки программного обеспечения.

https://habr.com/ru/articles/857754/

#LLM #бенчмарки #бенчмаркинг #HumanEval #DevQualityEval #CodeXGLUE #Aider #SWEbench #ClassEval #BigCodeBench