Deeply disappointed and angry at arts evaluators who are seemingly okay, using surveillance tech, like Placer.AI, because they see it as a shortcut to more direct and relational data collection.

Yes, let's give money to these assholes who buy and sell your data by scraping location and financial data up indiscriminately from anyone with any sort of device.

But I guess I'm the stupid one, because I'm the one that's unemployed.

#evaluation #RealEvalTalk #privacy #ethics #surveillance

Registrations are open for the EDA's #Test & #Evaluation Community Days 2026 🇪🇺

Discussions will focus on artificial intelligence, autonomous systems and strengthening European cooperation.

➡️https://eda.europa.eu/news-and-events/events/2026/09/29/default-calendar/test---evaluation-community-days

#EUdefence #AI #AutonomousSystems

Registrations are open for the EDA's #Test & #Evaluation Community Days 2026 🇪🇺

Discussions will focus on artificial intelli...
---
https://nitter.net/EUDefenceAgency/status/2044302927179796979#m

Ivan Fioravanti ᯅ (@ivanfioravanti)

MLX 전용 새로운 벤치마크 suite가 공개/소개되었으며, 로컬 AI 성능 측정과 비교에 유용한 도구로 보입니다. 특히 MLX 생태계에서 다양한 모델과 설정의 성능을 평가하려는 개발자들에게 관심을 끌 만한 내용입니다.

https://x.com/ivanfioravanti/status/2045446687750009024

#mlx #benchmark #localai #ai #evaluation

Gaurav Vij (@Gaurav_vij137)

Alibaba Qwen의 최신 모델 Qwen 3.6 35B A3B에 대한 평가가 완료됐다고 밝혔다. 자율 평가 시스템 withneo를 사용해 성능을 분석했으며, 향후 상세 결과를 공유할 예정이라고 언급했다.

https://x.com/Gaurav_vij137/status/2045434731077173435

#qwen #benchmark #llm #evaluation #ai

stevibe (@stevibe)

BenchLocal용 새 벤치마크 팩 HermesAgent-20을 소개한다. Hermes Agent 소스코드에서 추출한 20개 시나리오를 실제 Hermes 인스턴스에 실행해 모델의 실제 작업 부하를 평가하도록 설계했다. 기존 벤치마크가 충분히 현실적이지 않다는 문제의식에서 만든 도구로, 에이전트 평가 방식 개선에 의미가 있다.

https://x.com/stevibe/status/2045165824294658539

#benchmark #aiagents #evaluation #tooling #opensource

Ivan Fioravanti ᯅ (@ivanfioravanti)

플랫폼별로 권장되는 샘플링 설정을 중앙 저장소에서 API로 가져와 벤치마킹에 활용하는 시스템이 거의 완성됐다고 알린다. temperature, top-p, top-k, min-p 기본값을 제공해 모델 평가와 실험 재현성을 높일 수 있다.

https://x.com/ivanfioravanti/status/2045160329785598231

#sampling #benchmarking #api #llm #evaluation

Sumeet Motwani (@sumeetrm)

긴 추론 능력을 평가하기 위한 새로운 벤치마크 LongCoT가 공개됐다. 수만~수십만 토큰 규모의 장기 추론 성능을 측정하도록 설계됐으며, 화학·수학·체스·논리·컴퓨터과학 등 2.5K개의 문제로 구성된다. 최첨단 모델들도 10% 미만의 점수를 기록했다.

https://x.com/sumeetrm/status/2044805806567104971

#longcot #benchmark #reasoning #llm #evaluation

AshutoshShrivastava (@ai_for_success)

음성 합성(TTS) 벤치마크가 실제 프로덕션 성능을 잘 예측하지 못한다는 문제를 제기한다. 의료용 음성과 청구서 안내 음성처럼 사용 맥락에 따라 필요한 톤과 에너지가 다르며, 이를 평가하기 위해 LLM을 심사관으로 활용해 테스트했다고 언급한다. 음성 AI 평가 방식 개선의 필요성을 보여준다.

https://x.com/ai_for_success/status/2044772943302115445

#tts #llm #benchmark #voiceai #evaluation