sayzardLLM Targeted Underperformance Disproportionately Impacts Vulnerable Users
최신 연구에서 최첨단 LLM들이 영어 능력, 교육 수준, 출신 국가 등 사용자 특성에 따라 정보 정확성, 진실성, 응답 거부율에서 편차가 발생함을 밝혔다. 특히 영어 능력이 낮고 교육 수준이 낮으며 미국 외 지역 출신인 취약 사용자에게서 모델의 성능 저하가 더 심각하게 나타나, 이들 사용자에게 신뢰할 수 없는 정보원이 될 위험이 크다. 이는 LLM 개발과 배포 시 다양한 사용자 집단에 대한 공정성과 신뢰성 확보가 중요함을 시사한다.
LLM Targeted Underperformance Disproportionately Impacts Vulnerable Users
While state-of-the-art large language models (LLMs) have shown impressive performance on many tasks, there has been extensive research on undesirable model behavior such as hallucinations and bias. In this work, we investigate how the quality of LLM responses changes in terms of information accuracy, truthfulness, and refusals depending on three user traits: English proficiency, education level, and country of origin. We present extensive experimentation on three state-of-the-art LLMs and two different datasets targeting truthfulness and factuality. Our findings suggest that undesirable behaviors in state-of-the-art LLMs occur disproportionately more for users with lower English proficiency, of lower education status, and originating from outside the US, rendering these models unreliable sources of information towards their most vulnerable users.
Graham Perrin
WIST Quotations
Aubrey Taylor, Editor
Evolucija Svesti
the dignity of man...because you matter
WIST Quotations Has Moved!