Mastodawn

Habr Dec 17, 2024

Как честно распределить вычислительные ресурсы? Показываем на примере YTsaurus

YTsaurus — платформа для распределённого хранения и обработки данных. С помощью неё пользователи могут производить вычисления с данными, которые хранятся на кластере. За запуск этих вычислений отвечает один из центральных компонентов системы — планировщик. Зачастую ресурсов кластера не хватает, чтобы одновременно запустить все желаемые вычислительные задачи. Поэтому одна из важных задач планировщика — умение грамотно распределять вычислительные ресурсы между пользователями. Меня зовут Егор Щербин, я работаю в Yandex Infrastructure, в команде планировщика YTsaurus. О нём и расскажу в этой статье. А также о запуске вычислений в кластере YTsaurus, распределении ресурсов между вычислениями и о том, как управлять распределением, чтобы все операции получали ровно столько, сколько требуется.

https://habr.com/ru/companies/yandex/articles/860562/

#open_source #big_data #scheduling #resource_management

Как честно распределить вычислительные ресурсы? Показываем на примере YTsaurus

YTsaurus — платформа для распределённого хранения и обработки данных. С помощью неё пользователи могут производить вычисления с данными, которые хранятся на кластере....

Хабр

nope Nov 14, 2023

Cabins
(1995) : Miyashita, Kazuo Sycara, Katia
DOI: https://doi.org/10.1016/0004-3702(94)00089-j
#scheduling #knowledge_management #resource_management #agent_architecture #CABINS #case_based_reasoning #my_bibtex

nope Oct 1, 2023

Cabins
(1995) : Miyashita, Kazuo Sycara, Katia
DOI: https://doi.org/10.1016/0004-3702(94)00089-j
#CABINS #case_based_reasoning #agent_architecture #resource_management #scheduling #knowledge_management #my_bibtex

nope Sep 3, 2023

Planning With Critical Section Macros
(2022) : Chrpa, Lukas Vallati, Mauro
DOI: https://doi.org/10.1613/jair.1.13269
#critical_section_macros #macros #planning #machine_learning #resource_management #my_bibtex

Planning with Critical Section Macros: Theory and Practice | Journal of Artificial Intelligence Research

nope Jul 23, 2023

An Organizational View of Distributed Systems
(1988) : Fox, Mark S.
DOI: https://doi.org/10.1016/b978-0-934613-63-7.50015-2
#HearSay_II #herbert_simon #complexity #MAS #organisation #resource_management #distributed_systems #uncertainty #my_bibtex

nope Jul 20, 2023

An Organizational View of Distributed Systems
(1988) : Fox, Mark S.
DOI: https://doi.org/10.1016/b978-0-934613-63-7.50015-2
#resource_management #uncertainty #distributed_systems #HearSay_II #organisation #MAS #complexity #herbert_simon #my_bibtex

nope May 28, 2023

An Organizational View of Distributed Systems
(1988) : Fox, Mark S.
DOI: https://doi.org/10.1016/b978-0-934613-63-7.50015-2
#resource_management #organisation #herbert_simon #complexity #HearSay_II #uncertainty #distributed_systems #MAS #my_bibtex

nope Feb 20, 2023

Development Through Bricolage: Rethinking Institutions for Natural Resource Management
(2012) : Cleaver, Frances
isbn: 978-1-84977-721-6
#resource_management #bricolage #__important #institution #my_bibtex

nope Dec 31, 2022

Rasp and Asp As a Fragment of Linear Logic
(2013) : Stefania Costantini and Andrea Formisano
DOI: https://doi.org/10.1080/11663081.2013.798997
#ASP #RASP #answer_set_programming #linear_logic #resource_management
#my_bibtex