Как приручить SLO'на в племени микросервисов

Бизнес Додо активно масштабируется. Уже сейчас Dodo IS круглосуточно работает в двух облаках, более чем в 25 странах и практически во всех часовых поясах. В таких условиях важно знать, что вся система действительно работает хорошо, а не просто «не горит» прямо сейчас. Чтобы это знание обрести, мы привезли в нашу инженерную савану SLO'на — неповоротливое, но умное существо. Он наводит порядок в хаосе метрик и алёртов, и отличает реальную проблему от мнимой. А ещё он требует внимания, точных чисел и ясных целей. Поначалу мы его боялись, но позже поняли: если его приручить, он защитит нас от ночных звонков и научит бизнес говорить на языке надёжности. Сегодня мы расскажем, как приручили своего SLO'на и прошли путь от первых экспериментов с нагрузочным тестированием до построения культуры надёжности.

https://habr.com/ru/companies/dododev/articles/963720/

#slo #observability #надежность_сервисов #метрики_качества #dodoengineering #инженерный_блог

QA-метрики: что на самом деле важно измерять и как в этом помогает TMS

Когда интуитивного тестирования уже недостаточно и качество ведет себя непредсказуемо, метрики перестают быть формальностью и превращаются в обязательный инструмент управления качеством. За годы работы в тестировании я убедился: то, что невозможно измерить — невозможно улучшить. В статье я разберу ключевые QA-метрики и объясню, как TMS помогает сделать картину качества действительно прозрачной.

https://habr.com/ru/articles/968374/

#QAметрики #метрики_качества

Почему QA должен думать о безопасности IT-продукта

Сегодня от приложения ждут не только стабильной работы, но и уверенности в безопасности. На фоне растущего числа кибератак пользователи уделяют всё больше внимания защите своих персональных данных. В связи с этим, информационная безопасность — не опция, а обязательный элемент качества ПО. Часто QA-специалисты фокусируются на функциональности, удобстве использования, пользовательском опыте, упуская из виду свой огромный потенциал в укреплении безопасности продукта. А между тем, именно они могут предотвратить появление уязвимостей или найти их раньше, чем это сделают злоумышленники. И если исправить баг в продакшене — дорого, то исправить последствия успешной кибератаки — во много раз дороже, и речь здесь не только о деньгах, но и о репутации. Привет, Хабр! Я QA-специалист в IT-компании SimbirSoft. И в этой статье разберемся, какую роль QA может играть в обеспечении безопасности IT-продукта. Читать далее ⚡

https://habr.com/ru/companies/simbirsoft/articles/965948/

#тестирование #qa #инструменты_тестирования #метрики_качества #информационная_безопасность #безопасная_разработка

Метрики в тестировании: как в Рунити перешли от ручного сбора данных к автоматизации

Привет, Хабр! Сегодня с вами Анна Асабина, главный инженер по тестированию, и Ольга Султанова, руководитель направления тестирования в Рунити. Мы расскажем о нашем опыте внедрения метрик в тестировании: какие метрики для нас работают, зачем мы автоматизировали их сбор и что в итоге изменилось.

https://habr.com/ru/companies/runity/articles/963166/

#тест #тестирование #тесты #тестировщик #метрики_тестирования #метрики_качества #сборка #алертинг #алерты #автоматизация_тестирования

[Перевод] Метрики качества: Изучи, Примени, Внедри. Часть 3: Статус тестирования и Эффективность исправления багов

Каков наш статус тестирования?  Какая эффективность исправления дефектов? В сегодняшней статье рассмотрим статус тестирования и эффективность исправления дефектов.

https://habr.com/ru/articles/893620/

#инструменты_тестирования #метрики #метрики_качества #метрики_тестирования #testing #qa_metrics #testing_metrics #metrics #quality_assurance #qa_metrics

Как оценить качество машинного перевода

Работая в области машинного перевода в компании Lingvanex, я постоянно читаю статьи в которых сравнивается качество разных переводчиков. Иногда отличие между ними составляет от 0.3 до 1% по какой-либо из метрик, но и это уже повод заявить, что их переводчик - лучший. При оценке качества машинного перевода важно не только сравнить результаты различных систем перевода, но и проверить, являются ли обнаруженные различия статистически значимыми. Это позволяет оценить, насколько полученные результаты достоверны и могут ли они быть применимы к другим наборам данных. В данной статье рассматриваются две наиболее распространенные метрики для оценки качества перевода — BLEU и COMET. Также проводится анализ того, как проверить статистическую значимость различий между двумя системами перевода, используя эти метрики.

https://habr.com/ru/articles/956408/

#переводчик #машинный_перевод #языковые_модели #llm #метрики_качества #machine_translation #оценка_качества #переводчики #bleu #comet

GPT-4o vs YandexGPT: как мы отлаживали метрики в DeepEval из-за требований ИБ

В нашей компании мы занимаемся автоматизацией тестирования и часто сталкиваемся с необходимостью не только разворачивать сложные пайплайны, но и реализовывать метрики, которые действительно помогают выявлять тонкие баги в работе LLM-классификаторов. Есть понятная open-source инфраструктура, привычные инструменты и строгие требования ИБ. Но когда начинаешь сравнивать разные модели-судьи — например, GPT-4o от OpenAI и YandexGPT, — традиционные подходы к валидации и любимые метрики внезапно ведут себя очень по-разному. В этой статье я расскажу, как обычный процесс локализации метрик для DeepEval вывел нас не только на поиск багов в коде, но и привёл к пересмотру самой логики автоматизированной оценки: почему педантичность одной LLM может “маскировать” ошибки, а прагматичность другой — неожиданно улучшить вашу диагностику. Разберём код живых метрик, покажем, как переход от faithfulness к relevancy помог нам обнаружить и устранить важную логическую уязвимость, и выделим пять универсальных уроков, которые понадобятся каждому, кто автоматизирует оценку LLM не “по учебнику”, а по-настоящему. Если вам интересен опыт построения эксплуатируемых, не “пластмассовых” метрик для LLM-классификаторов в условиях ограничений ИБ и смешанных инфраструктур (OpenAI + российские модели) — добро пожаловать под кат!

https://habr.com/ru/companies/raft/articles/937418/

#deepeval #метрики_качества #llm #релевантность #консистентность #автоматизация_тестирования

Все по полочкам: как мы внедряли методологию управления проектами P3.express

В конце прошлого года мы в

https://habr.com/ru/companies/doubletapp/articles/885260/

#менеджмент_проектов #менеджмент_в_it #менеджмент_интернетпроектов #метрики_процесса #метрики_качества #удовлетворенность_клиента #P3express #резюме_проекта #карта_рисков

[Перевод] Метрики качества: Изучи, Примени, Внедри. Часть 1: Качество продукта

Что бы вы хотели знать о тестировании на своем проекте? Какое качество продукта, какая эффективность тестирования, статус QA или эффективность исправления ошибок? В сегодняшней статье расмотрим Качество продукта Удовлетворительно ли качество продукта? Стоит ли его улучшить? Давайте взглянем на несколько метрик, которые помогут нам разобраться.

https://habr.com/ru/articles/883036/

#инструменты_тестирования #метрики #метрики_качества #метрики_тестирования #testing #qa_metrics #testing_metrics #metrics #quality_assurance #qa_metrics

Метрики для технологий письменного общения

Предлагаются метрики для оценки общения при помощи текста. Делается вывод, что по большинству метрик в интернете нет прогресса по сравнению с временами бумажного общения. Прежде чем писать техзадание для будущих платформ надо оценить текущее состояние технологий текстового общения при помощи метрик. Под таким общением я понимаю не только прямое общение при помощи социальных сетей, электронной почты, мессенджеров, форумов и корпоративных средств управления разработкой, но любых технологий на выходе, дающих какой-то текст доступный другим, включая книги, статьи и даже подкасты и умные видео. Перечисленные ниже метрики описывают качество текстов (1 и 2), долговечность и доступ к информации (3 – 5), связность информационного пространства (6 и 7) и отношения между людьми через тексты (7 – 9) . Метрики частично повторяются или дополняют друг друга, например, наличие быстрой обратной связи необходимо для обеспечения качества...

https://habr.com/ru/articles/864484/

#текст #социология #теория_коммуникации #дискурс #дискурсивные_техники #коммуникация #общение #письменность #метрики_качества #метрики