Кто такой инженер по обеспечению качества данных и почему без него уже не обойтись?

Современный бизнес переживает очередную трансформацию под влиянием информационных технологий. Он движется от стадии слепого принятия концепций больших данных (Big data) и искусственного интеллекта к более осознанной работе с информацией. На этом фоне появляются новые профессии, такие как инженер по обеспечению качества данных — data quality assurance engineer, или просто инженер DQ, как часто указывают в вакансиях. Почему эта профессия на пике востребованности, где она нужна и кому легче освоить её прямо сейчас? На эти и другие вопросы отвечают эксперты российской ИТ-компании «Криптонит»: руководитель департамента тестирования Александр Гречин и ведущий инженер по тестированию качества данных Вероника Казакова. Как и в любой профессиональной среде, у специалистов по работе с данными есть своя терминология. Мы подготовили краткий глоссарий, чтобы говорить с вами на одном языке: Метаданные, или «данные о данных» — это их происхождение (источник), формат, время создания, правила обработки и контроля качества. Например, к нам загружаются таблицы с данными о компании (ИНН, названием компании, коды ОКВЭД и так далее). Здесь метаданные — это атрибуты таблицы (какие колонки мы загружаем, какой в них тип данных, обязательно ли их заполнение, какие правила мы накладываем на значения. Пайплайны (data pipelines): автоматизированные последовательности получения, преобразования и перемещения данных из источников в хранилища. Пайплайны работают как конвейеры, подготавливающие сырые данные для их дальнейшего анализа.

https://habr.com/ru/companies/kryptonite/articles/1014180/

#data_quality #qa_engineer #data_driven #OpenMetadata #Soda #качество_данных #quality_assurance #Great_Expectations #ETL #карьера_в_IT

Хроники Agent Driven Development трансформации .1: улучшаем agent feedback loop

Как перевести продакшен-проект на рельсы agent-driven development - когда LLM-агенты становятся полноценными участниками разработки, а не просто подсказчиками в автокомплите ? Реальный опыт на реальном проекте ! Продолжаем улучшать Feedback Loop. В предыдущей статье я ускорил прогон тестов в 6 раз. Теперь — следующий шаг: LLM-агент генерирует тесты. Два подхода (sprint-driven и coverage-driven), шестиуровневый pipeline верификации, двух-агентная архитектура, оптимизация feedback loop — и 68 тестовых файлов на выходе с acceptance rate 86.8% при ревью живыми разработчиками. В статье — конкретика: как анализировал покрытие и свежесть документации, как ускорял компиляцию для агента, на чём экономил токены, и что сказала команда на code review.

https://habr.com/ru/articles/1010148/

#LLM #Scala #agentdriven_development #code_coverage #автоматизация #quality_assurance #тестирование #agent_driven_development #AI #sbt

Разметка данных: самая дорогая часть машинного обучения

Доброго времени суток, «Хабр»! В предыдущей своей статье я рассматривал различные функции потерь - важную часть машинного обучения. Но даже такие функции совершенно беспомощны перед лицом беспорядка. Сегодня мы рассмотрим то, что предшествует любой тренировке - разметку данных. Как и в предыдущей статье, приведу простенькое сравнение. Если модель - ученик, то разметка данных своего рода учебник, по которому она занимается. При этом создание такого учебника часто оказывается трудоемким, медленным и дорогостоящим этапом всего цикла ML-проекта. Принимайте стратегические удобное положение, ну а я начинаю свое повествование.

https://habr.com/ru/companies/bothub/articles/985662/

#разметка_данных #ai #ии #нейросеть #машинное_обучение #Data_Science #dataset #quality_assurance #active_learning #Weak_Supervision

Как Устранить Stop Code 0xc00002e2 в доменной сети на серверной ОС в VMware?

Всем привет! Меня зовут Владимир. Я работаю в одной из крупных IT-компаний занимающейся разработкой цифровых продуктов предназначенных для кибербезопасности. Моя роль на проекте - готовить стенды для тестирования десктопных продуктов, проведение ручного тестирования и запуск автотестов. При неправильном удалении снапшотов (удаление не по порядку слева-направо), так же возможно после аварийного завершения работы ОС, при следующем включении машины с контроллером домена (Windows Server 2022) появился синий экран - Stop Code 0xc00002e2 . Никакие бэкапы, откаты снапшотов не помогают. На просторах интернета решение проблемы найти было трудно.

https://habr.com/ru/articles/970766/

#тестирование_по #синий_экран_смерти #quality_assurance #настройка_стенда_для_тестирования

[Перевод] Метрики качества: Изучи, Примени, Внедри. Часть 3: Статус тестирования и Эффективность исправления багов

Каков наш статус тестирования?  Какая эффективность исправления дефектов? В сегодняшней статье рассмотрим статус тестирования и эффективность исправления дефектов.

https://habr.com/ru/articles/893620/

#инструменты_тестирования #метрики #метрики_качества #метрики_тестирования #testing #qa_metrics #testing_metrics #metrics #quality_assurance #qa_metrics

[Перевод] Лидерство в тестировании: управление своей карьерой

В условиях стремительных перемен в ИТ‑сфере специалистам по тестированию необходимо быть гибкими, осваивать новые подходы и непрерывно развивать лидерские и коммуникативные навыки. Это помогает оставаться конкурентоспособными вне зависимости от технологий.

https://habr.com/ru/articles/957360/

#paulgerard_leadership #лидерство #тестирование #тестирование_по #тестирование_приложений #тестировщик #leadership #qa #software_testing #quality_assurance

От Jest к Vitest на backend тестах: как мы мигрировали тестовый фреймворк для ускорения CI и повышения стабильности

Привет! Я Максим Кузьмин, старший инженер по автоматизации в команде Т-Путешествий. Строю и развиваю процессы автоматизации и разрабатываю инструменты тестирования. Для внутренних нужд мы разработали фреймворк для изолированного тестирования бэкенда. Он написан на TypeScript, обеспечивает гибкость, масштабируемость и интеграцию с разными внутренними системами. Выступает как единое решение для написания, запуска и поддержки тестов в стабильной и предсказуемой среде. В статье будет история миграции с Jest на Vitest. Расскажу, какие проблемы подтолкнули нас к переходу, как мы адаптировали окружение и какие результаты получили. Поделюсь опытом улучшения скорости запуска тестов и стабильности результатов. Надеюсь, что наш опыт поможет кому-то превратить автотесты из источника проблем в устойчивый инструмент контроля качества.

https://habr.com/ru/companies/tbank/articles/960872/

#тестирование #backend #qa_automation #автоматизация_тестирования #javascript #typescript #shiftleft #улучшение_процессов #quality_assurance #process_improvement

Мы запретили программистам писать код и ускорили релизы в 2 раза. Как к этому пришли

Мы ускорили релизный цикл в 2 раза за счёт жёсткого shift‑left: запретили писать и коммитить код без ранней проверки требований и автогенерации тестов ИИ. Рассказываем, как у нас это получилось и насколько выгоден такой подход компании. Читайте, как этого добились

https://habr.com/ru/companies/surfstudio/articles/957184/

#qa_automation #qa #qa_testing #qa_strategy #qa_mobile #ai #ииассистент #ииагенты #проверки #quality_assurance

Если эффективность есть, то зрение опционально

💥 «Слепые не видят преград — только дедлайны» Сложности в трудоустройстве есть у некоторых всех. Вы знали, что люди с инвалидностью и без отзываются об этом одинаковыми словами? Одни говорят «Трудоустройте меня, потому что "Я слепой, мне и так трудно”», а другие «У меня же ипотека, войдите в моё положение» или «Я работаю в айти уже 30 лет, у меня гигантский опыт, а эйчары даже не отвечают. Рынок найма сломался!» Больно? Ещё как! Но если мы будем просто жалеть себя и в панике наматывать круги в чатах по поиску работы, никакого толкового КПД не родим. В этой статье я поделюсь своим личным опытом и опытом других людей со слепотой о том, как найти и реализовать себя, будь то работа, блогерство или проекты в искусстве. И этот опыт как никогда пригодится тебе, мой нормотипичный друг.

https://habr.com/ru/companies/alfa/articles/956126/

#незрячие #карьера #доступность #quality_assurance #qa

AI и QA: убьёт ли ChatGPT профессию тестировщика?

«ChatGPT убьёт тестировщиков» — миф или реальность? Рассказываю, как AI уже влияет на сферу QA и почему инженеры не останутся без работы.

https://habr.com/ru/articles/932394/

#тестирование #qa #qa_automation #quality_assurance #chatgpt #автоматизация_тестирования #искусственный_интеллект #машинное+обучение #карьера_qa #ai