Гайд системного аналитика по корректировкам витрин

Данный материал подходит для тех сотрудников, которые не имеют опыта работы или недавно пришли на проект, связанный с хранилищами данных. Сегодня хотим рассказать вам о рабочих буднях аналитика DWH, точнее об одной из частей этих будней. Надеемся, данное знание пригодится вам для того, чтобы быстро и без нервов освоиться на том проекте, на котором вы будете работать. Информацию описываем вам из нашей практики работы нашего аналитика хранилищ данных. Работу аналитика хранилищ данных можно разделить на две части: 1. Организация интеграции данных от какого-либо источника к какому-либо приемнику; 2. Поиск и решение проблем, связанных с некорректными выходными данными на приемнике, возникающих, например, в результате каких-либо технических сбоев или изменения требований к предоставляемым данным со стороны бизнеса. В этой статье хотим с вами поговорить именно о второй части, так как, согласно практике, именно по ней отсутствует какая-либо документация по действиям для устранения каких-либо проблем. В мире данных, где информация является ключевым активом, процессы ETL играют центральную роль в агрегации, очистке и подготовке данных для анализа и принятия решений. Однако одной из самых неприятных и критических проблем, с которой сталкиваются дата-инженеры и аналитики, является расхождение данных на приемнике (целевой системе) с данными в источнике. Как следствие, это может привести к некорректным отчетам, ошибочным бизнес-решениям и потере доверия к данным. В статье речь пойдет об ETL-процессе, когда с источника данных «протянут» информационный поток со своей логикой преобразований, который «кладет» некорректные данные в приемник.

https://habr.com/ru/companies/neoflex/articles/1017992/

#Neoflex #системный_анализ #системный_аналитик

Как организовать тестовую среду, сохраняя покой владельца данных

Привет, сообществу Habr! Хочу поделиться опытом с коллегами - как мы решили одну из наболевших проблем нашей команды разработки – отсутствие полноты данных для тестирования реализованного функционала в условиях ограниченного доступа к реальным данным компании. Если вы работаете с персональными данными, то наверняка сталкивались с такой проблемой. Наша команда Neoflex работает на проектах заказчика. При старте работ мы всегда подписываем NDA, но все равно этого недостаточно, чтобы владелец доверил нам полный доступ к промышленным данным. Мы его прекрасно понимаем: данные - основа благополучия компании и видеть их должен ограниченный круг лиц, отвечающий за бизнес-результат. Чтобы удовлетворить ожидания заказчика, выполнить вверенную нам работу и достичь высоких результатов при разработке функционала, нам нужны данные для тестирования, близкие к реальным. Тут возникает сложность – на тестовом контуре либо небольшой срез не консистентных промышленных данных, на которых нельзя протестировать полноценно функционал (например, витрину по операциям определенного сегмента клиентов с глубиной месяц, квартал), либо мы начинаем генерировать синтетику, не всегда попадая в нюансы вариативности данных, тратя на это дополнительные ресурсы. Периодически наши члены команды на ретроспективе, разбирая проблемный кейс, обсуждали свою боль – нужен тестовый контур для тестирования с достаточным количеством данных, близких к бизнесовым, обновляемый по расписанию - иначе мы можем выкатить на прод слабо оттестированный функционал.

https://habr.com/ru/companies/neoflex/articles/1003000/

#Маскирование #Neoflex #SQL #СУБД

Ключи в базах данных: больше чем просто идентификатор

Начиная с первых курсов университета, первой ассоциацией у студентов ИТ специальностей со словом «ключ» в базах данных является идентификатор. В принципе это верно, однако следует это понятие расширить – связать его с целостностью данных и производительностью. Рассмотрим эволюцию подходов к работе с ключами на примере роста выдуманной компании NeoCat.

https://habr.com/ru/articles/978212/

#Neoflex #Базы_данных #Классификация_ключей

HumanDynamics: как мы построили цифровой мир, жители которого пошли в банк и взяли кредит

Статья посвящена рассказу о том, как простая задача генерации синтетических данных для банка переросла в создание фреймворка симуляции цифровой цивилизации под названием HumanDynamics.

https://habr.com/ru/companies/neoflex/articles/957104/

#Neoflex #HumanDynamics #llmмодели #llmагент #aiмодель #data_science

ИИ-магия: фронтенд, который думает

Автор: Кристина Паревская, Neoflex Мы живем в мире быстро развивающихся технологий. С каждым годом frontend-разработка проще не становится. Сегодня frontend-разработчики могут не просто создавать обычные формы, но и игры, и даже запускать модели ИИ для выполнения задач, например, распознавания объекта. В данной статье будет рассказано, как на примере системы по распознаванию возгораний объекта в доме можно без backend части добавить в свое приложение модель для обнаружения пожара. Погружаемся в тему пожаров и возгораний Распознавание возгораний объектов на ранних стадиях является важной и актуальной проблемой в наши дни, решение которой снизит экономический риски и спасет жизни многих людей. Такие компании, как Johnson Controls, Honeywell International, Inc., GENTEX CORPORATION, Siemens, Robert Bosch GmbH, Halmaplc, Eaton, Raytheon Technologies Corporation уделяют свое внимание исследованиям в области распознавания возгораний объектов и предлагают свои решения по устранению пожаров. Этими компаниями движут желание помочь людям, быстрое развитие беспроводных технологий и развитие строительной отрасли, охватившей весь мир.

https://habr.com/ru/companies/neoflex/articles/925926/

#Neoflex #frontendразработка

Дело о похищенном рюкзаке: SQL, сложность и слепая вера в ИИ

1. Тревожный звонок Был хмурый лондонский вечер, когда в нашу скромную квартиру на Бейкер-стрит ворвался взволнованный инспектор Лестрейд. — Холмс! Нам срочно нужна ваша помощь! — воскликнул он, сбрасывая с плеч дождевик. — В городе орудует хитрый вор. Он крадёт предметы, но уносит их только в одном рюкзаке ограниченной вместимости. Нам нужно вычислить, какие именно вещи он унесёт, чтобы максимизировать свою добычу!

https://habr.com/ru/companies/neoflex/articles/922036/

#Neoflex #SQL #llmмодели #gpt

Дело о похищенном рюкзаке: SQL, сложность и слепая вера в ИИ

1. Тревожный звонок Был хмурый лондонский вечер, когда в нашу скромную квартиру на Бейкер-стрит ворвался взволнованный инспектор Лестрейд. — Холмс! Нам срочно нужна ваша помощь! — воскликнул он, сбрасывая с плеч дождевик. — В городе орудует хитрый вор. Он крадёт предметы, но уносит их только в одном рюкзаке ограниченной вместимости. Нам нужно вычислить, какие именно вещи он унесёт, чтобы максимизировать свою добычу!

https://habr.com/ru/companies/neoflex/articles/921962/

#SQL #Neoflex

Wochenrückblick, Ausgabe 76 (2025-03)

Themen:

☕ Neuer Espressobereiter im Haus: Coffee Miner Neo Flex

🌳 Update für meinen Linktree

⛰️ Alpine AJAX für Alpine.js

🌦️ smuwetter für schnelle Wetterinfos

🤖 Wikenigma: Wiki für Wissenslücken

🐚 GNU Stow für Dotfiles

🔊 Musik: Stefan Muchte, John 00 Fleming, Vladis Cue, Juliane Wolf.

#Wochenrückblick #Espresso #Kaffee #NeoFlex #CoffeeMiner #Rancilio #Linktree #AlpineJS #htmx #Wetter #OpenData #Wikenigma #CLI #stow #techno

https://www.marcusjaschen.de/blog/2025/2025-03/

Безопасность контейнерных сред: как отбить атаки киберпиратов

В современном мире практически ни одна разработка программного обеспечения не обходится без использования средств контейнеризации, что связано с удобством хранения артефактов и зависимостей. Киберпираты следуют трендам DevSecOps, чтобы повышать энтропию атак на контейнерные среды. Кроме того, растет количество APT группировок, что является сегодня довольно значимой проблемой. В данной статье мы подробно рассматриваем техники злоумышленников, а также рассказываем о существующих тактиках защиты для того, чтобы разработчики или DevOps-инженеры смогли применять их в своей повседневной работе.

https://habr.com/ru/companies/neoflex/articles/837946/

#pentest #devops #devsecops #docker #linux #лучшие_практики #neoflex #kubernetes #docker_escape

AI фэшн-стилист-колорист или как научить модель различать 16,7 млн оттенков без их текстового представления

Небольшое интро, в котором многие себя узнают Как часто, листая продуктовый каталог в интернет-магазине одежды, вы не находили товар нужного вам оттенка? Наткнувшись на юбку мечты, вы перебираете в уме все имеющиеся в арсенале аксессуары и понимаете, что ничего подходящего нет. Нужно срочно искать нечто как минимум идеальное для этого образа! Но как перебирать товары вручную? Как отфильтровать их по ограниченному набору предлагаемых цветов? А теперь представьте, что вас пригласили на свадьбу с заранее определенной палитрой желательных цветов для костюма. Согласитесь, вероятность успеха в поисках не так велика в условиях, если нужно подобрать, например, светло-пурпурный. И вопрос работы с оттенками является важным не только при подборе гардероба. Сфера интерьерного дизайна неразрывно связана с цветовыми решениями при согласовании элементов декора, выборе краски, обоев и отделочных материалов; Цифровой дизайн работает с логотипами, баннерами, интерфейсами, в которых также важна колористика; Индустрия красоты : подбор оттенков косметики, которые будут гармонировать с кожей и одеждой клиента; Искусство: анализ цветовой палитры произведений искусства, реставрация картин, создание новых произведений с учетом цветовых гармоний; Реклама: создание ярких и запоминающихся материалов с учетом психологии восприятия цвета; Автомобили и мотоциклы : поиск краски для маскировки царапин или полной перекраски, чтобы цвет точно соответствовал оригиналу; выбор аксессуаров — диски, накладки, коврики и чехлы, которые соответствуют цвету транспортного средства.

https://habr.com/ru/companies/neoflex/articles/823326/

#neoflex #datascience #computervision #deeplearning #keras #tensorflow #tripletloss #neuralnetworks #sklearn #python