Как организовать тестовую среду, сохраняя покой владельца данных

Привет, сообществу Habr! Хочу поделиться опытом с коллегами - как мы решили одну из наболевших проблем нашей команды разработки – отсутствие полноты данных для тестирования реализованного функционала в условиях ограниченного доступа к реальным данным компании. Если вы работаете с персональными данными, то наверняка сталкивались с такой проблемой. Наша команда Neoflex работает на проектах заказчика. При старте работ мы всегда подписываем NDA, но все равно этого недостаточно, чтобы владелец доверил нам полный доступ к промышленным данным. Мы его прекрасно понимаем: данные - основа благополучия компании и видеть их должен ограниченный круг лиц, отвечающий за бизнес-результат. Чтобы удовлетворить ожидания заказчика, выполнить вверенную нам работу и достичь высоких результатов при разработке функционала, нам нужны данные для тестирования, близкие к реальным. Тут возникает сложность – на тестовом контуре либо небольшой срез не консистентных промышленных данных, на которых нельзя протестировать полноценно функционал (например, витрину по операциям определенного сегмента клиентов с глубиной месяц, квартал), либо мы начинаем генерировать синтетику, не всегда попадая в нюансы вариативности данных, тратя на это дополнительные ресурсы. Периодически наши члены команды на ретроспективе, разбирая проблемный кейс, обсуждали свою боль – нужен тестовый контур для тестирования с достаточным количеством данных, близких к бизнесовым, обновляемый по расписанию - иначе мы можем выкатить на прод слабо оттестированный функционал.

https://habr.com/ru/companies/neoflex/articles/1003000/

#Маскирование #Neoflex #SQL #СУБД

Ключи в базах данных: больше чем просто идентификатор

Начиная с первых курсов университета, первой ассоциацией у студентов ИТ специальностей со словом «ключ» в базах данных является идентификатор. В принципе это верно, однако следует это понятие расширить – связать его с целостностью данных и производительностью. Рассмотрим эволюцию подходов к работе с ключами на примере роста выдуманной компании NeoCat.

https://habr.com/ru/articles/978212/

#Neoflex #Базы_данных #Классификация_ключей

HumanDynamics: как мы построили цифровой мир, жители которого пошли в банк и взяли кредит

Статья посвящена рассказу о том, как простая задача генерации синтетических данных для банка переросла в создание фреймворка симуляции цифровой цивилизации под названием HumanDynamics.

https://habr.com/ru/companies/neoflex/articles/957104/

#Neoflex #HumanDynamics #llmмодели #llmагент #aiмодель #data_science

ИИ-магия: фронтенд, который думает

Автор: Кристина Паревская, Neoflex Мы живем в мире быстро развивающихся технологий. С каждым годом frontend-разработка проще не становится. Сегодня frontend-разработчики могут не просто создавать обычные формы, но и игры, и даже запускать модели ИИ для выполнения задач, например, распознавания объекта. В данной статье будет рассказано, как на примере системы по распознаванию возгораний объекта в доме можно без backend части добавить в свое приложение модель для обнаружения пожара. Погружаемся в тему пожаров и возгораний Распознавание возгораний объектов на ранних стадиях является важной и актуальной проблемой в наши дни, решение которой снизит экономический риски и спасет жизни многих людей. Такие компании, как Johnson Controls, Honeywell International, Inc., GENTEX CORPORATION, Siemens, Robert Bosch GmbH, Halmaplc, Eaton, Raytheon Technologies Corporation уделяют свое внимание исследованиям в области распознавания возгораний объектов и предлагают свои решения по устранению пожаров. Этими компаниями движут желание помочь людям, быстрое развитие беспроводных технологий и развитие строительной отрасли, охватившей весь мир.

https://habr.com/ru/companies/neoflex/articles/925926/

#Neoflex #frontendразработка

Дело о похищенном рюкзаке: SQL, сложность и слепая вера в ИИ

1. Тревожный звонок Был хмурый лондонский вечер, когда в нашу скромную квартиру на Бейкер-стрит ворвался взволнованный инспектор Лестрейд. — Холмс! Нам срочно нужна ваша помощь! — воскликнул он, сбрасывая с плеч дождевик. — В городе орудует хитрый вор. Он крадёт предметы, но уносит их только в одном рюкзаке ограниченной вместимости. Нам нужно вычислить, какие именно вещи он унесёт, чтобы максимизировать свою добычу!

https://habr.com/ru/companies/neoflex/articles/922036/

#Neoflex #SQL #llmмодели #gpt

Дело о похищенном рюкзаке: SQL, сложность и слепая вера в ИИ

1. Тревожный звонок Был хмурый лондонский вечер, когда в нашу скромную квартиру на Бейкер-стрит ворвался взволнованный инспектор Лестрейд. — Холмс! Нам срочно нужна ваша помощь! — воскликнул он, сбрасывая с плеч дождевик. — В городе орудует хитрый вор. Он крадёт предметы, но уносит их только в одном рюкзаке ограниченной вместимости. Нам нужно вычислить, какие именно вещи он унесёт, чтобы максимизировать свою добычу!

https://habr.com/ru/companies/neoflex/articles/921962/

#SQL #Neoflex

Wochenrückblick, Ausgabe 76 (2025-03)

Themen:

☕ Neuer Espressobereiter im Haus: Coffee Miner Neo Flex

🌳 Update für meinen Linktree

⛰️ Alpine AJAX für Alpine.js

🌦️ smuwetter für schnelle Wetterinfos

🤖 Wikenigma: Wiki für Wissenslücken

🐚 GNU Stow für Dotfiles

🔊 Musik: Stefan Muchte, John 00 Fleming, Vladis Cue, Juliane Wolf.

#Wochenrückblick #Espresso #Kaffee #NeoFlex #CoffeeMiner #Rancilio #Linktree #AlpineJS #htmx #Wetter #OpenData #Wikenigma #CLI #stow #techno

https://www.marcusjaschen.de/blog/2025/2025-03/

Безопасность контейнерных сред: как отбить атаки киберпиратов

В современном мире практически ни одна разработка программного обеспечения не обходится без использования средств контейнеризации, что связано с удобством хранения артефактов и зависимостей. Киберпираты следуют трендам DevSecOps, чтобы повышать энтропию атак на контейнерные среды. Кроме того, растет количество APT группировок, что является сегодня довольно значимой проблемой. В данной статье мы подробно рассматриваем техники злоумышленников, а также рассказываем о существующих тактиках защиты для того, чтобы разработчики или DevOps-инженеры смогли применять их в своей повседневной работе.

https://habr.com/ru/companies/neoflex/articles/837946/

#pentest #devops #devsecops #docker #linux #лучшие_практики #neoflex #kubernetes #docker_escape

AI фэшн-стилист-колорист или как научить модель различать 16,7 млн оттенков без их текстового представления

Небольшое интро, в котором многие себя узнают Как часто, листая продуктовый каталог в интернет-магазине одежды, вы не находили товар нужного вам оттенка? Наткнувшись на юбку мечты, вы перебираете в уме все имеющиеся в арсенале аксессуары и понимаете, что ничего подходящего нет. Нужно срочно искать нечто как минимум идеальное для этого образа! Но как перебирать товары вручную? Как отфильтровать их по ограниченному набору предлагаемых цветов? А теперь представьте, что вас пригласили на свадьбу с заранее определенной палитрой желательных цветов для костюма. Согласитесь, вероятность успеха в поисках не так велика в условиях, если нужно подобрать, например, светло-пурпурный. И вопрос работы с оттенками является важным не только при подборе гардероба. Сфера интерьерного дизайна неразрывно связана с цветовыми решениями при согласовании элементов декора, выборе краски, обоев и отделочных материалов; Цифровой дизайн работает с логотипами, баннерами, интерфейсами, в которых также важна колористика; Индустрия красоты : подбор оттенков косметики, которые будут гармонировать с кожей и одеждой клиента; Искусство: анализ цветовой палитры произведений искусства, реставрация картин, создание новых произведений с учетом цветовых гармоний; Реклама: создание ярких и запоминающихся материалов с учетом психологии восприятия цвета; Автомобили и мотоциклы : поиск краски для маскировки царапин или полной перекраски, чтобы цвет точно соответствовал оригиналу; выбор аксессуаров — диски, накладки, коврики и чехлы, которые соответствуют цвету транспортного средства.

https://habr.com/ru/companies/neoflex/articles/823326/

#neoflex #datascience #computervision #deeplearning #keras #tensorflow #tripletloss #neuralnetworks #sklearn #python

Как маскировка данных спасает вашу приватность

Сколько личной информации о вас хранится в мире онлайна? От финансовых операций и медицинских досье до социальных сетей и корпоративных баз данных – данные каждого из нас оказываются в цифровом пространстве, привлекая внимание злоумышленников и вызывая беспокойство как у нас, так и у служб безопасности. Одним из распространенных методов защиты является маскировка данных. Для более ясного понимания этого процесса давайте рассмотрим различные техники маскировки и попробуем разобраться, с чем это едят. Данная статья нацелена на джунов и специалистов, которые только начинают погружаться в тематику.

https://habr.com/ru/companies/neoflex/articles/820333/

#neoflex #data_security #personal_data #masking #machine_learning #how_to #data_leakage_prevention #sql #pyspark