Налоговая как data‑driven система: почему ваши транзакции не проходят валидацию

Большинство компаний до сих пор уверены, что налоговая «проверяет документы». Договор есть, акт подписан, оплата прошла — значит, всё в порядке. Проблема в том, что эта логика больше не работает. Сегодня налоговая — это не про инспектора с папкой. Это система, которая сравнивает данные. И если данные не сходятся, никакие идеально оформленные документы уже не спасают. Почему бизнес «ломается» об новую реальность ФНС давно перестроилась в data‑driven модель. Проще говоря, теперь она работает не как проверяющий орган, а как система обработки данных. Каждая операция, которую вы проводите, не остаётся внутри вашей компании. Она становится частью общей цепочки: деньги, товары, контрагенты — всё связывается между собой. И вот здесь возникает главный вопрос, который раньше никто не задавал: а совпадает ли ваша версия реальности с версиями других участников цепочки? Если нет — система это увидит. Как на самом деле работает налоговый контроль Если перевести происходящее на язык IT, получается довольно понятная картина. Сначала данные собираются из разных источников: банков, онлайн‑касс, таможни, государственных реестров. Затем они приводятся к единому формату и попадают в единую систему — АИС «Налог‑3». Дальше начинается самое важное — сопоставление. Система не читает документы так, как это делает человек. Она смотрит, совпадают ли данные: есть ли операция у обеих сторон, совпадают ли суммы, логично ли выглядит цепочка поставки, есть ли у участников ресурсы для выполнения сделки. Если картина складывается — всё проходит спокойно. Если нет — появляется так называемый «налоговый разрыв».

https://habr.com/ru/articles/1023540/

#налоговые_разрывы #АСК_НДС #налоговая_безопасность #ФНС #обработка_данных #консистентность_данных #data_driven

Кто такой инженер по обеспечению качества данных и почему без него уже не обойтись?

Современный бизнес переживает очередную трансформацию под влиянием информационных технологий. Он движется от стадии слепого принятия концепций больших данных (Big data) и искусственного интеллекта к более осознанной работе с информацией. На этом фоне появляются новые профессии, такие как инженер по обеспечению качества данных — data quality assurance engineer, или просто инженер DQ, как часто указывают в вакансиях. Почему эта профессия на пике востребованности, где она нужна и кому легче освоить её прямо сейчас? На эти и другие вопросы отвечают эксперты российской ИТ-компании «Криптонит»: руководитель департамента тестирования Александр Гречин и ведущий инженер по тестированию качества данных Вероника Казакова. Как и в любой профессиональной среде, у специалистов по работе с данными есть своя терминология. Мы подготовили краткий глоссарий, чтобы говорить с вами на одном языке: Метаданные, или «данные о данных» — это их происхождение (источник), формат, время создания, правила обработки и контроля качества. Например, к нам загружаются таблицы с данными о компании (ИНН, названием компании, коды ОКВЭД и так далее). Здесь метаданные — это атрибуты таблицы (какие колонки мы загружаем, какой в них тип данных, обязательно ли их заполнение, какие правила мы накладываем на значения. Пайплайны (data pipelines): автоматизированные последовательности получения, преобразования и перемещения данных из источников в хранилища. Пайплайны работают как конвейеры, подготавливающие сырые данные для их дальнейшего анализа.

https://habr.com/ru/companies/kryptonite/articles/1014180/

#data_quality #qa_engineer #data_driven #OpenMetadata #Soda #качество_данных #quality_assurance #Great_Expectations #ETL #карьера_в_IT

У нас было 10k метрик, 500 А/В-экспериментов и 500kk p-value каждый день…

Всем привет! Меня зовут Данила Леньков, я руковожу платформой A/B-экспериментов Trisigma в Авито . За 7 лет мы прошли путь от небольшой внутренней команды из трёх человек до полноценного технологического продукта, который теперь доступен на B2B-рынке. В этой статье я рассказываю о четырёх ключевых проблемах, с которыми мы столкнулись на пути от десятка экспериментов в год до четырёх тысяч. Это реальный опыт масштабирования, который может быть полезен любой компании, серьезно относящейся к принятию решений на основе данных.

https://habr.com/ru/companies/avito/articles/947358/

#авито #trisigma #тестирование #abтестирование #эксперименты #b2bсервисы #анализ_данных #принятие_решений #data_driven

Throughput: как научиться перестать гадать сроки и начать их предсказывать через симуляцию Monte-Carlo

Как использовать метрику потока Throughput (динамика за значимые периоды времени, насколько она вариативна, кластеризация на типы работы) вместе с симуляцией Monte Carlo, для реалистичных и обновляемых прогнозов. Разбираем метрику через обслуживание в пабе в пятничный вечер в сравнении с АйТи-командой. Пост максимально практический, с паттернами и примерами. Цель не показать метрику и прогнозирование на его основе его как ультимативный silver-bullet, а дать понимание что можно и так. Тема довольно актуальная, так как сейчас в США и Европе расцвет прогнозирования на основе именно метрик потока и появляется много плагинов с Монте-Карло (но не все из них доступны в РФ). Разобраться как точнее прогнозировать

https://habr.com/ru/articles/940882/

#kanban #lean #agile #data_driven #forecasting #прогнозирование #метрики_процесса #управление_проектами #эффективность #продукт_менеджмент

Проблема подглядывания и последовательное А/Б тестирование

Хабр, привет! Сегодня узнаем, что такое проблема подглядывания и почему она появляется. Реализуем аналог метода Покока и критерий Вальда для последовательного тестирования. Посмотрим, можно ли одновременно подглядывать и контролировать вероятности ошибок при том же размере групп. Обсудим границы применимости последовательного тестирования.

https://habr.com/ru/companies/X5Tech/articles/926546/

#статистика #аналитика #анализ_данных #ab_testing #data_driven #data_science #abтестирование #проверка_гипотез

Мифы о байесовском А/Б тестировании

Хабр, привет! Сегодня сравним два подхода к А/Б тестированию: байесовский и частотный. Обсудим сложности в интерпретации p-value. Посмотрим, как можно учитывать дополнительную информацию через априорное распределение. Остановим тест раньше времени и решим проблему подглядывания.

https://habr.com/ru/companies/X5Tech/articles/900032/

#abтестирование #ab_testing #data_science #data_driven #анализ_данных #аналитика #статистика #проверка_гипотез #байесовский_подход #bayesian

Большая подборка авторских каналов по аналитике 2024

Я провел большую работу и собрал для вас 17 авторских тг-каналов по аналитике данных , которые постят свежий, интересный и полезный контент. Без рекламы (ну или почти без нее), с разумным балансом экспертного контента/лайфстайла и интересной подачей. Короче, реальный свежачок, а не «очередная подборка». Кстати, меня зовут Алексанян Андрон 👋🏻 Я основатель Simulative , где мы обучаем крутых аналитиков данных на кейсах из реального бизнеса. И у меня тоже есть авторский канал по аналитике!

https://habr.com/ru/articles/869116/

#аналитика #BI #data_science #дашборды #метрики #python #sql #abтестирование #data_mining #data_driven

Увеличиваем размер выборки и прокрашиваем серые метрики: неочевидная ошибка при проведении А/B — тестов

Иногда мы настолько бываем увлечены способами увеличения мощности тестов, снижения дисперсии, уменьшения длительности теста, что забываем смотреть на данные при использовании стандартного критерия Стьюдента. В этой статье я постараюсь простым языком рассказать о последствиях, к которым может привести слепой запуск A/B-тестов без предварительного А/А-тестирования.

https://habr.com/ru/articles/859088/

#a/bтестирование #a/btesting #data_science #data_driven #анализ_данных #проверка_гипотез #статистика

Что такое Data Driven подход

В современном мире бизнес сталкивается с необходимостью постоянно принимать решения. От их качества зависит не только успех отдельных проектов, но и будущее всей компании. В этой статье мы разберём основные подходы к принятию решений в бизнесе и узнаем, почему компании всё чаще строят свою работу на данных. А ещё расскажу о роли, без которой data-driven подход попросту невозможен – о роли дата-инженера.

https://habr.com/ru/articles/856920/

#data_driven #data_engineering #data_engineer #дата_инженер #дата_инжиниринг #принятие_решение_в_компаниях #data_governance #аналитика #аналитика_данных #рост_компании

Уже сложно определить фундаментальную разницу между IT в промышленности и Интернет

Поговорим об IT в промышленности с архитектором решений из команды Технологической Платформы НЛМК. Александр Лищук поделится своим мнением по вопросам, которые интересуют многих инженеров, решающих, стоит ли выбрать в качестве направления развития IT в промышленности: ● типичный стек разработки в промышленности ● дресс-код и субординация ● развитие IT в реальном секторе

https://habr.com/ru/companies/oleg-bunin/articles/849290/

#indastrial #промышленная_революция_40 #devsecops #data_driven #iot #edge_computing #промышленные_кейсы #стек_в_промышленности #keydb #hr_в_it