MVP по «умному» поиску данных

Всем привет, меня зовут Александр, я аналитик в Альфа-Банке. Совместно с командой мы разрабатываем и развиваем платформу для дата-инженеров (DE) и дата-саентистов (DS), именуемую Feature Store. Она даёт возможность коллегам работать с большими данными и упрощает бюрократию жизненного цикла создания ETL и ввода моделей в промышленную эксплуатацию. Но хотелось бы улучшить процесс по поиску данных в ней, так как объёмы информации стремительно растут. Классический поиск выдаёт результаты по точному совпадению, и это не самый удобный вариант, когда данных много. Поэтому нужную информацию, если ты точно не знаешь как найти, невозможно отыскать. Озадачившись этой проблемой, я решил сделать MVP «умного» поиска, который позволяет искать данные/фичи/поля не по точному совпадению, а с учётом смысла. Надеюсь, данная статья поможет показать и пролить свет на вопрос — «А как же ещё бывает?»

https://habr.com/ru/companies/alfa/articles/915012/

#mvp #gpt #ai #feature_store #data_science #datamarket #mlops #токенизатор #классификация

RT @EU_opendata: The results of the new #European #DataMarket study are out!

Read about the size and trends of the EU data market and #DataEconomy with projections until 2030.

You can find the complete report here 👉 https://ec.europa.eu/newsroom/dae/redirection/document/87523

@IDC4EU @lisboncouncil

🐦🔗: https://nitter.eu/EP_Technology/status/1544973097111101440

RT @[email protected]

PLEASE RT: challenge - we need a research collaborator in every country in the world. do you have ten minutes and a computer? help us create the first global open dataset on web tracking. here's how: https://globaldatajustice.org/2019-05-01-web-tracking/ #datajustice #privacy #datamarket

🐦🔗: https://twitter.com/linnetelwin/status/1124430683986898946