MegaWahl — platforma danych e-commerce

Punkt wyjścia

Rosnący sklep Shopify z asortymentem od około dwudziestu dostawców — każdy z własnym formatem katalogu (CSV, XLSX, PDF), własnym kodowaniem, własną logiką. Ręczna obsługa nie skaluje się: zakładanie produktów, tłumaczenie, kategoryzacja, SEO — tysiące razy, spójnie, bez utraconych numerów SKU.

Zadanie

Platforma danych, która automatycznie zamienia katalogi dostawców w czyste importy do Shopify — projektowo, jako samodzielny system w Pythonie obok sklepu.

Realizacja

Jedenaście procesorów dostawców (wspólna architektura BaseProcessor, Polars) normalizuje surowe dane. Transakcyjne zarządzanie SKU przydziela numery z rollbackiem (Reserve → Validate → Commit/Cancel) — żaden numer nie ginie. Asynchroniczny pipeline tłumaczeń (polski→niemiecki) zachowuje strukturę HTML i chroni to, czego nie wolno tłumaczyć, jak SKU i marki. Rdzeń: kategoryzacja produktów przez AI na żywym katalogu — embedding-retrieval (BGE-M3) proponuje kandydatów, lokalny model wizyjny z constrained decoding decyduje (token-masking: model fizycznie nie może wymyślić kategorii spoza taksonomii Google), a każda decyzja przechodzi przez ludzki przegląd, zanim trafi z powrotem do sklepu.