MegaWahl — платформа данных для e-commerce

Исходная ситуация

Растущий магазин на Shopify с ассортиментом примерно от двадцати поставщиков — у каждого свой формат каталога (CSV, XLSX, PDF), своя кодировка, своя логика. Вручную это не масштабируется: заводить товары, переводить, категоризировать, добавлять SEO — тысячи раз, единообразно, без потерянных номеров SKU.

Задача

Платформа данных, которая автоматически превращает каталоги поставщиков в чистые импорты для Shopify — на проектной основе, как отдельная система на Python рядом с магазином.

Реализация

Одиннадцать процессоров поставщиков (общая архитектура BaseProcessor, Polars) нормализуют сырые данные. Транзакционное управление SKU выдаёт номера с откатом (Reserve → Validate → Commit/Cancel) — ни один номер не теряется. Асинхронный конвейер перевода (польский→немецкий) сохраняет структуру HTML и защищает непереводимое, такое как SKU и бренды. Ядро: ИИ-категоризация товаров по живому каталогу — embedding-поиск (BGE-M3) предлагает кандидатов, локальная vision-модель с constrained decoding решает (token-masking: модель физически не может выдумать категорию вне таксономии Google), и каждое решение проходит человеческую проверку, прежде чем вернуться в магазин.