Парсер товаров с автопереводом

Задача

Клиент продаёт в России товары, каталог которых ведёт польский поставщик. Ассортимент большой, позиции постоянно добавляются, а цены и наличие у поставщика меняются едва ли не ежедневно. Переносить всё это в InSales руками — значит держать отдельного человека, который копирует карточки, переводит описания и следит за остатками. Задача сводилась к тому, чтобы снять эту работу с людей: собирать товары из польского магазина, переводить их на русский и держать каталог магазина в актуальном состоянии без ручного вмешательства.

Отдельная сложность — язык. Описания у поставщика на польском, и машинный перевод «в лоб» на товарной специфике регулярно ошибается: технические термины и устойчивые выражения он передаёт приблизительно, а в карточке товара такая неточность сразу бьёт по доверию покупателя. Нужен был перевод, который можно контролировать и корректировать под конкретную товарную категорию, а не разовая прогонка текста через переводчик. Плюс к этому — регулярное автообновление: новые позиции должны подтягиваться сами, а цены и остатки по уже импортированным товарам — обновляться по расписанию.

Что реализовали

Основой стал парсер, который обходит каталог польского магазина и складывает товары в локальную базу данных. Локальная база здесь принципиальна: она отделяет сбор данных от выгрузки в магазин. Спарсенные позиции сначала оседают у нас, проходят перевод и проверку, и только потом попадают в InSales — так каталог поставщика и каталог магазина живут отдельно, а любую позицию можно пересобрать или перевести заново, не трогая витрину.

• Парсер каталога — сбор товаров из польского магазина в локальную базу данных
• Автоматический перевод — Google переводчик для первого массового перевода, Яндекс переводчик для новых товаров
• Словарь замен — специфические термины и выражения, которые не подходят для стандартного перевода
• Веб-интерфейс — настройка импорта через таблицу, выбор разделов каталога
• Выгрузка в InSales — автоматическое создание товаров с переведенными описаниями

Как работает

Перевод построен в два контура, потому что первичный импорт и текущая работа — разные по объёму задачи. Первый массовый прогон всего каталога идёт через Google переводчик: нужно за раз обработать много текста. Дальше, когда база уже наполнена, новые товары переводятся через Яндекс переводчик — под небольшой поток свежих позиций этого достаточно. Поверх обоих переводчиков работает словарь замен: он ловит термины, которые машина стабильно передаёт неверно, и подставляет правильный вариант автоматически, не требуя редактуры руками.

Управляет всем этим веб-интерфейс. Администратор работает с товарами через таблицу, отмечает, какие разделы каталога поставщика нужно импортировать, и запускает выгрузку. Поскольку товары уже лежат в локальной базе, сопоставление идёт по ней: система понимает, какие позиции новые, а какие уже импортированы, и не создаёт дублей при повторных запусках. Готовая выгрузка формируется в формате InSales и загружается в магазин. За счёт того же слоя базы работает и регулярное обновление — парсер проходит по каталогу поставщика на повторных запусках, подтягивает появившиеся товары и обновляет данные по уже существующим.

1. Парсер собирает товары из польского магазина
2. Товары сохраняются в локальную базу данных
3. Система переводит описания (Google для первого раза, Яндекс для новых)
4. Словарь замен исправляет неправильные переводы технических терминов
5. Администратор выбирает разделы каталога для импорта через веб-интерфейс
6. Система создает выгрузку в формате InSales
7. Товары автоматически добавляются в магазин

Результат

Каталог, который раньше пришлось бы вести вручную, теперь наполняется и обновляется сам. Импорт из польского магазина, перевод описаний и загрузка в InSales идут по единому маршруту, а качество перевода держит словарь замен — технические термины больше не приходится вычитывать после каждого прогона. Регулярное обновление снимает главную боль работы с чужим каталогом: новые позиции появляются в магазине без участия человека, а данные по уже импортированным товарам поддерживаются в актуальном состоянии.

• Автоматический импорт товаров из польского каталога
• Перевод описаний через Google и Яндекс переводчики
• Словарь замен для точного перевода технических терминов
• Веб-интерфейс для настройки импорта
• Регулярное обновление каталога

Наш конвертер прайс-листов сам поймет структуру файла поставщика, исправит ошибки и подготовит фид для InSales, Bitrix, OpenCart, Shopify, других CMS или маркетплейсов. Умный маппинг цен и артикулов , текстовые/логические/математические операторы, автоматическое обновление по расписанию по API.