Like 0
Fork 0

Last active 2 months ago

README.md Raw

Да. Я сопоставил найденные наборы с локальными данными конкурса: 711 304 русскоязычные карточки, 365 654 бинарные пары, 20 категорий, поля name / attributes / category, много hard negatives, различающихся моделью, размером или фасовкой. Подробнее профиль виден в README.md.

Лучшие аналоги

Приоритет Датасет Масштаб и разметка Почему полезен
1 WDC Products 11 715 офферов, 2 162 товара; pairwise и cluster labels; 27 вариантов Лучший независимый тест hard negatives и unseen products
2 MARKT-PILOT 960 532 пары; 294 701 positive; отдельный вручную проверенный test на 5 000 пар Почти тот же масштаб и бинарный формат, что у E‑CUP
3 WDC LSPM / products-2017 370 348 готовых пар; исходный корпус — 26 млн офферов Близок по размеру и структуре, содержит названия, описания, бренды, характеристики
4 ProMap Небольшие ручные gold-наборы, English/Czech; изображения и спецификации Очень качественные close negatives — лучший точечный regression test
5 Cross-lingual Product Matching 171 890 офферов, EN/DE/ES/FR; до 100 800 train-пар на язык и категорию Проверка мультиязычного переноса и устойчивости к вариантам товара
6 PriceRunner 35 311 офферов, 10 категорий, 306 магазинов, product cluster IDs Удобен для самостоятельного построения пар, особенно cross-shop
7 DeepMatcher product suite Amazon–Google, Walmart–Amazon, Abt–Buy Классические небольшие regression-тесты
8 Alaska Около 70 000 спецификаций с 71 сайта и 15 000 имен атрибутов Проверка обработки грязных разнородных JSON-атрибутов
9 ProductER Около 10 000 синтетических текстовых пар Быстрый smoke-test рассуждений о модели/размере/комплектации
10 Amazon ESCI 2,62 млн ручных query-product judgments Не прямой duplicate matching, но полезен для Exact vs Substitute vs Irrelevant
11 Shopee Product Matching Около 34 тыс. объявлений, 11 тыс. групп, текст и изображения Полезен для мультимодального эксперимента, но хуже по лицензированию
12 Retail-786k / Stanford Online Products 786 тыс. и 120 тыс. изображений соответственно Только для будущего визуального матчинга

1. WDC Products — лучший именно для тестирования

Это наиболее подходящий внешний benchmark. Он специально построен вокруг трех факторов:

  • 20%, 50% или 80% corner cases;
  • наличие товаров, не встречавшихся в обучении;
  • разный размер development set.

Есть явный is_hard_negative, cluster IDs, pairwise labels и строгая непересекаемость офферов между split’ами. Поля: title, description, brand, price, priceCurrency. Архив pairwise-версии с 80% corner cases занимает всего 21,5 МБ. Описание, схема и прямые загрузки.

Рекомендация: использовать вариант 80% corner cases + максимальная доля unseen products как основной внешний regression test. По логике он ближе всего к вашей StratifiedGroupKFold-валидации без пересечения товаров.

2. MARKT-PILOT — лучший большой внешний корпус

Содержит 960 532 бинарные пары:

  • 294 701 positive;
  • 665 831 negative;
  • отдельный общий test из 5 000 вручную проверенных пар;
  • поднаборы S/M/L с разным дисбалансом.

Файлы уже в Parquet, полный архив около 746 МБ. Лицензия явно указана как CC BY-SA 4.0. Карточка и файлы MARKT-PILOT.

Это главный кандидат для проверки:

  • поведения PR-AUC на большом наборе;
  • устойчивости к дисбалансу;
  • переноса E5/cross-encoder на иностранный каталог;
  • калибровки вероятностей.

Оговорка: открытая карточка не так подробно документирует процедуру формирования hard negatives, как WDC. Поэтому ручной test используйте для оценки, а огромный train — только для экспериментов после проверки правил конкурса.

3. WDC LSPM / wdc/products-2017

Готовая версия на Hugging Face содержит 370 348 строк — почти ровно как 365 654 пары E‑CUP. Категории:

  • computers;
  • cameras;
  • watches;
  • shoes.

Доступны title, description, brand, price, specTableContent, cluster ID и binary label. Обучающие метки получены через GTIN/MPN, тестовые пары проверялись экспертом. Удобная Parquet-версия на Hugging Face.

Исходный WDC LSPM ещё больше:

  • 26 млн офферов;
  • 16 млн товарных кластеров;
  • 4 400 вручную проверенных gold-пар;
  • train-наборы от примерно 9 тыс. до 214 тыс. пар;
  • отрицательные пары выбирались среди похожих кластеров, а не полностью случайно.

Есть прямые загрузки всех категорий и исходного корпуса. Официальная страница WDC LSPM.

Для ваших тестов лучше брать ненормализованные файлы: они сохраняют шум, пунктуацию и исходные описания.

4. ProMap — маленький, но очень ценный gold test

ProMap создавался именно потому, что старые benchmarks содержали слишком простые отрицательные пары. В нём есть:

  • match;
  • close non-match;
  • medium non-match;
  • в расширенной версии — distant non-match;
  • название, краткое и полное описание;
  • цена;
  • спецификация как пары ключ–значение;
  • изображения;
  • 10 категорий.

Исходные наборы:

  • ProMapCz — 1 495 чешских пар;
  • ProMapEn — 1 555 английских;
  • расширенные версии — по 2 000;
  • ProMapMulti позволяет обучаться на Walmart–Amazon и тестироваться на Walmart–Target/Walmart–Sears.

Статья со схемой и статистикой, репозиторий данных.

Это лучший набор для ручного анализа ошибок вида:

  • одинаковая модель, но другой объём;
  • почти одинаковое название, но другая комплектация;
  • одинаковый бренд и серия, но другая модификация.

Недостаток: в GitHub-репозитории я не обнаружил достаточно явной открытой лицензии на данные. Для внутреннего теста это обычно приемлемо, но для включения в распространяемый артефакт лицензию надо подтвердить у авторов.

5. Cross-lingual Product Matching

Корпус содержит 171 890 офферов на английском, немецком, испанском и французском в категориях телефонов и игрушек. Телефоны специально разделяются по памяти, цвету и другим вариантам. Pairwise-наборы содержат смесь random и hard pairs, причём поле hardness дано явно.

Для каждой из категорий есть:

  • до 100 800 английских train-пар;
  • до 50 400 немецких;
  • тесты по 1 200 пар для каждого языка;
  • title, description, EAN, MPN, бренд и cluster ID.

Полное описание и статистика.

Доступ выдаётся по запросу авторам, только для research use. Зато это сильнейший тест для multilingual-e5: можно проверить train EN → test DE/ES/FR и увидеть, действительно ли выигрыш модели связан с мультиязычностью.

6. PriceRunner

35 311 предложений из 306 магазинов, 10 категорий, canonical product ID. Это не готовые бинарные пары, но cluster ID позволяет получить positives, а hard negatives можно создать среди ближайших товаров другой группы.

Лицензия: CC BY 4.0. Карточка PriceRunner.

Для честного теста:

  1. Разбить по canonical product ID.
  2. Positive пары брать только внутри кластера.
  3. Negative — BM25/TF-IDF top neighbors в той же категории, но с другим product ID.
  4. Исключить случайные лёгкие negatives либо хранить их отдельным срезом.

7. DeepMatcher product benchmarks

Готовые классические наборы:

  • Amazon–Google: 11 460 пар, 1 167 positive;
  • Walmart–Amazon: 10 242 пары, 962 positive;
  • Abt–Buy: 9 575 пар, 1 028 positive;
  • также существуют dirty-версии Walmart–Amazon.

Есть готовые train/valid/test, таблицы товаров и прямые ZIP-ссылки. Официальный индекс DeepMatcher, Ditto с уже сериализованными версиями.

Это хорошие быстрые CI-тесты, но они заметно легче и меньше E‑CUP.

8. Alaska

Около 70 тыс. реальных товарных спецификаций с 71 сайта, направления cameras/monitors/notebooks, порядка 15 тыс. различных названий атрибутов. Ground truth курировался экспертами. Описание Alaska, репозиторий.

Полезен не столько для общей метрики, сколько для проверки вашего парсера attributes:

  • разные ключи для одного свойства;
  • разные единицы измерения;
  • пропуски;
  • атрибуты, перемещённые в title;
  • несовместимые схемы разных магазинов.

9. ProductER

9 996 коротких пар названий с ответами yes/no/maybe, лицензия MIT. Набор специально содержит различия в model number и specifications. ProductER.

Но это синтетика, созданная с помощью o1-preview, а не реальные человеческие marketplace labels. Использовать как:

  • sanity-check для LLM teacher;
  • тест конфликтов размеров и моделей;
  • небольшой prompt/reranker benchmark.

Не использовать как основной источник оценки качества.

10. Amazon ESCI

2,62 млн вручную размеченных query-product пар с классами Exact/Substitute/Complement/Irrelevant и полями title, description, bullet points, brand, color. Языки: английский, испанский и японский; лицензия Apache 2.0. Официальный репозиторий Amazon ESCI.

Это не duplicate matching: левая часть является поисковым запросом. Но классы Exact и Substitute хорошо подходят для дополнительного обучения модели различать точное совпадение и просто похожий товар.

Русскоязычные источники

Публичного русскоязычного gold-набора, сопоставимого с E‑CUP, я не нашёл. Есть несколько смежных вариантов, но они не заменяют размеченный benchmark:

  • OZON Product Category — русские карточки, но нет пар и лицензия не указана: Kaggle.
  • S-SHOT — актуальные выгрузки Ozon/Wildberries с названиями, брендами, ценами и ссылками, но без true match labels: каталог.
  • Wildberries duplicate competition действительно существовал, но датасет сейчас требует авторизации/не обнаружен как свободно скачиваемый публичный корпус: WB Space.
  • На Hugging Face есть русскоязычная модель marketplace matching, но её train dataset описан как frozen/private и отдельно не опубликован.
  • Коммерческие выгрузки Ozon/Wildberries обычно содержат карточки, но не достоверные связи «один SKU».

Такие выгрузки пригодны для unlabeled drift-тестов: проверить, что инференс не падает на новых брендах, форматах чисел и современных названиях. Делать из них gold labels автоматически опасно.

Какой комплект я бы взял

Минимальный, но сильный внешний test suite:

  1. WDC Products 80% corner cases — главный тест hard negatives и unseen products.
  2. MARKT-PILOT manual test — большая независимая бинарная проверка.
  3. ProMapEn + ProMapCz close/medium negatives — точечная проверка критических атрибутов.
  4. WDC LSPM gold standard — стабильный классический benchmark.
  5. PriceRunner, самостоятельно построенный unseen-cluster split — тест генерации кандидатов.
  6. ProductER — только быстрый semantic smoke-test.

Для конвертации в формат E‑CUP:

items:
  id
  name        <- title
  attributes  <- JSON из brand, description, specification, price
  category

matches:
  id1
  id2
  target

Считать желательно несколько показателей:

  • global PR-AUC;
  • PR-AUC отдельно на hard negatives;
  • PR-AUC только на unseen entities;
  • recall при фиксированной высокой precision;
  • F1 для сравнения с опубликованными benchmark-результатами.

Macro PR-AUC по 20 категориям E‑CUP напрямую с иностранными наборами несопоставим, поэтому внешний score лучше хранить отдельно.

Лицензии и правила конкурса

Надёжно определённые лицензии:

  • MARKT-PILOT — CC BY-SA 4.0;
  • PriceRunner — CC BY 4.0;
  • ProductER — MIT;
  • Amazon ESCI — Apache 2.0;
  • Retail-786k — CC BY-NC-ND 4.0, то есть не для коммерческого использования и без распространения производных данных;
  • Cross-lingual Mannheim — research only;
  • Shopee competition data — ограниченное использование по условиям соревнования;
  • ProMap и некоторые старые DeepMatcher/WDC-выгрузки требуют отдельной проверки условий именно для данных: лицензия кода не автоматически покрывает содержимое карточек.

В открытом FAQ E‑CUP явно говорится о допустимости моделей с открытой лицензией, но я не нашёл столь же явного разрешения использовать внешние размеченные датасеты. FAQ E‑CUP. Поэтому безопасная стратегия: применять найденные наборы как внешние тесты, а перед добавлением их в fine-tuning письменно уточнить это у организаторов.

Powered by Opengist ⋅ Load: 17ms⋅

English