Да. Я сопоставил найденные наборы с локальными данными конкурса: 711 304 русскоязычные карточки, 365 654 бинарные пары, 20 категорий, поля `name / attributes / category`, много hard negatives, различающихся моделью, размером или фасовкой. Подробнее профиль виден в [README.md](A:/projects/ecup-matching/README.md:116). ## Лучшие аналоги | Приоритет | Датасет | Масштаб и разметка | Почему полезен | |---|---|---|---| | 1 | **WDC Products** | 11 715 офферов, 2 162 товара; pairwise и cluster labels; 27 вариантов | Лучший независимый тест hard negatives и unseen products | | 2 | **MARKT-PILOT** | 960 532 пары; 294 701 positive; отдельный вручную проверенный test на 5 000 пар | Почти тот же масштаб и бинарный формат, что у E‑CUP | | 3 | **WDC LSPM / products-2017** | 370 348 готовых пар; исходный корпус — 26 млн офферов | Близок по размеру и структуре, содержит названия, описания, бренды, характеристики | | 4 | **ProMap** | Небольшие ручные gold-наборы, English/Czech; изображения и спецификации | Очень качественные close negatives — лучший точечный regression test | | 5 | **Cross-lingual Product Matching** | 171 890 офферов, EN/DE/ES/FR; до 100 800 train-пар на язык и категорию | Проверка мультиязычного переноса и устойчивости к вариантам товара | | 6 | **PriceRunner** | 35 311 офферов, 10 категорий, 306 магазинов, product cluster IDs | Удобен для самостоятельного построения пар, особенно cross-shop | | 7 | **DeepMatcher product suite** | Amazon–Google, Walmart–Amazon, Abt–Buy | Классические небольшие regression-тесты | | 8 | **Alaska** | Около 70 000 спецификаций с 71 сайта и 15 000 имен атрибутов | Проверка обработки грязных разнородных JSON-атрибутов | | 9 | **ProductER** | Около 10 000 синтетических текстовых пар | Быстрый smoke-test рассуждений о модели/размере/комплектации | | 10 | **Amazon ESCI** | 2,62 млн ручных query-product judgments | Не прямой duplicate matching, но полезен для Exact vs Substitute vs Irrelevant | | 11 | **Shopee Product Matching** | Около 34 тыс. объявлений, 11 тыс. групп, текст и изображения | Полезен для мультимодального эксперимента, но хуже по лицензированию | | 12 | **Retail-786k / Stanford Online Products** | 786 тыс. и 120 тыс. изображений соответственно | Только для будущего визуального матчинга | ### 1. WDC Products — лучший именно для тестирования Это наиболее подходящий внешний benchmark. Он специально построен вокруг трех факторов: - 20%, 50% или 80% corner cases; - наличие товаров, не встречавшихся в обучении; - разный размер development set. Есть явный `is_hard_negative`, cluster IDs, pairwise labels и строгая непересекаемость офферов между split’ами. Поля: `title`, `description`, `brand`, `price`, `priceCurrency`. Архив pairwise-версии с 80% corner cases занимает всего 21,5 МБ. [Описание, схема и прямые загрузки](https://webdatacommons.org/largescaleproductcorpus/wdc-products/index.html). Рекомендация: использовать вариант **80% corner cases + максимальная доля unseen products** как основной внешний regression test. По логике он ближе всего к вашей `StratifiedGroupKFold`-валидации без пересечения товаров. ### 2. MARKT-PILOT — лучший большой внешний корпус Содержит 960 532 бинарные пары: - 294 701 positive; - 665 831 negative; - отдельный общий test из 5 000 вручную проверенных пар; - поднаборы S/M/L с разным дисбалансом. Файлы уже в Parquet, полный архив около 746 МБ. Лицензия явно указана как **CC BY-SA 4.0**. [Карточка и файлы MARKT-PILOT](https://huggingface.co/datasets/trettenmeier/markt-pilot). Это главный кандидат для проверки: - поведения PR-AUC на большом наборе; - устойчивости к дисбалансу; - переноса E5/cross-encoder на иностранный каталог; - калибровки вероятностей. Оговорка: открытая карточка не так подробно документирует процедуру формирования hard negatives, как WDC. Поэтому **ручной test используйте для оценки**, а огромный train — только для экспериментов после проверки правил конкурса. ### 3. WDC LSPM / `wdc/products-2017` Готовая версия на Hugging Face содержит 370 348 строк — почти ровно как 365 654 пары E‑CUP. Категории: - computers; - cameras; - watches; - shoes. Доступны `title`, `description`, `brand`, `price`, `specTableContent`, cluster ID и binary label. Обучающие метки получены через GTIN/MPN, тестовые пары проверялись экспертом. [Удобная Parquet-версия на Hugging Face](https://huggingface.co/datasets/wdc/products-2017). Исходный WDC LSPM ещё больше: - 26 млн офферов; - 16 млн товарных кластеров; - 4 400 вручную проверенных gold-пар; - train-наборы от примерно 9 тыс. до 214 тыс. пар; - отрицательные пары выбирались среди похожих кластеров, а не полностью случайно. Есть прямые загрузки всех категорий и исходного корпуса. [Официальная страница WDC LSPM](https://webdatacommons.org/largescaleproductcorpus/v2/index.html). Для ваших тестов лучше брать ненормализованные файлы: они сохраняют шум, пунктуацию и исходные описания. ### 4. ProMap — маленький, но очень ценный gold test ProMap создавался именно потому, что старые benchmarks содержали слишком простые отрицательные пары. В нём есть: - `match`; - `close non-match`; - `medium non-match`; - в расширенной версии — `distant non-match`; - название, краткое и полное описание; - цена; - спецификация как пары ключ–значение; - изображения; - 10 категорий. Исходные наборы: - ProMapCz — 1 495 чешских пар; - ProMapEn — 1 555 английских; - расширенные версии — по 2 000; - ProMapMulti позволяет обучаться на Walmart–Amazon и тестироваться на Walmart–Target/Walmart–Sears. [Статья со схемой и статистикой](https://link.springer.com/article/10.1007/s10660-024-09892-9), [репозиторий данных](https://github.com/kackamac/Product-Mapping-Datasets). Это лучший набор для ручного анализа ошибок вида: - одинаковая модель, но другой объём; - почти одинаковое название, но другая комплектация; - одинаковый бренд и серия, но другая модификация. Недостаток: в GitHub-репозитории я не обнаружил достаточно явной открытой лицензии на данные. Для внутреннего теста это обычно приемлемо, но для включения в распространяемый артефакт лицензию надо подтвердить у авторов. ### 5. Cross-lingual Product Matching Корпус содержит 171 890 офферов на английском, немецком, испанском и французском в категориях телефонов и игрушек. Телефоны специально разделяются по памяти, цвету и другим вариантам. Pairwise-наборы содержат смесь random и hard pairs, причём поле `hardness` дано явно. Для каждой из категорий есть: - до 100 800 английских train-пар; - до 50 400 немецких; - тесты по 1 200 пар для каждого языка; - `title`, `description`, `EAN`, `MPN`, бренд и cluster ID. [Полное описание и статистика](https://data.dws.informatik.uni-mannheim.de/Web-based-Systems-Group/StudentProjects/2020/Cross-lingual-Product-Matching-using-Transformers/). Доступ выдаётся по запросу авторам, только для research use. Зато это сильнейший тест для `multilingual-e5`: можно проверить train EN → test DE/ES/FR и увидеть, действительно ли выигрыш модели связан с мультиязычностью. ### 6. PriceRunner 35 311 предложений из 306 магазинов, 10 категорий, canonical product ID. Это не готовые бинарные пары, но cluster ID позволяет получить positives, а hard negatives можно создать среди ближайших товаров другой группы. Лицензия: **CC BY 4.0**. [Карточка PriceRunner](https://www.kaggle.com/datasets/joebeachcapital/pricerunner-product-classification-and-clustering). Для честного теста: 1. Разбить по canonical product ID. 2. Positive пары брать только внутри кластера. 3. Negative — BM25/TF-IDF top neighbors в той же категории, но с другим product ID. 4. Исключить случайные лёгкие negatives либо хранить их отдельным срезом. ### 7. DeepMatcher product benchmarks Готовые классические наборы: - Amazon–Google: 11 460 пар, 1 167 positive; - Walmart–Amazon: 10 242 пары, 962 positive; - Abt–Buy: 9 575 пар, 1 028 positive; - также существуют dirty-версии Walmart–Amazon. Есть готовые `train/valid/test`, таблицы товаров и прямые ZIP-ссылки. [Официальный индекс DeepMatcher](https://raw.githubusercontent.com/anhaidgroup/deepmatcher/master/Datasets.md), [Ditto с уже сериализованными версиями](https://github.com/megagonlabs/ditto). Это хорошие быстрые CI-тесты, но они заметно легче и меньше E‑CUP. ### 8. Alaska Около 70 тыс. реальных товарных спецификаций с 71 сайта, направления cameras/monitors/notebooks, порядка 15 тыс. различных названий атрибутов. Ground truth курировался экспертами. [Описание Alaska](https://arxiv.org/abs/2101.11259), [репозиторий](https://github.com/merialdo/research.alaska). Полезен не столько для общей метрики, сколько для проверки вашего парсера `attributes`: - разные ключи для одного свойства; - разные единицы измерения; - пропуски; - атрибуты, перемещённые в title; - несовместимые схемы разных магазинов. ### 9. ProductER 9 996 коротких пар названий с ответами `yes/no/maybe`, лицензия MIT. Набор специально содержит различия в model number и specifications. [ProductER](https://huggingface.co/datasets/crossingminds/productER). Но это синтетика, созданная с помощью `o1-preview`, а не реальные человеческие marketplace labels. Использовать как: - sanity-check для LLM teacher; - тест конфликтов размеров и моделей; - небольшой prompt/reranker benchmark. Не использовать как основной источник оценки качества. ### 10. Amazon ESCI 2,62 млн вручную размеченных query-product пар с классами Exact/Substitute/Complement/Irrelevant и полями title, description, bullet points, brand, color. Языки: английский, испанский и японский; лицензия Apache 2.0. [Официальный репозиторий Amazon ESCI](https://github.com/amazon-science/esci-data). Это не duplicate matching: левая часть является поисковым запросом. Но классы Exact и Substitute хорошо подходят для дополнительного обучения модели различать точное совпадение и просто похожий товар. ## Русскоязычные источники Публичного русскоязычного gold-набора, сопоставимого с E‑CUP, я не нашёл. Есть несколько смежных вариантов, но они не заменяют размеченный benchmark: - **OZON Product Category** — русские карточки, но нет пар и лицензия не указана: [Kaggle](https://www.kaggle.com/datasets/andrewboroda/ozon-product-category). - **S-SHOT** — актуальные выгрузки Ozon/Wildberries с названиями, брендами, ценами и ссылками, но без true match labels: [каталог](https://www.s-shot.ru/datasets/). - **Wildberries duplicate competition** действительно существовал, но датасет сейчас требует авторизации/не обнаружен как свободно скачиваемый публичный корпус: [WB Space](https://wbspace.wb.ru/). - На Hugging Face есть русскоязычная модель marketplace matching, но её train dataset описан как frozen/private и отдельно не опубликован. - Коммерческие выгрузки Ozon/Wildberries обычно содержат карточки, но не достоверные связи «один SKU». Такие выгрузки пригодны для unlabeled drift-тестов: проверить, что инференс не падает на новых брендах, форматах чисел и современных названиях. Делать из них gold labels автоматически опасно. ## Какой комплект я бы взял Минимальный, но сильный внешний test suite: 1. **WDC Products 80% corner cases** — главный тест hard negatives и unseen products. 2. **MARKT-PILOT manual test** — большая независимая бинарная проверка. 3. **ProMapEn + ProMapCz close/medium negatives** — точечная проверка критических атрибутов. 4. **WDC LSPM gold standard** — стабильный классический benchmark. 5. **PriceRunner, самостоятельно построенный unseen-cluster split** — тест генерации кандидатов. 6. **ProductER** — только быстрый semantic smoke-test. Для конвертации в формат E‑CUP: ```text items: id name <- title attributes <- JSON из brand, description, specification, price category matches: id1 id2 target ``` Считать желательно несколько показателей: - global PR-AUC; - PR-AUC отдельно на hard negatives; - PR-AUC только на unseen entities; - recall при фиксированной высокой precision; - F1 для сравнения с опубликованными benchmark-результатами. Macro PR-AUC по 20 категориям E‑CUP напрямую с иностранными наборами несопоставим, поэтому внешний score лучше хранить отдельно. ## Лицензии и правила конкурса Надёжно определённые лицензии: - MARKT-PILOT — CC BY-SA 4.0; - PriceRunner — CC BY 4.0; - ProductER — MIT; - Amazon ESCI — Apache 2.0; - Retail-786k — CC BY-NC-ND 4.0, то есть не для коммерческого использования и без распространения производных данных; - Cross-lingual Mannheim — research only; - Shopee competition data — ограниченное использование по условиям соревнования; - ProMap и некоторые старые DeepMatcher/WDC-выгрузки требуют отдельной проверки условий именно для данных: лицензия кода не автоматически покрывает содержимое карточек. В открытом FAQ E‑CUP явно говорится о допустимости моделей с открытой лицензией, но я не нашёл столь же явного разрешения использовать внешние размеченные датасеты. [FAQ E‑CUP](https://ods.ai/tracks/e-cup-2026-competitions/faq). Поэтому безопасная стратегия: применять найденные наборы как **внешние тесты**, а перед добавлением их в fine-tuning письменно уточнить это у организаторов.