Оценка retrieval
Golden dataset · recall@k / MRR на чистом RRF (baseline до реранкера)
Golden dataset (16)
| Вопрос | Ожидаемых док. | Примечание | |
|---|---|---|---|
| Кто поставщик расходников для печати на сумму 3 450 000 рублей? | 1 | hard, парафраз (расходники↔картриджи) | |
| What is the amount of the consulting invoice issued by Globex? | 1 | hard, en, конкуренция по сумме/услуге | |
| Кто поставщик и какая сумма по договору поставки №1000? | 1 | ru, поставка (есть двойник с той же суммой) | |
| What is the monthly fee of service agreement SA-1004? | 1 | en, service agreement | |
| На какую сумму заключён договор поставки офисной бумаги? | 1 | hard, конкуренция по сумме | |
| What is the amount of invoice INV-1003? | 1 | en, invoice | |
| Кто арендует большое складское помещение площадью 350 кв.м? | 1 | hard, конкуренция по «склад» | |
| Какая арендная плата по договору аренды №1007? | 1 | ru, аренда | |
| Кто поставщик и какая сумма по договору поставки №1006? | 1 | ru, поставка (есть двойник с той же суммой) | |
| Сколько ООО Берёза платит в месяц за помещение для хранения товаров? | 1 | hard, парафраз (хранение↔склад) | |
| Что поставляет ООО Клён по договору на 1 200 000 рублей? | 1 | hard, конкуренция по поставщику | |
| Кто исполнитель по акту приёма-передачи №1005? | 1 | ru, акт | |
| What is the amount of the Acme invoice for hardware? | 1 | hard, en, конкуренция по контрагенту | |
| Какая арендная плата по договору аренды №1001? | 1 | ru, аренда | |
| За какую сумму ООО Берёза арендует рабочие кабинеты? | 1 | hard, парафраз (кабинеты↔офис) | |
| Кто исполнитель по договору оказания услуг №1002? | 1 | ru, услуги |