Как это считается
Сайт утверждает, что две публикации — об одном событии, а какая-то страна о нём промолчала. Здесь написано, на каком основании.
Что такое разночтение
Публикации собираются из лент изданий, приводятся к тексту и переводятся в числовой вид многоязычной моделью — она размещает близкие по смыслу тексты рядом независимо от языка, на котором они написаны. Дальше каждая новая публикация ищет ближайшую к себе среди уже разобранных за последние 72 часа. Если они достаточно близки — это один сюжет; если нет — начинается новый.
Разночтением сайт называет сюжет, о котором написали издания больше чем одного блока прессы. Сюжеты одного блока никуда не деваются — они в разделах стран.
Насколько близки — это «достаточно»
Порогов не один, а несколько, и каждый выверен по корпусу, а не назначен.
| 0,94 | внутри одного языка |
| 0,88 | между языками — модель размещает переводы дальше друг от друга, чем пересказы |
| +0,03 | надбавка, когда обе публикации от одного издания |
| 0,90 | совпадение с собственным архивом издания: это не событие, а рубрика |
Надбавка за общее издание нужна потому, что редакция похожа сама на себя: прогноз погоды одного дня почти неотличим от прогноза следующего. Проверка на рубрику ловит то же самое с другой стороны — таблицу курсов, анонс трансляции, еженедельную колонку. Такая публикация получает собственный сюжет, но присоединиться к чужому не может.
Где сайт осторожничает
Пороги проверены на 112 парах публикаций, размеченных вручную. На них видно, что внутри языка лучший результат даёт 0,93, а работает сайт на 0,94 — то есть склеивает реже, чем мог бы.
Так выбрано намеренно. Ошибочно склеенные публикации выглядят как разночтение, которого не было, — а это ровно то, что сайт обещает не показывать. Пропущенное совпадение делает его беднее; ложное делает его лживым.
Что говорит машина, а что человек
Заголовки изданий переводит модель, и каждый машинный перевод помечен — и на странице сюжета, и в карточке. Перевод нужен, потому что азербайджанские, турецкие и грузинские издания по-русски не публикуют вовсе: без него половина голосов на русском сайте осталась бы немой.
Всё остальное пишет редактор. Заголовок сюжета, строка о том, что произошло, и вывод о том, сошлись издания или разошлись, — это голос сайта, и машине он не поручен. Сюжет без подтверждения редактора на витрину не выходит.
Чего сайт не публикует
От каждой публикации сайт показывает заголовок, выдержку не длиннее 200 символов и ссылку на издание. Полный текст хранится только для разбора и наружу не отдаётся: обрезка делается на сервере, и до страницы полный текст не доходит.
Читать статью нужно у того, кто её написал. Продукт здесь — сопоставление, а не сами статьи.
Если что-то из этого нужно поправить или снять — как это сделать.
Чего сайт не видит
Молчание блока означает ровно одно: среди читаемых изданий этой страны о событии не написал никто. Оно не означает, что страна о нём молчала, — за пределами списка изданий сайт слеп.
Поэтому список читаемых изданий открыт: кого читают. Страна с одной лентой в реестре молчит не так, как страна с шестью.