Неявные дубли

Неявные дубли это фразы из одних и тех же слов, но в другом порядке или в других формах: «купить кальян» и «кальяны купить», «доставка пиццы» и «пицца доставка». В ядре нужна одна такая фраза, остальные только раздувают группы и путают кластеризацию. Keys находит их за секунды и бесплатно, задание и баланс для этого не нужны.

Что считается дублем

Каждое слово фразы приводится к начальной форме, слова из списка «Не учитывать слова» отбрасываются, оставшиеся сортируются. Если у двух и более фраз получился одинаковый набор, это группа дублей.

Точных повторов в проекте не бывает: Keys не добавляет фразу, которая уже есть в любой группе, без учёта регистра и с «ё», равной «е». Поэтому неявные дубли это единственный вид дублей, который нужно чистить.

Как найти

1. Откройте «Данные» → «Неявные дубли…».
2. Проверьте поле «Не учитывать слова»: по одному слову или сочетанию на строке. О нём ниже.
3. В поле «Где искать» выберите «в таблице» (фразы, которые сейчас видны: выбранная группа с учётом поиска и фильтров) или «во всём проекте».
4. Нажмите «Найти».

Найденное показывается группами. В заголовке группы набор слов в начальной форме и число фраз, в строках галочка, фраза, её группа в проекте, базовая, фразовая (" ") и точная ("!") частота, а если для отбора выбрана другая колонка (например, KEI 5), то и она. Внутри группы фразы стоят по выбранной колонке: та, что останется при умной отметке, первая. Над списком итог: «Групп: N · фраз: N · отмечено: N». Если дублей нет, Keys напишет «Неявных дублей нет».

Галочка «свернуть группы» оставляет только заголовки, чтобы быстро пролистать большой результат. За раз находится до 20 000 групп, в окне показываются первые 2 000. Если групп больше, обработайте первые и запустите поиск снова.

Слова, которые не учитываются

Слова пишутся по одному на строке. Строка может быть сочетанием из нескольких слов, например «из за»: такое сочетание отбрасывается, только если слова идут во фразе подряд. Запятая и точка с запятой тоже разделяют слова.

По умолчанию в списке 50 слов: предлоги, союзы, частицы и местоимения (по, на, близ, в, вне, во, вот, да, ж, же, за, и, или, к, ко, либо, меж, над, но, ну, о, об, обо, пред, предо, при, ради, со, у, уж, уже, я, мы, ты, вы, он, она, они, оно, мне, тебе, вам, ей, ему, им) и английские a, the, at, for, with. С ним «стоматология в перми» и «стоматология пермь» считаются дублями.

• Список можно менять: добавить, например, «москва», если все фразы ядра про Москву и город не меняет смысла, или убрать слово, если для вас оно важно.
• «Загрузить из .txt» берёт список из текстового файла (по слову на строке, кодировка UTF-8 или Windows-1251), «Сохранить в файл» выгружает текущий список, чтобы перенести его в другой проект. «Список по умолчанию» возвращает исходный.
• Этот же список задаёт, какие слова скрыты в окне «В минус-слова» и не уходят на проверку с ИИ: остальные слова там считаются обычными.
• Изменённый список сохраняется в проекте при нажатии «Найти», если у вас есть право правки. В следующий раз окно откроется с ним.
• До 2 000 слов, каждое до 50 символов.
• Тот же список использует кластеризация «По словам». Подробнее: Кластеризация.

Умная отметка

Кнопка «Умная отметка» в каждой группе оставляет без отметки одну фразу, а остальным ставит отметку. Какую оставить, задаёт строка «Оставлять в группе фразу с наибольшим (наименьшим) значением в колонке …»:

• по умолчанию остаётся фраза с наибольшей точной частотой ("!");
• можно выбрать фразовую или базовую частоту, любую формулу KEI проекта (например, оставить фразу с наибольшим KEI 5, а дубли с меньшим отметить), число документов, позицию в Яндексе или Google (для позиции обычно «наименьшим») или дату добавления;
• при равных значениях остаётся фраза, добавленная в проект раньше;
• фразы без значения в выбранной колонке считаются худшими.

Выбор колонки и направления запоминается в браузере.

Отметки можно поправить руками: снять с фразы, которую хотите оставить, или поставить лишней. «Снять все» убирает все отметки в окне.

Заметили, разбирая дубли, слово, которое должно стать минус-словом? Щёлкните по фразе правой кнопкой: «Слова фразы … → в минус-слова…» или «Слова отмеченных фраз → в минус-слова…». Поверх откроется окно «В минус-слова»: отметьте слова, при необходимости поправьте (например, «!слово») и добавьте в список. Окно дублей при этом остаётся открытым.

Что делать с отмеченными

Окно само ничего не удаляет и не переносит. Кнопка «Поставить отмеченным галочки в таблице» переносит отметки в основную таблицу и закрывает окно. Дальше обычные действия:

1. Нажмите Ctrl+Enter и перенесите фразы с галочками в группу, например «Дубли». Так они не вернутся при новом сборе и останутся под рукой.
2. Или нажмите Delete, чтобы удалить их. Удаление отменяется Ctrl+Z или из журнала в течение 30 дней.

Группа с «дубл» в названии по умолчанию не попадает в файл семантического ядра, поэтому перенос в «Дубли» удобнее удаления. Подробнее: Выгрузка.

Пример

В проекте про кальяны после сбора по маскам и частотности Директа есть фразы «купить кальян» ("!" 900), «кальян купить» ("!" 1 300) и «купить кальяны» ("!" 450).

1. «Данные» → «Неявные дубли…», «Где искать»: «во всём проекте», «Найти».
2. В списке группа «кальян купить · 3». Нажмите «Умная отметка»: без отметки останется «кальян купить» с наибольшей точной частотой, две другие фразы будут отмечены.
3. Если для страницы вам важнее формулировка «купить кальян», снимите с неё отметку и поставьте на «кальян купить».
4. «Поставить отмеченным галочки в таблице», затем Ctrl+Enter и группа «Дубли».

Чего окно не делает

• Не складывает частоты дублей в одну фразу: у каждой фразы остаются свои данные.
• Не ищет похожие по смыслу фразы с разными словами («купить кальян» и «приобрести кальян»). Для этого есть кластеризация.
• Не учитывает порядок слов: если для вас «билеты москва сочи» и «билеты сочи москва» разные запросы, разберите такие группы вручную.