Проверка уникальности контента

Поскольку для внутренней оптимизации сайта очень важно, чтобы контент, находящийся на его страницах, был уникальным, необходимо иметь возможность проверить текст. Дело в том, что даже авторский текст, который только что составлен и записан самим владельцем разработанного сайта, может иметь неудовлетворительные показатели уникальности. Это случается по той причине, что в нашей речи и в письме мы используем устоявшиеся словоформы, привычные речевые обороты и фразы, которые могут находиться и в других текстах. Это снижает уникальность контента.

Поисковые машины, проверяя контент на уникальность, используют особые алгоритмы, которые основываются на законах Зипфа. Джорж Кингсли Зипф – профессор Гарвардского университета в области лингвистики. Ещё в далёком 1949 году он эмпирически вывел закономерности частоты, с которой употребляются слова в произвольно написанном тексте.

На основе проведённых им опытов были сформулированы два закона. Согласно первому закону Зипфа, вероятность присутствия слова в тексте, умноженная на частоту его применения – это постоянная величина. Второй константой является отношения частоты использования слова и количества слов, которые входят в текст с указанной частотой.

Согласно указанным законам происходит разделение поисковыми системами страниц сайта на несколько групп. В первую группу включаются предлоги, союзы и междометия, не несущие смысловой нагрузки с точки зрения оптимизации. Во второй группе сосредотачиваются ключевые слова и словосочетания, которые имеют большое значение для тех, кто будет вводить запросы в поисковую строку браузера и разыскивать необходимую им информацию. Случайные фразы помещаются в третью группу. Подобное разделение текста на фракции называется его канонизацией. По окончании этого этапа начинается стадия алгоритма шинглов. В переводе с английского «шингл» означает «чешуйку».

Суть метода состоит в том, что все ключевые словосочетания разбиваются на цепочки, в состав которых входит установленное число слов, что определяется заявленной длиной шингла. Каждое последнее слово одной цепочки является первым для другой. Этим и достигается проверка текста на все сто процентов. Для каждого шингла существует собственная контрольная сумма. Если тексты разные, одинаковых сумм е будет. Уникальность текста проверяется путём сравнения шинглов, чем достигается высокая точность результатов. Имеющиеся совпадения понижают уникальность.

Представленный алгоритм помогает выявлять полностью скопированные тексты, частично продублированные и те, которые имеют низкую уникальность в результате наличия большого числа цитат или часто применяемых фразеологических оборотов. Если первые два случая являются результатами злонамеренных действий, то последний – явление частое, но не умышленное. Чтобы избежать подобных фактов, необходимо на стадии подготовки контента использовать специальные сервисы – программы, предназначенные для выявления неуникальных фраз и фрагментов.

В качестве примеров подобных систем можно привести программу Advego Plagiatus и сервис Miratools. Использование подобных систем помогает уникализировать текст, что позволяет владельцам ресурсов делать раскручиваемые сайты интересными, информативными и активно посещаемыми.