Итак, я окончательно подтверждаю, что Яндекс банит за мат. Детали под катом.
С некоторого времени я стал наблюдать странную тенденцию — несколько моих информационно-развлекательных сайтов то полностью выпадали из выдачи Яндекса по ВЧ, то снова появлялись. Теперь я понимаю, что это было связано с разным объемом проиндексированного контента, либо с продолжавшейся настройкой фильтров. На последнее указывает еще и то, что Яндекс несколько месяцев тянул кота за яички и сообщал, что они ищут проблему в моем сайте. Теперь они окончательно настроили фильтр, видать, и коротко и ясно кидают мне в ответ:
Под «материалами для взрослых» мы подразумеваем страницы, которые родители не хотели бы показывать своим детям раньше времени. Например, если на сайте много страниц «для взрослых», содержащих соответствующую лексику, то, с большой вероятностью, из результатов поиска будут отфильтрованы и другие страницы с этого сайта, даже те, которые такую лексику не содержат.
На мой вопрос о том, где предупреждающие письма от них (ну вроде как о Минусинске предупреждали же), последовал ответ:
Официальных писем по этому поводу у нас не предусмотрено. Также согласно пунктам 3.8 и 3.9 Лицензии ( https://legal.yandex.ru/termsofuse/ ), Яндекс не комментирует исключение веб-сайтов из базы Сервиса и/или изменение их позиции, не уведомляет о таких действиях, и не дает никаких гарантий и сроков на повторное их включение в базу Сервиса/изменение их позиции.
Для себя сделал вывод, что либо под давлением вышестоящих органов, либо от желания прогнуться под органом, Яндекс в кратчайшие сроки ввел корявый алгоритм, который за периодический "еп вашу мать" в комментариях уводит ваш сайт в бан. Ну, по крайней мере, в фильтр.
Что делать дальше? Пока собираю советы, но примерный курс такой:
Вынос форума на отдельный поддомен.
Наложение антимата на комментарии (сложности в том, что их полторы сотни тысяч).
Ручная проверка всех имеющихся ссылок в системе, удаление подозрительных (наверняка, редиректы и disallow тут бессильны).
Аналогичная проверка картинок.
Для более быстрого эффекта хочу еще попробовать комментарии сделать на AJAX, чтобы поисковик видел страницы сразу чистыми. Сомневаюсь как бы не схлопотать понижений от Гугл.
Вот таки дела. Крайне неприятное ощущение бессильной злобы.