Новости, касающиеся X-Parser

Внимание!  Были выпущены новые обновления X-Parsr Light. Парсер обновлен до версии 3.0.9.

• Добавлена возможность автоматического распознавания Google ReCaptcha при помощи сервисов распознавания капчи.
• Добавлена возможность выбирать по сколько изображений сохранять в одной папке и нужно ли разбивать папку с изображениями на подкатегории.
• Добавлена возможность задавать произвольный путь сохранения изображений относительно корня сайта.
• Улучшен алгоритм парсинга нумерованных и ненумерованных списков: устранена проблема, когда списки, состоящие из одного слова на пункт могли игнорироваться.
• Исправлена ошибка замены по регулярным выражениям в фильтрах, когда регулярное выражение не отрабатывало
• Добавлен макрос {RANDOM_PHRASE} для вывода случайного предложения.
• Добавлен макрос {RANDOM_SECTION} для вывода случайного блока текста от заголовка до заголовка, включая заголовок.
• Обновлены шаблоны вывода с учетом новых макросов.
• Добавлен макрос [DROP_HEADERS] для замены всех заголовков на заголовки на порядок ниже, <h1> на <h2>, <h2> на <h3> и т.д. 
• Добавлен макрос [repeat=2-5][/repeat] для повторения заключенного внутри текста случайное количество раз в указанном диапазоне.
• Добавлены фильтры для предложений и секций.
• Исправлена ошибка формирования WordpressXML, когда в редких случаях мог получаться невалидный шаблон.
• Добавлена остановка парсинга, если кача была неверно распознана указанное количество раз. Количество раз задается в дополнительных настройках парсинга.

Внимание!  Были выпущены новые обновления X-Parsr Light. Парсер обновлен до версии 2.9.4.

• Добавлен макрос {SourceCode}, позволяющий вывести в шаблона вывода исходный код отпарсеной страницы.
• Исправлена ошибка парсинга картинок, возникающая, если включен режим парсинга таблиц.
• Добавлен режим быстрого парсинга метаданных страницы донора, включая абзацы и заголовки без определения тела статьи интеллектуальным методом, например для мешапа по абзацам.
• Добавлен режим быстрого парсинга только метаданных и исходного кода страницы, на случай когда нужны только метаданные страницы или исходный код.
• Обновлены настройки всех поисковых систем.
• Добавлены следующие поисковые системы: Teoma.com, Mysearch.com работающие на базе выдачи гугла.
• В шаблонах вывода добавлена возможность задавать произвальные данные в формате {Значение 1|Значение 2|Значение 3}.
• В шаблонах вывода добавлен макрос [ClearHTML][/ClearHTML] для очистки HTML при парсинге с изображениями и разметкой.

Внимание!  Были выпущены новые обновления X-Parsr Light. Парсер обновлен до версии 2.8.3.

• Исправлен баг с парсингом гугла, возникший в обновлении 2.8.0 при попытке найти способ отправки на распознавание Google ReCaptcha 2. Если у Вас есть информация о том, как отправить на распознавание именно капчу, выдаваемую самим гуглом, а не интегрированную на стороннем сайте, свяжитесь с разработчиком.
• Изменен режим поведения парсера при получении капчи, которую не смогли распознать 6 работников, теперь вместо приостановки процесса, капча обновляется и отправляется повторно.
• Добавлен макрос {RANDOM_HEADER}, позволяющий выводить случайный заголовок.

Внимание!  Были выпущены новые обновления X-Parsr Light. Парсер обновлен до версии 2.8.0.

• Обновлены настройки поисковых систем. В частности восстановлена работоспособность Rambler.ru.
• Добавлен фильтр по включению в исходном коде источника.
• Добавлен фильтр по исключению в исходном коде источника.
• Исправлена ошибка парсинга в режиме скачивания изображений при использовании макроса {RANDOM_IMAGE}.
• Изменен алгоритм формирования имен изображений при сохранении на более короткие имена.
• Снижена нагрузка при конвертации контента.
• Добавлена проверка исчерпания лимитов в Yandex.XML с приостановлением процесса в случае их исчерпания.

Внимание!  Были выпущены новые обновления X-Parsr Light. Парсер обновлен до версии 2.7.0.

• Добавлен макрос {RANDOM_MOVIE}, позволяющи выводить случайное видео при смешивании контента, если оно было получено в одной из статей.
• Добавлен макрос {RANDOM_DATE=01.01.2018-01.01.2019} для вывода случайной даты в заданном диапазоне, для осуществления отложенной публикации постов в Wordpress.
• Улучшен алгоритм парсинга некоторых https-сайтов, которые требовали использования браузера, теперь браузер не нужен, что снижает нагрузку на CPU, если таких сайтов встречается много.
• Улучшен алгоритм очистки скриптов, который после одного из обновлений мог в редких случаях давать сбой и мог появляться мусор из скриптов в контенте.
• Добавлены примеры шаблонов под D-Zeus/D-Zerber5.
• Добавлен макрос [rand=50][/rand] для вывода, заключенного внутри макроса, блока в указанном проценте случаев.
• Добавлен поисковик Go.Mail.ru, а так же возможность добавлять несколько шаблонов ссылки.
• Добавлен парсинг таблиц.

Внимание!  Были выпущены новые обновления X-Parsr Light. Парсер обновлен до версии 2.6.5.

• Обновлены настройки поисковых систем.
• Добавлен режим парсинга данных с помощью браузра для получения данных с некоторых SSL доменов требующих обязательного наличия соответствующих сертификатов.
• Восстановлена работоспособность фильтров, которая была нарушена при обновлении до версии версии 2.6.5

Внимание!  Были выпущены новые обновления X-Parsr Light. Парсер обновлен до версии 2.6.2.

• Обновлены настройки Rambler.ru в связи с изменением шаблона ссылок.
• Добавлено автоматическое декодирование URL, для простоты извлечения целевой ссылки из другой ссылки.

Внимание!  Были выпущены новые обновления X-Parsr Light. Парсер обновлен до версии 2.6.0.

• Обновлены настройки всех поисковых систем. Не забывайте, что в настройках ПС Вы можете самостоятельно контролировать работоспособность любой поисковой системы.
• Улучшен алгоритм получения изображений на основании багрепортов.
• Улучшен алгоритм получения статей на основании багрепортов.
• Улучшен алгоритм получения маркированных списков на основании багрепортов.

Внимание!  Были выпущены новые обновления X-Parsr Light. Парсер обновлен до версии 2.5.5.

• Добавлен режим автоматического удаления дублей ссылок, полученных из выдачи поисковой системы, так как в новом шаблоне яндекса вручную неудобно стало это настраивать. Раньше такой проблемы не возникало, поэтому такой алгоритм отсутствовал за ненадобностью.
• Добавлен режим смешивание статьи из нескольких как целиком, так и из случайных абзацев.
• Добавлены новые шаблоны для мешапа контента из нескольких статей или абзацев.
• Добавлен макрос {RANDOM_PARAGRAPH} в шаблонах вывода для вывода случайного абзаца.
• Добавлен макрос {RANDOM_IMAGE} в шаблонах вывода для вывода случайного изображения.
• Отлажен режим парсинга с предварительной обработкой контента, а так же режим конвертации контента.
• Добавлен новый формат формирования имен файлов в виде Имя файла [Кейворд].txt.
• Добавлены 3 новых типа фильтров, позволяющих удалять любую часть исходного шаблона, а так же обрезать начало и конец для ручной настройки границ парсинга если парсится какой-то определенный донор.
• Исправлен алгоритм определения тела статьи, который некорректно работал после одного из прошлых обновлений.
• Исправлена опция ограничения длины абзаца.

Внимание!  Были выпущены новые обновления X-Parsr Light. Парсер обновлен до версии 2.4.5.

• Улучшен алгоритм сбора изображений.
• Обновлены настройки всех поисковых систем, восстановлена работа яндекса и mail.ru. Имейте в виду, что настройка ПС доступна пользователю и Вы можете делать это самостоятельно во всех версиях приложения.
• Устранена ошбка, которая в очень редких случаях приводила к нагрузке на процессор, если попадался сейт с множеством пробелов в шаблне стоящих друг за другом.