Новости, касающиеся X-Parser

Внимание!  Были выпущены новые обновления X-Parser Light. Парсер обновлен до версии 3.3.2.

• Обновлен алгоритм получения капчи Яндекса с учетом введенных ими изменений.
• Исправлены ошибки версии 3.2.8 в части парсинга картинок
• Добавлен быстрый алгоритм определения мелких картинок для их фильтрации
• Оптимизирован алгоритм парсинга
• В настройках XmlPoxy.ru добавлена возможность парсить сразу по 100 ссылок из выдачи, что экономит бюджет в 10 раз и ускоряет парсинг
• Обновлены настройки всех поисковых систем

Внимание!  Были выпущены новые обновления X-Parser Light. Парсер обновлен до версии 3.2.8.

• Добавлена возможность ограничить размер смешанной статьи, как минимальный, так и максимальный
• Обновлены настройки поисковых систем
• Улучшен алгоритм получения картинок, когда они подгружаются при помощи скриптов
• Устранены ряд ошибок на основании багрепортов пользователей, возникших в версиях 3.1.6 и 3.1.8
• Улучшен алгоритм определения тела статьи, что увеличило качество получаемого контента
• Добавлена возможность получения оригинального параметра alt у картинок

Внимание!  Были выпущены новые обновления X-Parser Light. Парсер обновлен до версии 3.1.8.

• Улучшен алгоритм формирования статьи из секций, теперь можно получать хорошо структурированные статьи из частей статей. Теперь блоки берутся по порядку и логическая структура статьи автоматически выстраивается логично и последовательно
• Исправлена ошибка смешивания статей, когда в смешанную статью попадали статьи со следующего кейворда, возникшая в версии 3.1.6
• Добавлен парсинг изображений из параметра data-src, характерный для Яндекс Дзен

Внимание!  Были выпущены новые обновления X-Parser Light. Парсер обновлен до версии 3.1.6.

• Исправлены проблемы с вылетами приложения после обновления 3.0.9
• Исправлен ряд проблем с капчей и ReCaptcha Гугла, возникшие из-за некоторых нововведений у поисковых систем
• Поле настроек Требуемое количество контента заменено на Количество смешиваемых статей, чтобы при использовании мешапа можно было парсить больше одной итоговой статьи на кейворд
• Добавлен лог отпарсенных ссылок
• Исправлена работоспособность макроса [H1ToH2], утраченная при обновлении 3.0.9
• Обновлены все настройки поисковых систем
• Добавлен сервисы лимитированного парсина, такие как XmlProxy, XmlRiver и XmlStock в качестве поисковых систем. При их использовании можно делать 1000 запросов к ПС за 5-10 рублей, и парсить без капчи.

Внимание!  Были выпущены новые обновления X-Parser Light. Парсер обновлен до версии 3.0.9.

• Добавлена возможность автоматического распознавания Google ReCaptcha при помощи сервисов распознавания капчи.
• Добавлена возможность выбирать по сколько изображений сохранять в одной папке и нужно ли разбивать папку с изображениями на подкатегории.
• Добавлена возможность задавать произвольный путь сохранения изображений относительно корня сайта.
• Улучшен алгоритм парсинга нумерованных и ненумерованных списков: устранена проблема, когда списки, состоящие из одного слова на пункт могли игнорироваться.
• Исправлена ошибка замены по регулярным выражениям в фильтрах, когда регулярное выражение не отрабатывало
• Добавлен макрос {RANDOM_PHRASE} для вывода случайного предложения.
• Добавлен макрос {RANDOM_SECTION} для вывода случайного блока текста от заголовка до заголовка, включая заголовок.
• Обновлены шаблоны вывода с учетом новых макросов.
• Добавлен макрос [DROP_HEADERS] для замены всех заголовков на заголовки на порядок ниже, <h1> на <h2>, <h2> на <h3> и т.д. 
• Добавлен макрос [repeat=2-5][/repeat] для повторения заключенного внутри текста случайное количество раз в указанном диапазоне.
• Добавлены фильтры для предложений и секций.
• Исправлена ошибка формирования WordpressXML при парсинге контента для Wordpress, когда в редких случаях мог получаться невалидный шаблон.
• Добавлена остановка парсинга, если кача была неверно распознана указанное количество раз. Количество раз задается в дополнительных настройках парсинга.

Внимание!  Были выпущены новые обновления X-Parser Light. Парсер обновлен до версии 2.9.6.

• Добавлен макрос {SourceCode}, позволяющий вывести в шаблона вывода исходный код отпарсеной страницы.
• Исправлена ошибка парсинга картинок, возникающая, если включен режим парсинга таблиц.
• Добавлен режим быстрого парсинга метаданных страницы донора, включая абзацы и заголовки без определения тела статьи интеллектуальным методом, например для мешапа по абзацам.
• Добавлен режим быстрого парсинга только метаданных и исходного кода страницы, на случай когда нужны только метаданные страницы или исходный код.
• Обновлены настройки всех поисковых систем.
• Добавлены следующие поисковые системы: Teoma.com, Mysearch.com работающие на базе выдачи гугла.
• В шаблонах вывода добавлена возможность задавать произвальные данные в формате {Значение 1|Значение 2|Значение 3}.
• В шаблонах вывода добавлен макрос [ClearHTML][/ClearHTML] для очистки HTML при парсинге с изображениями и разметкой.

Внимание!  Были выпущены новые обновления X-Parser Light. Парсер обновлен до версии 2.8.3.

• Исправлен баг с парсингом гугла, возникший в обновлении 2.8.0 при попытке найти способ отправки на распознавание Google ReCaptcha 2. Если у Вас есть информация о том, как отправить на распознавание именно капчу, выдаваемую самим гуглом, а не интегрированную на стороннем сайте, свяжитесь с разработчиком.
• Изменен режим поведения парсера при получении капчи, которую не смогли распознать 6 работников, теперь вместо приостановки процесса, капча обновляется и отправляется повторно.
• Добавлен макрос {RANDOM_HEADER}, позволяющий выводить случайный заголовок.

Внимание!  Были выпущены новые обновления X-Parser Light. Парсер обновлен до версии 2.8.0.

• Обновлены настройки поисковых систем. В частности восстановлена работоспособность Rambler.ru.
• Добавлен фильтр по включению в исходном коде источника.
• Добавлен фильтр по исключению в исходном коде источника.
• Исправлена ошибка парсинга в режиме скачивания изображений при использовании макроса {RANDOM_IMAGE}.
• Изменен алгоритм формирования имен изображений при сохранении на более короткие имена.
• Снижена нагрузка при конвертации контента.
• Добавлена проверка исчерпания лимитов в Yandex.XML с приостановлением процесса в случае их исчерпания.

Внимание!  Были выпущены новые обновления X-Parser Light. Парсер обновлен до версии 2.7.0.

• Добавлен макрос {RANDOM_MOVIE}, позволяющи выводить случайное видео при смешивании контента, если оно было получено в одной из статей.
• Добавлен макрос {RANDOM_DATE=01.01.2018-01.01.2019} для вывода случайной даты в заданном диапазоне, для осуществления отложенной публикации постов в Wordpress.
• Улучшен алгоритм парсинга некоторых https-сайтов, которые требовали использования браузера, теперь браузер не нужен, что снижает нагрузку на CPU, если таких сайтов встречается много.
• Улучшен алгоритм очистки скриптов, который после одного из обновлений мог в редких случаях давать сбой и мог появляться мусор из скриптов в контенте.
• Добавлены примеры шаблонов под D-Zeus/D-Zerber5.
• Добавлен макрос [rand=50][/rand] для вывода, заключенного внутри макроса, блока в указанном проценте случаев.
• Добавлен поисковик Go.Mail.ru, а так же возможность добавлять несколько шаблонов ссылки.
• Добавлен парсинг таблиц.

Внимание!  Были выпущены новые обновления X-Parser Light. Парсер обновлен до версии 2.6.5.

• Обновлены настройки поисковых систем.
• Добавлен режим парсинга данных с помощью браузра для получения данных с некоторых SSL доменов требующих обязательного наличия соответствующих сертификатов.
• Восстановлена работоспособность фильтров, которая была нарушена при обновлении до версии версии 2.6.5