Новости проекта

Внимание!  Были выпущены новые обновления X-Parser Light. Парсер обновлен до версии 3.5.7.

• Обновлены настройки поисковых систем, в именно XML-сервисов, чтобы выдача четко соответствовала классической выдече
• Устранены некоторые баги предыдущей версии

Внимание!  Были выпущены новые обновления X-Parser Light. Парсер обновлен до версии 3.5.6.

• Добавлен макрос [once] [/once], который выводит содержимое (например, картинку) один раз на статью, в пределах макроса [combine] [/combine]
• Исправлен баг с макросом {RANDOM_IMAGE} при котором изображения не скачивались в режиме сохранения картинок
• Добавлен макрос {RANDOM_IMAGE_HTML}, который выводит изображение сразу, как HTML
  Добавлен макрос проверки наличия изображения [IMAGES_EXISTS] [/IMAGES_EXISTS], позволяющий выводить изображения макросами {RANDOM_IMAGE} и {RANDOM_IMAGE_HTML}  c дополнительной HTML-оберткой или удалять содержимое, если изображения не найдены
• Добавлен макрос проверки наличия видеороликов [MOVIES_EXISTS] [/MOVIES_EXISTS], позволяющий выводить видеоролики макросом {RANDOM_MOVIE} c дополнительной HTML-оберткой или удалять содержимое, если видеоролики не найдены
• Добавлен макрос проверки наличия заголовков [HEADERS_EXISTS] [/HEADERS _EXISTS], позволяющий выводить заголовки макросом {RANDOM_HEADER} c дополнительной HTML-оберткой или удалять содержимое, если заголовки не найдены
• Добавлен макрос [TOURL] [/TOURL], позволяющий транслитерировать текст и приводить его для формирования ссылок
• Добавлен макрос {RAND_NUMBER=1-5}, позволяющий генерировать случайное число
  Добавлена проверка размера изображения и наличия изображения в режиме сохранения картинок
• Улучшено позиционирование изображений в статьях
• Добавлено ограничение длины текста для макроса {RANDOM_SECTION=150-500}
• Добавлено ограничение длины текста для макроса {RANDOM_PARAGRAPH=150-500}
• Добавлено ограничение длины текста для макроса {RANDOM_PHRASE=150-500}
• Исправлены проблемы с появлением пустых статей при персинге
• Исправлена проблема с парсингом Google, Yahoo и прочих ПС, когда требовалось подтвердить разрешение на использование Cookies
• Добавлены комментарии в шаблонах вывода
• Добавлен сбор сниппетов и заголовков из выдачи поисковых систем
• Оптимизирована работа с XML-сервисами, добавлена обработка всех состояний и ответов
• Добавлена кнопка Сохранить как в шаблонах вывода, которая позволяет делать копию существующего шаблона вывода

Внимание!  Вышло обновление Penguin до версии 20.7. Внесены следующие изменения:

• Изменен алгоритм поиска явных дублей, теперь при выполнении данной операции осуществляется подсчет количества повторов каждой строки в исходных файлах.
• Изменен алгоритм поиска неявных дублей, теперь формируется дополнительный столбец с названием группы для каждой группы таких дублей, что улучшает наглядность при анализе таких дублей.
• Изменен алгоритм поиска неявных дублей с учетом морфологии, теперь формируется дополнительный столбец с названием группы для каждой группы таких дублей, что улучшает наглядность при анализе таких дублей.
• В быстрых операциях в разделе обработки ссылок добавлена операция для извлечения доменных имен из ссылок.
• Добавлена опция добавлять или открывать файл при перетаскивании в окно программы.
• Исправлена ошибка ограничения размера кластера при кластеризации

Внимание!  Вышло обновление Penguin до версии 20.1. Внесены следующие изменения:

• Исправлены все мелкие недочеты в работе версии 19.8 на основании багрепортов пользователей.
• Добавлена возможность отключать автоматическое определение колонок в файлах, если они имеют формат отличный от csv.
• Добавлено игнорирование колонок, при переключении редактора в текстовый режим.
• Улучшено поведение интерфейса при обработке кластеров.

Внимание!  Были выпущены новые обновления X-Parser Light. Парсер обновлен до версии 3.3.7.

• В дополнительных опциях добавлена возможность включения проверки доступности и размера изображений.
• Улучшен алгоритм определения тескта статьи и явных статей.
• Добавлены мкросы {H1_1}, {TITLE_1}, {DESCRIPTION_1}, позволяющие выводить в любом месте смешанной статьи заготовки и описания любой из статей.
• Исправлен ряд мелких ошибок на основании багрепортов пользователей.

Внимание!  Вышло обновление Penguin до версии 19.8. Внесены следующие изменения:

• Добавлено автоматическое определение наличия заголовков в CSV и XLS, XSLX - файлах.
• Добавлена возможность сбора списка стоп-слов при фильтрации исходного списка при помощи анализа кластеров.
• Исправлены все найденные при тестах ошибки и недочеты в работе функционала, добавленного в предыдущих версиях.
• Добавлена возможность задавать словосочетания, которые нужно учитывать, как единую фразу при кластеризации.
• Добавлена возможность использовать условия, как приоритетные фазы, при построении кластеров.
• Добавлена возможность объединять синонимические фразы в один кластер.
• Добавлена возможность кодирования и декодирования Unicode-символов, согласно таблице символов Unicode.
• Максимально оптимизирован алгоритм распределения фраз по кластерам.

Внимание!  Вышло обновление Penguin до версии 19.1. Изменения актуальны только для Premium версии. Внесены следующие изменения:

• Добавлена многоуровневая кластеризация, позволяющая распределять фразы по группам внутри уже сформированных кластеров на всю глубину вложенности кластеров.
• Добавлена возможность при кластеризации задавать словосочетания, которые нужно воспринимать, как единое целое, не разделяя по словам.
• Улучшена кластеризация по условиям.
• Добавлена более качественная морфология при кластеризации для Русского и Английского языков.
• Улучшен алгоритм распределения фраз по кластерам.
• Добавлено автоматическое определение заголовков в CSV-файлах.
• Улучшена порезка файлов, значительно уменьшена погрешность определения требуемого размера файлов при порезке по количеству файлов.
• Оптимизирован алгоритм поиска E-Mail адресов внутри любых файлов.
• Улучшена многопоточная обработка файлов.
• Улучшена система сохранения кластеров, добавлен формат для импорта кластеров и тегов в KeyCollector.

Внимание!  Были выпущены новые обновления X-Parser Light. Парсер обновлен до версии 3.3.2.

• Обновлен алгоритм получения капчи Яндекса с учетом введенных ими изменений.
• Исправлены ошибки версии 3.2.8 в части парсинга картинок
• Добавлен быстрый алгоритм определения мелких картинок для их фильтрации
• Оптимизирован алгоритм парсинга
• В настройках XmlPoxy.ru добавлена возможность парсить сразу по 100 ссылок из выдачи, что экономит бюджет в 10 раз и ускоряет парсинг
• Обновлены настройки всех поисковых систем

Внимание!  Вышло обновление Penguin до версии 18.1. Внесены следующие изменения:

• Penguin [Premium Editor] полностью адаптирован под работу с ключевыми словами и семантическим ядром, а также на обработку выгрузок из таких сервисов, как Bukvarix, Ahrefs, SerpStat, KeySo, Majestic и переименован в Penguin [Keywords Tools].
• Penguin [Standard Edition] переименован в Penguin [BigData Editor] и остался без изменений, весь перечисленный ниже функционал внедрен в версию Penguin [Keywords Tools]:
• Добавлена возможность работы с большими csv-файлами, как с таблицами, с возможностью фильтрации табличных данных по конкретному столбцу путем выбора его кликом по заголовку.
• Добавлена возможность удаления и перемещения столбцов таблицы.
• Добавлена возможность сортировок столбцов таблицы.
• Добавлена сортировка числовых значений (по частотности поискового запроса).
• Добавлена фильтрация числовых значений (по частотности поискового запроса).
• Добавлена возможность открытия xls и xslx файлов.
• Добавлена кластеризация по выбранному столбцу с переносом в кластеры сопутствующих данных из соседних ячеек таблицы.
• Добавлена возможность составления сценариев обработки данных, которые могут включать любые действия, доступных в приложении.
• Улучшена система создания пользовательских функций, которые могут так же содержать в себе сценарии обработки.
• Добавлены типы проектов с фильтрами по умолчанию для каждого типа проекта, для быстрого преобразования выгрузок из различных сервисов, таких как Bukvarix, Ahrefs и т.п в требуемый формат в 1 клик.
• Добавлена возможность сохранения проекта, который включает в себя все обрабатываемые данные и результаты кластеризации, а также все фильтры и сценарии (опционально).
• Добавлена возможность сохранения фильтров и сценариев в файл отдельно от проекта.
• Добавлены пресеты настроек кластеризатора.
• Добавлена возможность генерации всех возможных дублей строк для определения наиболее востребованного варианта поискового запроса.

Внимание!  Были выпущены новые обновления X-Parser Light. Парсер обновлен до версии 3.2.8.

• Добавлена возможность ограничить размер смешанной статьи, как минимальный, так и максимальный
• Обновлены настройки поисковых систем
• Улучшен алгоритм получения картинок, когда они подгружаются при помощи скриптов
• Устранены ряд ошибок на основании багрепортов пользователей, возникших в версиях 3.1.6 и 3.1.8
• Улучшен алгоритм определения тела статьи, что увеличило качество получаемого контента
• Добавлена возможность получения оригинального параметра alt у картинок

Внимание!  Были выпущены новые обновления X-Parser Light. Парсер обновлен до версии 3.1.8.

• Улучшен алгоритм формирования статьи из секций, теперь можно получать хорошо структурированные статьи из частей статей. Теперь блоки берутся по порядку и логическая структура статьи автоматически выстраивается логично и последовательно
• Исправлена ошибка смешивания статей, когда в смешанную статью попадали статьи со следующего кейворда, возникшая в версии 3.1.6
• Добавлен парсинг изображений из параметра data-src, характерный для Яндекс Дзен

Внимание!  Были выпущены новые обновления X-Parser Light. Парсер обновлен до версии 3.1.6.

• Исправлены проблемы с вылетами приложения после обновления 3.0.9
• Исправлен ряд проблем с капчей и ReCaptcha Гугла, возникшие из-за некоторых нововведений у поисковых систем
• Поле настроек Требуемое количество контента заменено на Количество смешиваемых статей, чтобы при использовании мешапа можно было парсить больше одной итоговой статьи на кейворд
• Добавлен лог отпарсенных ссылок
• Исправлена работоспособность макроса [H1ToH2], утраченная при обновлении 3.0.9
• Обновлены все настройки поисковых систем
• Добавлен сервисы лимитированного парсина, такие как XmlProxy, XmlRiver и XmlStock в качестве поисковых систем. При их использовании можно делать 1000 запросов к ПС за 5-10 рублей, и парсить без капчи.

Внимание!  Были выпущены новые обновления X-Parser Light. Парсер обновлен до версии 3.0.9.

• Добавлена возможность автоматического распознавания Google ReCaptcha при помощи сервисов распознавания капчи.
• Добавлена возможность выбирать по сколько изображений сохранять в одной папке и нужно ли разбивать папку с изображениями на подкатегории.
• Добавлена возможность задавать произвольный путь сохранения изображений относительно корня сайта.
• Улучшен алгоритм парсинга нумерованных и ненумерованных списков: устранена проблема, когда списки, состоящие из одного слова на пункт могли игнорироваться.
• Исправлена ошибка замены по регулярным выражениям в фильтрах, когда регулярное выражение не отрабатывало
• Добавлен макрос {RANDOM_PHRASE} для вывода случайного предложения.
• Добавлен макрос {RANDOM_SECTION} для вывода случайного блока текста от заголовка до заголовка, включая заголовок.
• Обновлены шаблоны вывода с учетом новых макросов.
• Добавлен макрос [DROP_HEADERS] для замены всех заголовков на заголовки на порядок ниже, <h1> на <h2>, <h2> на <h3> и т.д. 
• Добавлен макрос [repeat=2-5][/repeat] для повторения заключенного внутри текста случайное количество раз в указанном диапазоне.
• Добавлены фильтры для предложений и секций.
• Исправлена ошибка формирования WordpressXML при парсинге контента для Wordpress, когда в редких случаях мог получаться невалидный шаблон.
• Добавлена остановка парсинга, если кача была неверно распознана указанное количество раз. Количество раз задается в дополнительных настройках парсинга.

Внимание!  Были выпущены новые обновления X-Parser Light. Парсер обновлен до версии 2.9.6.

• Добавлен макрос {SourceCode}, позволяющий вывести в шаблона вывода исходный код отпарсеной страницы.
• Исправлена ошибка парсинга картинок, возникающая, если включен режим парсинга таблиц.
• Добавлен режим быстрого парсинга метаданных страницы донора, включая абзацы и заголовки без определения тела статьи интеллектуальным методом, например для мешапа по абзацам.
• Добавлен режим быстрого парсинга только метаданных и исходного кода страницы, на случай когда нужны только метаданные страницы или исходный код.
• Обновлены настройки всех поисковых систем.
• Добавлены следующие поисковые системы: Teoma.com, Mysearch.com работающие на базе выдачи гугла.
• В шаблонах вывода добавлена возможность задавать произвальные данные в формате {Значение 1|Значение 2|Значение 3}.
• В шаблонах вывода добавлен макрос [ClearHTML][/ClearHTML] для очистки HTML при парсинге с изображениями и разметкой.

Внимание!  Вышло обновление Penguin до версии 14.6. Изменения актуальны и для Standard, и для Premium версий. Внесены следующие изменения:

• Добавлено пакетное добавления файлов из вложенных папок на всю глубину по маске папок и файлов.
• Исправлена ошибка ограничения размера класткров.
• Добавлены режимы разделения кластеров на кластеры заданной длины.