Новости проекта

Внимание!  Вышло обновление Penguin до версии 19.8. Внесены следующие изменения:

• Добавлено автоматическое определение наличия заголовков в CSV и XLS, XSLX - файлах.
• Добавлена возможность сбора списка стоп-слов при фильтрации исходного списка при помощи анализа кластеров.
• Исправлены все найденные при тестах ошибки и недочеты в работе функционала, добавленного в предыдущих версиях.
• Добавлена возможность задавать словосочетания, которые нужно учитывать, как единую фразу при кластеризации.
• Добавлена возможность использовать условия, как приоритетные фазы, при построении кластеров.
• Добавлена возможность объединять синонимические фразы в один кластер.
• Добавлена возможность кодирования и декодирования Unicode-символов, согласно таблице символов Unicode.
• Максимально оптимизирован алгоритм распределения фраз по кластерам.

Внимание!  Вышло обновление Penguin до версии 19.1. Изменения актуальны только для Premium версии. Внесены следующие изменения:

• Добавлена многоуровневая кластеризация, позволяющая распределять фразы по группам внутри уже сформированных кластеров на всю глубину вложенности кластеров.
• Добавлена возможность при кластеризации задавать словосочетания, которые нужно воспринимать, как единое целое, не разделяя по словам.
• Улучшена кластеризация по условиям.
• Добавлена более качественная морфология при кластеризации для Русского и Английского языков.
• Улучшен алгоритм распределения фраз по кластерам.
• Добавлено автоматическое определение заголовков в CSV-файлах.
• Улучшена порезка файлов, значительно уменьшена погрешность определения требуемого размера файлов при порезке по количеству файлов.
• Оптимизирован алгоритм поиска E-Mail адресов внутри любых файлов.
• Улучшена многопоточная обработка файлов.
• Улучшена система сохранения кластеров, добавлен формат для импорта кластеров и тегов в KeyCollector.

Внимание!  Были выпущены новые обновления X-Parser Light. Парсер обновлен до версии 3.3.2.

• Обновлен алгоритм получения капчи Яндекса с учетом введенных ими изменений.
• Исправлены ошибки версии 3.2.8 в части парсинга картинок
• Добавлен быстрый алгоритм определения мелких картинок для их фильтрации
• Оптимизирован алгоритм парсинга
• В настройках XmlPoxy.ru добавлена возможность парсить сразу по 100 ссылок из выдачи, что экономит бюджет в 10 раз и ускоряет парсинг
• Обновлены настройки всех поисковых систем

Внимание!  Вышло обновление Penguin до версии 18.1. Внесены следующие изменения:

• Penguin [Premium Editor] полностью адаптирован под работу с ключевыми словами и семантическим ядром, а также на обработку выгрузок из таких сервисов, как Bukvarix, Ahrefs, SerpStat, KeySo, Majestic и переименован в Penguin [Keywords Tools].
• Penguin [Standard Edition] переименован в Penguin [BigData Editor] и остался без изменений, весь перечисленный ниже функционал внедрен в версию Penguin [Keywords Tools]:
• Добавлена возможность работы с большими csv-файлами, как с таблицами, с возможностью фильтрации табличных данных по конкретному столбцу путем выбора его кликом по заголовку.
• Добавлена возможность удаления и перемещения столбцов таблицы.
• Добавлена возможность сортировок столбцов таблицы.
• Добавлена сортировка числовых значений (по частотности поискового запроса).
• Добавлена фильтрация числовых значений (по частотности поискового запроса).
• Добавлена возможность открытия xls и xslx файлов.
• Добавлена кластеризация по выбранному столбцу с переносом в кластеры сопутствующих данных из соседних ячеек таблицы.
• Добавлена возможность составления сценариев обработки данных, которые могут включать любые действия, доступных в приложении.
• Улучшена система создания пользовательских функций, которые могут так же содержать в себе сценарии обработки.
• Добавлены типы проектов с фильтрами по умолчанию для каждого типа проекта, для быстрого преобразования выгрузок из различных сервисов, таких как Bukvarix, Ahrefs и т.п в требуемый формат в 1 клик.
• Добавлена возможность сохранения проекта, который включает в себя все обрабатываемые данные и результаты кластеризации, а также все фильтры и сценарии (опционально).
• Добавлена возможность сохранения фильтров и сценариев в файл отдельно от проекта.
• Добавлены пресеты настроек кластеризатора.
• Добавлена возможность генерации всех возможных дублей строк для определения наиболее востребованного варианта поискового запроса.

Внимание!  Были выпущены новые обновления X-Parser Light. Парсер обновлен до версии 3.2.8.

• Добавлена возможность ограничить размер смешанной статьи, как минимальный, так и максимальный
• Обновлены настройки поисковых систем
• Улучшен алгоритм получения картинок, когда они подгружаются при помощи скриптов
• Устранены ряд ошибок на основании багрепортов пользователей, возникших в версиях 3.1.6 и 3.1.8
• Улучшен алгоритм определения тела статьи, что увеличило качество получаемого контента
• Добавлена возможность получения оригинального параметра alt у картинок

Внимание!  Были выпущены новые обновления X-Parser Light. Парсер обновлен до версии 3.1.8.

• Улучшен алгоритм формирования статьи из секций, теперь можно получать хорошо структурированные статьи из частей статей. Теперь блоки берутся по порядку и логическая структура статьи автоматически выстраивается логично и последовательно
• Исправлена ошибка смешивания статей, когда в смешанную статью попадали статьи со следующего кейворда, возникшая в версии 3.1.6
• Добавлен парсинг изображений из параметра data-src, характерный для Яндекс Дзен

Внимание!  Были выпущены новые обновления X-Parser Light. Парсер обновлен до версии 3.1.6.

• Исправлены проблемы с вылетами приложения после обновления 3.0.9
• Исправлен ряд проблем с капчей и ReCaptcha Гугла, возникшие из-за некоторых нововведений у поисковых систем
• Поле настроек Требуемое количество контента заменено на Количество смешиваемых статей, чтобы при использовании мешапа можно было парсить больше одной итоговой статьи на кейворд
• Добавлен лог отпарсенных ссылок
• Исправлена работоспособность макроса [H1ToH2], утраченная при обновлении 3.0.9
• Обновлены все настройки поисковых систем
• Добавлен сервисы лимитированного парсина, такие как XmlProxy, XmlRiver и XmlStock в качестве поисковых систем. При их использовании можно делать 1000 запросов к ПС за 5-10 рублей, и парсить без капчи.

Внимание!  Были выпущены новые обновления X-Parser Light. Парсер обновлен до версии 3.0.9.

• Добавлена возможность автоматического распознавания Google ReCaptcha при помощи сервисов распознавания капчи.
• Добавлена возможность выбирать по сколько изображений сохранять в одной папке и нужно ли разбивать папку с изображениями на подкатегории.
• Добавлена возможность задавать произвольный путь сохранения изображений относительно корня сайта.
• Улучшен алгоритм парсинга нумерованных и ненумерованных списков: устранена проблема, когда списки, состоящие из одного слова на пункт могли игнорироваться.
• Исправлена ошибка замены по регулярным выражениям в фильтрах, когда регулярное выражение не отрабатывало
• Добавлен макрос {RANDOM_PHRASE} для вывода случайного предложения.
• Добавлен макрос {RANDOM_SECTION} для вывода случайного блока текста от заголовка до заголовка, включая заголовок.
• Обновлены шаблоны вывода с учетом новых макросов.
• Добавлен макрос [DROP_HEADERS] для замены всех заголовков на заголовки на порядок ниже, <h1> на <h2>, <h2> на <h3> и т.д. 
• Добавлен макрос [repeat=2-5][/repeat] для повторения заключенного внутри текста случайное количество раз в указанном диапазоне.
• Добавлены фильтры для предложений и секций.
• Исправлена ошибка формирования WordpressXML при парсинге контента для Wordpress, когда в редких случаях мог получаться невалидный шаблон.
• Добавлена остановка парсинга, если кача была неверно распознана указанное количество раз. Количество раз задается в дополнительных настройках парсинга.

Внимание!  Были выпущены новые обновления X-Parser Light. Парсер обновлен до версии 2.9.6.

• Добавлен макрос {SourceCode}, позволяющий вывести в шаблона вывода исходный код отпарсеной страницы.
• Исправлена ошибка парсинга картинок, возникающая, если включен режим парсинга таблиц.
• Добавлен режим быстрого парсинга метаданных страницы донора, включая абзацы и заголовки без определения тела статьи интеллектуальным методом, например для мешапа по абзацам.
• Добавлен режим быстрого парсинга только метаданных и исходного кода страницы, на случай когда нужны только метаданные страницы или исходный код.
• Обновлены настройки всех поисковых систем.
• Добавлены следующие поисковые системы: Teoma.com, Mysearch.com работающие на базе выдачи гугла.
• В шаблонах вывода добавлена возможность задавать произвальные данные в формате {Значение 1|Значение 2|Значение 3}.
• В шаблонах вывода добавлен макрос [ClearHTML][/ClearHTML] для очистки HTML при парсинге с изображениями и разметкой.

Внимание!  Вышло обновление Penguin до версии 14.6. Изменения актуальны и для Standard, и для Premium версий. Внесены следующие изменения:

• Добавлено пакетное добавления файлов из вложенных папок на всю глубину по маске папок и файлов.
• Исправлена ошибка ограничения размера класткров.
• Добавлены режимы разделения кластеров на кластеры заданной длины.

Внимание!  Были выпущены новые обновления X-Parser Light. Парсер обновлен до версии 2.8.3.

• Исправлен баг с парсингом гугла, возникший в обновлении 2.8.0 при попытке найти способ отправки на распознавание Google ReCaptcha 2. Если у Вас есть информация о том, как отправить на распознавание именно капчу, выдаваемую самим гуглом, а не интегрированную на стороннем сайте, свяжитесь с разработчиком.
• Изменен режим поведения парсера при получении капчи, которую не смогли распознать 6 работников, теперь вместо приостановки процесса, капча обновляется и отправляется повторно.
• Добавлен макрос {RANDOM_HEADER}, позволяющий выводить случайный заголовок.

Внимание!  Вышло обновление Penguin до версии 14.2. Внесены следующие изменения:

• Исправлена ошибка, возникшая в версии 14.1, а именно: проблема вставки данных в редактор по Ctrl+V, содержащих цифры, которые попадали в поле "Количество результатов", что вызывало ошибку.

Внимание!  Были выпущены новые обновления X-Parser Light. Парсер обновлен до версии 2.8.0.

• Обновлены настройки поисковых систем. В частности восстановлена работоспособность Rambler.ru.
• Добавлен фильтр по включению в исходном коде источника.
• Добавлен фильтр по исключению в исходном коде источника.
• Исправлена ошибка парсинга в режиме скачивания изображений при использовании макроса {RANDOM_IMAGE}.
• Изменен алгоритм формирования имен изображений при сохранении на более короткие имена.
• Снижена нагрузка при конвертации контента.
• Добавлена проверка исчерпания лимитов в Yandex.XML с приостановлением процесса в случае их исчерпания.

Внимание!  Вышло обновление Penguin до версии 14.1. Внесены следующие изменения:

• Исправлена ошибка вставки данных для обработки в редакторе через сочетание горячих клавиш Ctrl+V, которая приводила к неработоспособности всех функций, так как исходные данные вставлялись в текстовое поле редактора, а не привязывались для обработки.
• Исправлены прочие ошибки сочетаний горячих клавиш на всех текстовых полях. Просьба: если обнаружите ошибки при использовании горячих клавиш на каком-то из полей, пожалуйста, сообщите об этом нам!

Внимание!  Вышло обновление Penguin до версии 14.0. Внесены следующие изменения:

• Добавлена быстрая функция транслитерации.
• Добавлена возможность сохранения результатов в кодировке UTF-8 без BOM.
• Улучшена быстрая фильтрация контента от мусора.
• Добавлен функционал для работы с CSV файлами в быстрых операциях:
• Добавлена возможность быстро конвертировать дампы SQL в CSV формат.
• Добавлена возможность переноса столбцов в огромных CSV файлах.
• Добавлена возможность удаления столбцов в огромных CSV файлах.
• Добавлен функционал для обработки баз данных с телефонами и E-Mail:
• Добавлен быстрый поиск телефонов.
• Добавлен быстрый поиск E-Mail адресов.
• Добавлена возможность сопоставить номера телефонов РФ с операторами и регионами РФ.
• Исправлены проблемы с горячими клавишами на полях ввода.