Система импорта новостей FDE Grabber

Система импорта новостей FDE Grabber (Sitemap)

Что такое FDE Grabber?

- RSS/Atom клиент-граббер, HTML парсер, способный импортировать новостной контент, включая изображения и публиковать полученные новости в различные CMS
- Бесплатные обновления версий граббера
- Дружелюбная служба поддержки
- В рамках одной лицензии у вас есть возможность запускать систему на 10 различных серверах, публиковать полученный контент на неограниченное количество сайтов, а также на одном и том же сервере устанавливать неограниченное число копий FDE Grabber
- Список IP адресов, на которых разрешён запуск системы импорта новостей FDE Grabber не жёсткий - его можно изменять в любой момент по Вашему усмотрению в персональном кабинете на сайте fde-cms.ru
- Возможность вести удалённую публикацию, когда граббер стоит и работает на одном сервере, а публикует на другой. Поддержка публикации файлов через FTP протокол
- Открытый исходный код (не путать с Open Source!). Для проверки лицензии закодировано всего два файла, весь остальной код - открыт
- FDE Grabber может работать и как простой бесшаблонный парсер (граббер) для импорта статей/новостей и как полностью настраиваемый до мелочей профессиональный инструмент для граббинга сайтов

FDE Grabber - это не модуль к какой-либо CMS, а отдельная система.

Возможности:

- импорт полного контента с RSS/Atom фидов, а также граббинг с HTML страниц со списками новостей
- возможность логина на сайт, с которого идёт граббинг (например, для чтения скрытого от гостей текста)
- самая совершенная система настройки шаблонов для парсинга (1 - простая, без регулярных выражений; 2 - с использованием регулярных выражений; 3 - с использованием технологии DOM парсинга; 4 - а также технология бесшаблонного парсинга)
- разнообразные фильтры и замены слов (1 - простые, без регулярных выражений; 2 - с использованием регулярных выражений; 3 - по указанному DOM шаблону в паре с заменой)
- полноценная система перелинковки
- поддержка изображений, внедрённых в тело HTML документа, закодированных, с помощью Base64 схемы
- поддержка импорта данных с сайтов, расположенных в доменах, содержащих символы национальных алфавитов
- возможность создания превью для картинок
- возможность получения краткой новости (статьи, анонса) как из источника, так и путём обрезки полной новости по заданному количеству символов/абзацев/предложений с автоматической корректировкой незакрытых HTML тегов (дескрипторов)
- умная система выравнивания картинок в статьях (в зависимости от размера изображения)
- возможность наложения на картинки вотермарков
- настраиваемая обрезка каждой из сторон изображений (например, справа обрезать на столько-то пикселей, а слева на столько-то)
- возможность предварительного тестирования правильности настроек
- встроенный синонимайзер (в комплекте 2 базы: русскоязычная и англоязычная)
- редактирование синонимов и стоп-слов через администраторский интерфейс
- экспорт/импорт настроек граббера
- экспорт/импорт баз синонимайзера
- корректная работа с известными кодировками
- возможность автоматического определения кодировки страницы по данным HTML тега META, а также отправляемому сервером заголовку Content-Type
- возможность работы через прокси
- ведение лога событий
- поддержка фейковых пользователей и комментариев
- возможность парсить ленты которые работают через FeedBurner
- возможность парсить ленты, получать картинки, сохранять статьи, обходя редиректы
- возможность публикации полученного контента на все указанные сайты или случайно в один из указанных
- возможность выкачивания полностью всех новостей с сайта, в случае использования HTML источников (это достигается путём задействования обхода пейджера:
https://site.com/page/{page}/, где {page} будет принимать значения номеров страниц пейджера сайта с указанным интервалом)
- возможность обхода по параметру, в случае использования HTML источников: https://site.com/param/{param}/, где {param} будет принимать указанные значения
- корректная работа с тегом base
- возможность использовать собственные хаки (микропрограммы для обработки контента). На данный момент, в стандартный дистрибутив входит порядка 10 хаков
- отдельная настройка размеров изображений для краткой и полной новости
- возможность не только уменьшать картинки, но и производить операцию обрезки (crop image)
- мультиязычность администраторского интерфейса (в данный момент доступны языки: русский, английский; язык сменяется через конфигурационный файл граббера)
- разграничение прав пользователей в админке граббера. Возможность назначать пользователям группу. Возможность создавать новые группы, с указанием прав доступа
- возможность устанавливать лимит публикуемых статей за день
- возможность автоматического клонирования категорий и источников
- возможность массового изменения каких-либо параметров у выбранных категорий и источников
- возможность автоматического определения категории, к которой относится данная статья на основе обработанных стеммером ключевых слов
- возможность распознавания русских дат
- возможность указания нескольких шаблонов для парсинга через теги логического ИЛИ: {or}, а также логического И: {and}
- возможность автоматического переименования получаемых картинок путём транслитерации заголовка статьи для получения псевдо SEF (ЧПУ) адресов
- возможность настройки расположения вотермарка: левый верхний угол/правый верхний угол/левый нижний угол/ правый нижний угол/по центру/случайно из перечисленных вариантов
- возможность указания случайной флуктуации дат публикации статей, которая устанавливается на уровне настройки категории источников
- возможность указания фиксированного смещения даты новостей, которая устанавливается на уровне настройки категории источников
- возможность универсальной настройки получаемых дат статей при граббинге: a) из источника б) дата, на момент граббинга источника в) дата, на момент граббинга статьи д) дата, на момент публикации

Требования к хостингу, на котором будет располагаться основная система:

- PHP 4.3.0 и выше (рекомендуется от 5.2.5 и выше)
- MySQL 4 и выше
- библиотеки PHP: pcre, mysql, iconv, curl, xml, gd, mb

Требования к настройкам PHP на хостинге, на котором будет располагаться основная система граббинга:

- safe_mode is off
- разрешённое выполнение функции eval

Требования к хостингу, на котором может располагаться транзитная система публикации граббера в CMS (для удалённых, remote, публикаций):

- PHP 4.3.0 и выше (рекомендуется от 5.2.5 и выше)
- MySQL 4 и выше
- библиотеки PHP: pcre, mysql, iconv, gd, mb

Требования к настройкам PHP на хостинге, на котором может располагаться транзитная система публикации граббера в CMS:

- требований нет
Для осуществления проверки совместимости FDE Grabber с вашим хостингом можно использовать подготовленный нами скрипт. Скачать проверочный скрипт можно отсюда. Результат работы скрипта будет выглядеть примерно так.


Онлайн демо граббера находится здесь:

https://fdegrabber.demo.fdstar.net/

логин: admin
пароль: 123456

Официальный сайт системы импорта новостей FDE Grabber: fde-grabber.ru.

Блог, посвящённый системе импорта новостей FDE Grabber: fde-grabber.fdstar.net.


Граббер работает с такими движками (CMS, публикует в них полученные новости): DLE (Data Life Engine), NG, Wordpress, Joomla 1.5.x/1.6.x/2.5.x/3.0.x, а также публикация в компонент K2 (поддерживается работа только с MySQL базами данных), E107, Drupal, Danneo, Open Slaed (поддерживается и коммерческая версия), InstantCMS, FDE CMS *
Если в этом списке не представлен движок вашего сайта, то возможна доработка граббера для работы с ним.

При покупке программного продукта "FDE Grabber" Вы автоматически соглашаетесь с лицензионным соглашением. В случае выявления нарушений лицензионного соглашения Компания в праве аннулировать все приобретённые данным клиентом лицензии.

Стоимость одной лицензии составляет 88.8 USD




Дополнительные услуги:

- Профессиональная установка и настройка граббера;
- Помощь в настройке шаблонов для граббинга.

Часто задаваемые вопросы вынесены в отдельный форум: FAQ - ЧАсто задаваемые ВОпросы по FDE Grabber
Общие вопросы по грабберу можно задавать через эту форму

Пример сайта, который обновляется нашей системой импорта новостей: https://crimea.kz/

Обсуждение граббера ведётся здесь: https://forum.fdstar.net/index.php?topic=14.msg16

Для справок: +79788057535

Вас проконсультируют в любой рабочий день, с 9 до 16 часов, по московскому времени; кроме выходных: СБ, ВС, а также официальных праздников

Если вы нашли в Интернете пиратскую (nulled) версию нашей системы - просим об этом сообщить

Разделы сайта

Форум web-разработчиков

Полезные статьи