Ручной парсер новостей ria.ru

Доброго дня.

Решил попробовать сам написать мини парсер новостей. Первый сайт что нашел в поисковнике Риа новости. Может кому пригодится. 

1. Открываем файл parser_ria.php Прописваем.

// — Параметры подключения к БД ---
$db_host = 'localhost';
$db_user = '**********';
$db_pass = '**********';
$db_name = '***********';

2. Файл parser_ria.php кидаем в корень сайт. В это же папке должен присутствовать файл по умолчанию bootstrap.php у меня он в корне.

3. Все готово. 

Сылка на парсер  ваш сайт /parser_ria.php

Контекст по умолчанию парсится в новости.

Типы контента news.

Ситемные имена: 

Заголовок: title

Фото: photo

Категория: cats

Краткое описания: teaser

Текс новостей: content

Второя страница при нажатия начать парсинг показывает выполнения. В низу статистика. 

Тестил на версии InstantCMS  2.18.0. На других не пробовал.

Всем удачи может кому и пригодится.

1. Открываем файл parser_ria.php Прописваем.

// — Параметры подключения к БД ---
$db_host = 'localhost';
$db_user = '**********';
$db_pass = '**********';
$db_name = '***********';

не очень хорошо вот так в открытом виде ещё и в корне

1. Открываем файл parser_ria.php Прописваем.

Да не кто не спорит. Но что то холявского нет парсера. А кому надо любую защиту обойдет.

Так же в корень грузим файлы.

Доступ по сылки Ваш сайт/project_root/

Добавил Планировщик заданий. Через 5 мин по 5 новастей. Так же логи.

Наблюда за полетом.

Итог какой. Парсер работает в ручном режим так и по крону.

не очень хорошо вот так в открытом виде ещё и в корне

А на деле, взять ту же джумлу, конфиг прямо в корне, данные к бд в открытом виде (впрочем они всегда в открытом виде). Если нет доступа к файлам, все равно не просмотреть, а если он есть, где бы файл не хранился, можно увидеть, и сделать все что захочешь. 

P.S. Но вообще, для таких скриптов, повесить в крон и можно вообще держать в директории выше, к которой даже у сайта не будет доступа.

не очень хорошо вот так в открытом виде ещё и в корне А на деле, взять ту же джумлу, конфиг прямо в корне, данные к бд в открытом виде (впрочем они всегда в открытом виде).

Малость под редактировал. Крон конечно сделал. Но что то через .htaccess  авторизация не получилась. Сделал через index.php.  

project_root/
├── config/
│   └── config.php
├── classes/
│   ├── RiaFetcher.php
│   ├── RiaParser.php
│   └── NewsSaver.php
├── templates/
│   ├── step1.php
│   └── step2.php
├── logs/                     (создаётся автоматически)
├── index.php                 (точка входа веб-интерфейса с авторизацией)
├── cron_parser.php           (скрипт для автоматического запуска по cron)
├── settings.json             (создаётся автоматически при сохранении настроек)
├── progress.json             (создаётся автоматически для хранения прогресса cron)
└── .htaccess                 (опционально, для дополнительной защиты)

Утром проверяю. Все без проблем работет.

Если кому интересно тема. Пиши для каких  сатов сделать подобное. Поделюсь скриптом. 

Но что то холявского нет парсера

Потому что никому наверное не надо простой копипаст

Но что то холявского нет парсера makson Потому что никому наверное не надо простой копипаст

Да возможно. Но я для себя просто делаю. Делюсь мыслими.

Подключил еще источник Lenta.ru

Меньше суток уже 1531 статья.

Да нада попробовать что то по сложения. Думаю надо сделать экспорт и импорт csv, xls, xlsx

Меньше суток уже 1531 статья.

Я просто не знаю и не понимаю, зачем это нужно? Что с этим делать дальше? Хотелось бы понять и узнать 😊

Меньше суток уже 1531 статья. makson Я просто не знаю и не понимаю, зачем это нужно? Что с этим делать дальше? Хотелось бы понять и узнать 😊

Да понятно что новости парсить уже не атуально. Пошел по другому пути. Сделал сайт сравнения цен. Думаю можно сним развернутся. Логику вроде все сделал. Осталось наполнить товаром. dzhat.ru/