"заткнись и подожди коммюнике" — перестану вас отвлекать от дел)
Так я точно не скажу :)
если в двух словах, каждый провайдер будет иметь некоторые специфичные настройки, например перечень разделов из которых можно будет парсить, второй момент это (регулярка) ссылок на статьи, (регулярка) пагинации. исходя из это парсер получает массив ссылок на статьи, и получает массив ссылок на страницы раздела. дальше все парсится.
Регулярка в скобках по причине того что это не та регулярка которая есть в понимании страшных кракозябр и прочих замудренных символов. Для наглядность приведу пример таких регулярок для
news.liga.net/all/politics/
регулярка для получения ссылок на статьи: .last_news_list .title > a
регулярка для получения страниц пагинации: .navigation a
Думаю не сложно?
ну и для полного понимая регулярка для парсинга новости:
news.liga.net/news/politics/1849732-v_artemovske_separatisty_dnr_zakhvatili_gorodskoy_sovet.htm
заголовок: .news_detail > h1
дата: .news_detail > .date.left
анонс: .news_detail > .annotation
фото: .news_detail > .img img
новость: .news_detail > .text _ga1_on_
автор: .news_detail > .author
Вот так будет все выглядеть.