home *** CD-ROM | disk | FTP | other *** search
/ Chip 2011 November / CHIP_2011_11.iso / Programy / Narzedzia / Calibre / calibre-0.8.18.msi / file_280 / deredactie.recipe < prev    next >
Encoding:
Text File  |  2011-09-09  |  2.6 KB  |  62 lines
  1. import re
  2. from calibre.web.feeds.news import BasicNewsRecipe
  3.  
  4. class deredactie(BasicNewsRecipe):
  5.     title          = u'Deredactie.be'
  6.     oldest_article = 7
  7.     max_articles_per_feed = 100
  8.     no_stylesheets = True
  9.     cover_url = 'http://www.deredactie.be/polopoly_fs/1.510827!image/2710428628.gif'
  10.     language = 'de'
  11.     keep_only_tags = []
  12.     __author__ = 'malfi'
  13.     keep_only_tags.append(dict(name = 'div', attrs = {'id': 'articlehead'}))
  14.     keep_only_tags.append(dict(name = 'div', attrs = {'id': 'articlebody'}))
  15.     remove_tags = []
  16.     remove_tags.append(dict(name = 'div', attrs = {'id': 'story'}))
  17.     remove_tags.append(dict(name = 'div', attrs = {'id': 'useractions'}))
  18.     remove_tags.append(dict(name = 'hr'))
  19.  
  20.     extra_css = '''
  21.      h1{font-family:Arial,Helvetica,sans-serif; font-weight:bold;font-size:large;}
  22.      h2{font-family:Arial,Helvetica,sans-serif; font-weight:normal;font-size:small;}
  23.      p{font-family:Arial,Helvetica,sans-serif;font-size:small;}
  24.      body{font-family:Helvetica,Arial,sans-serif;font-size:small;}
  25.      '''
  26.     def parse_index(self):
  27.         categories = []
  28.         catnames = {}
  29.         soup = self.index_to_soup('http://www.deredactie.be/cm/vrtnieuws.deutsch')
  30.         for elem in soup.findAll('li', attrs={'id' : re.compile("^navItem[2-9]") }):
  31.               a = elem.find('a', href=True)
  32.               m = re.search('(?<=/)[^/]*$', a['href'])
  33.               cat = str(m.group(0))
  34.               categories.append(cat)
  35.               catnames[cat] = a['title']
  36.               self.log("found cat %s\n" % catnames[cat])
  37.  
  38.         feeds = []
  39.  
  40.         for cat in categories:
  41.             articles = []
  42.             soup = self.index_to_soup('http://www.deredactie.be/cm/vrtnieuws.deutsch/'+cat)
  43.             for a in soup.findAll('a',attrs={'href' : re.compile("deutsch.*/[0-9][0-9][0-9][0-9][0-9][0-9]_")}):
  44.                 skip_this_article = False
  45.                 url = a['href'].strip()
  46.                 if url.startswith('/'):
  47.                     url = 'http://www.deredactie.be' + url
  48.                 myarticle=({'title':self.tag_to_string(a), 'url':url, 'description':'', 'date':''})
  49.                 for article in articles :
  50.                     if article['url'] == url :
  51.                         skip_this_article = True
  52.                         self.log("SKIPPING DUP %s" % url)
  53.                         break
  54.                 if skip_this_article :
  55.                         continue;
  56.                 articles.append(myarticle)
  57.                 self.log("Adding URL %s\n" %url)
  58.             if articles:
  59.                 feeds.append((catnames[cat], articles))
  60.         return feeds
  61.  
  62.