git.maemo.org Git - pywienerlinien/blob - gotovienna/realtime.py

   1 # -*- coding: utf-8 -*-
   2
   3 from BeautifulSoup import BeautifulSoup
   4 from urllib2 import urlopen
   5 from datetime import time
   6 import argparse
   7 import re
   8 import collections
   9
  10 from gotovienna import defaults
  11
  12 class ITipParser:
  13     def __init__(self):
  14         self._stations = {}
  15         self._lines = {}
  16
  17     def get_stations(self, name):
  18         """ Get station by direction
  19         {'Directionname': [('Station name', 'url')]}
  20         """
  21         if not self._stations.has_key(name):
  22             st = {}
  23
  24             if not self.lines.has_key(name):
  25                 return None
  26
  27             bs = BeautifulSoup(urlopen(self.lines[name]))
  28             tables = bs.findAll('table', {'class': 'text_10pix'})
  29             for i in range(2):
  30                 dir = tables[i].div.contents[-1].strip('&nbsp;')
  31
  32                 sta = []
  33                 for tr in tables[i].findAll('tr', {'onmouseout': 'obj_unhighlight(this);'}):
  34                     if tr.a:
  35                         sta.append((tr.a.text, defaults.line_overview + tr.a['href']))
  36                     else:
  37                         sta.append((tr.text.strip('&nbsp;'), None))
  38
  39                 st[dir] = sta
  40             self._stations[name] = st
  41
  42         return self._stations[name]
  43
  44     @property
  45     def lines(self):
  46         """ Dictionary of Line names with url as value
  47         """
  48         if not self._lines:
  49             bs = BeautifulSoup(urlopen(defaults.line_overview))
  50             # get tables
  51             lines = bs.findAll('td', {'class': 'linie'})
  52
  53             for line in lines:
  54                 if line.a:
  55                     href = defaults.line_overview + line.a['href']
  56                     if line.text:
  57                         self._lines[line.text] = href
  58                     elif line.img:
  59                         self._lines[line.img['alt']] = href
  60
  61         return self._lines
  62
  63     def get_departures(self, url):
  64         """ Get list of next departures
  65         integer if time until next departure
  66         time if time of next departure
  67         """
  68
  69         #TODO parse line name and direction for station site parsing
  70
  71         if not url:
  72             # FIXME prevent from calling this method with None
  73             return []
  74
  75         bs = BeautifulSoup(urlopen(url))
  76         result_lines = bs.findAll('table')[-1].findAll('tr')
  77
  78         dep = []
  79         for tr in result_lines[1:]:
  80             th = tr.findAll('th')
  81             if len(th) < 2:
  82                 #TODO replace with logger
  83                 print "[DEBUG] Unable to find th in:\n%s" % str(tr)
  84                 continue
  85
  86             # parse time
  87             time = th[-2].text.split(' ')
  88             if len(time) < 2:
  89                 print 'Invalid time: %s' % time
  90                 continue
  91
  92             time = time[1]
  93
  94             if time.find('rze...') >= 0:
  95                     dep.append(0)
  96             elif time.isdigit():
  97                 # if time to next departure in cell convert to int
  98                 dep.append(int(time))
  99             else:
 100                 # check if time of next departue in cell
 101                 t = time.strip('&nbsp;').split(':')
 102                 if len(t) == 2 and all(map(lambda x: x.isdigit(), t)):
 103                     t = map(int, t)
 104                     dep.append(time(*t))
 105                 else:
 106                     # Unexpected content
 107                     #TODO replace with logger
 108                     print "[DEBUG] Invalid data:\n%s" % time
 109
 110         return dep
 111
 112
 113 UBAHN, TRAM, BUS, NIGHTLINE, OTHER = range(5)
 114 LINE_TYPE_NAMES = ['U-Bahn', 'Strassenbahn', 'Bus', 'Nightline', 'Andere']
 115
 116 def get_line_sort_key(name):
 117     """Return a sort key for a line name
 118
 119     >>> get_line_sort_key('U6')
 120     ('U', 6)
 121
 122     >>> get_line_sort_key('D')
 123     ('D', 0)
 124
 125     >>> get_line_sort_key('59A')
 126     ('A', 59)
 127     """
 128     txt = ''.join(x for x in name if not x.isdigit())
 129     num = ''.join(x for x in name if x.isdigit()) or '0'
 130
 131     return (txt, int(num))
 132
 133 def get_line_type(name):
 134     """Get the type of line for the given name
 135
 136     >>> get_line_type('U1')
 137     UBAHN
 138     >>> get_line_type('59A')
 139     BUS
 140     """
 141     if name.isdigit():
 142         return TRAM
 143     elif name.endswith('A') or name.endswith('B') and name[1].isdigit():
 144         return BUS
 145     elif name.startswith('U'):
 146         return UBAHN
 147     elif name.startswith('N'):
 148         return NIGHTLINE
 149     elif name in ('D', 'O', 'VRT', 'WLB'):
 150         return TRAM
 151
 152     return OTHER
 153
 154 def categorize_lines(lines):
 155     """Return a categorized version of a list of line names
 156
 157     >>> categorize_lines(['U4', 'U3', '59A'])
 158     [('U-Bahn', ['U3', 'U4']), ('Bus', ['59A'])]
 159     """
 160     categorized_lines = collections.defaultdict(list)
 161
 162     for line in sorted(lines):
 163         line_type = get_line_type(line)
 164         categorized_lines[line_type].append(line)
 165
 166     for lines in categorized_lines.values():
 167         lines.sort(key=get_line_sort_key)
 168
 169     return [(LINE_TYPE_NAMES[key], categorized_lines[key])
 170             for key in sorted(categorized_lines)]
 171