members.py

   1 #!/usr/bin/env python3
   2 # -*- coding: utf-8 -*-
   3
   4 import os
   5 import time
   6 import re
   7 import logging
   8 from datetime import datetime
   9 import calendar
  10 import urllib.request
  11 from http.cookiejar import CookieJar
  12
  13 from html_parser import *
  14 import htmlentities
  15
  16 """
  17 csv file format:
  18 DateTime,Action,Nick1,Grade1,OldField1,NewField1,Nick2,Grade2,OldField2,NewField2,FloodField,FieldLossPercent,Text
  19 Action is one of: JOIN, QUIT, WIN, LOSS, FLOOD
  20 Exemples:
  21 JOIN,Nirgal,Recrue,0,571628,,,,,,,Nirgal a rejoint l'alliance avec 571 628 cm²
  22 QUIT,oncleblu,Chasseur,9940181,0,,,,,,,oncleblu a quité l'alliance avec 9 940 181 cm²
  23 WIN,Nirgal,Chasseur,200000,257900,,,,,,,Nirgal a gagné 57 900 cm²
  24 LOSS,Nirgal,Passeur 806,553624,442900,,,,,110724,20.00,Nirgal a perdu 110 724 cm² (20.00%)
  25 FLOOD,filoux,Passeur 003,55813865,74225093,yosemite,Passeur 004,51142304,32731076,18411228,36.00,filoux a pris 18 411 228 cm² à yosemite (36.00%)
  26 """
  27
  28
  29
  30 #SERVER
  31 #LOGIN
  32 #PASSWORD
  33 #BASE_URL
  34 HOME = os.environ['HOME']
  35 ARCHIVE = HOME + '/.fourmizzz/archive.py'
  36 RESULT = HOME + '/.fourmizzz/results.log'
  37
  38 def read_config():
  39     '''
  40     That function will read config.py in .fourmizzz directory
  41     and set up globals SERVER, LOGIN, PASSWORD, and BASE_URL.
  42     '''
  43     global SERVER, LOGIN, PASSWORD
  44     global BASE_URL
  45     CONFIG_TEMPLATE='''# Veuillez modifier les lignes ci dessous avec vos paramètres:
  46 SERVER = 's1.fourmizzz.fr'
  47 LOGIN = 'MonIdentifiant'
  48 PASSWORD = 'MonMotDePasse'
  49     '''
  50
  51     sys.path.append(HOME+'/.fourmizzz')
  52     try:
  53         import config
  54     except ImportError:
  55         CONFIG = HOME+'/.fourmizzz/config.py'
  56         logging.fatal("No configuration file. Creating %s", CONFIG)
  57         f = open(CONFIG, mode='w+', encoding='utf-8')
  58         f.write(CONFIG_TEMPLATE)
  59         f.close()
  60         logging.fatal("Please update this file with your details.")
  61         sys.exit(1)
  62     SERVER = config.SERVER
  63     LOGIN = config.LOGIN
  64     PASSWORD = config.PASSWORD
  65     BASE_URL = 'http://%s' % SERVER
  66
  67 def hide_password_from_log(txt):
  68     return re.sub('mot_passe=.*', 'mot_passe=********', txt)
  69
  70 __opener__ = None
  71 def httpopen(url, post_data=None):
  72     if post_data:
  73         log_post_data = hide_password_from_log(post_data)
  74         post_data = post_data.encode('utf-8') # str->bytes
  75         logging.debug('HTTP POST %s %s', url, log_post_data)
  76     else:
  77         logging.debug('HTTP GET %s', url)
  78     global __opener__
  79     if __opener__ is None:
  80         cookiejar = CookieJar()
  81         __opener__ = urllib.request.build_opener()
  82         __opener__.add_handler(urllib.request.HTTPCookieProcessor(cookiejar))
  83     http_response = __opener__.open(url, post_data)
  84     return http_response
  85
  86 def sleep(seconds):
  87     logging.debug('Waiting %s seconds', seconds)
  88     time.sleep(seconds)
  89
  90 def timestamp():
  91     return calendar.timegm(datetime.now().timetuple())
  92
  93 def number_format(i):
  94     result = ''
  95     while i:
  96         if result:
  97             result = ' ' + result
  98         d3 = i % 1000
  99         i = i//1000
 100         if i:
 101             result = ('%03d' % d3) + result
 102         else:
 103             result = ('%d' % d3) + result
 104     return result
 105
 106
 107 def tdc_get(alliance_tag=None):
 108     #httpresponse = httpopen(BASE_URL + '/')
 109     #html = httpresponse.read().decode('utf-8')
 110     #print(html)
 111
 112     httpresponse = httpopen(BASE_URL + '/index.php?connexion=1', 'serveur=%s&pseudo=%s&mot_passe=%s' % (SERVER, LOGIN, PASSWORD))
 113     #httpresponse = httpopen(BASE_URL + '/index.php?connexion=1', 'serveur=%s&pseudo=%s&mot_passe=%s&connexion=Connexion' % (SERVER, LOGIN, PASSWORD))
 114     html = httpresponse.read().decode('utf-8')
 115     if "redirectReine" not in html:
 116         logging.fatal("Impossible de s'authentifier. Vérifiez vos paramètres dans config.py")
 117         sys.exit(1)
 118     #print('-'*80)
 119     #print(html)
 120
 121     #httpresponse = httpopen(BASE_URL + '/alliance.php?Membres')
 122     #html = httpresponse.read().decode('utf-8')
 123     #print('-'*80)
 124     #print(html)
 125
 126     if not alliance_tag:
 127         httpresponse = httpopen(BASE_URL + '/alliance.php?Membres',
 128             'xajax=membre&xajaxr='+str(timestamp()))
 129         html = httpresponse.read().decode('utf-8')
 130         #print('-'*80)
 131         #print(html)
 132
 133         root = html_parse(html)
 134         table = get_elem(root, 'table')[0]
 135         td = get_elem(table, 'td')[3]
 136         table = get_elem(td, 'table')[0]
 137         #print('-'*80)
 138         #print_idented_tree(table)
 139     else:
 140         httpresponse = httpopen(BASE_URL + '/classementAlliance.php?alliance=%s' % alliance_tag)
 141         html = httpresponse.read().decode('utf-8')
 142
 143         root = html_parse(html)
 144         table = get_elem(root, 'table')[2]
 145         #print('-'*80)
 146         #print_idented_tree(table)
 147
 148     summary = {}
 149     for tr in get_elem(table, 'tr'):
 150         row = get_elem(tr, 'td')
 151         if not alliance_tag and len(row) != 10:
 152             continue
 153         if alliance_tag and len(row) != 6:
 154             continue
 155         #print('-'*10)
 156         #print_idented_tree(tr)
 157         if not alliance_tag:
 158             nick = get_merged_leaf_content(row[3])
 159             tdc = get_merged_leaf_content(row[4]).replace(' ', '')
 160         else:
 161             nick = get_merged_leaf_content(row[2])
 162             tdc = get_merged_leaf_content(row[3]).replace(' ', '')
 163
 164         tdc = int(tdc)
 165         #print(nick, tdc)
 166         summary[nick] = tdc
 167     logging.debug('%s members - total tdc = %s cm²', len(summary), number_format(sum(summary.values())))
 168     return summary
 169
 170
 171 def tdc_compare(oldtdc, newtdc):
 172     changes = {}
 173     txtchanges = []
 174     for nick in newtdc.keys():
 175         told = oldtdc.get(nick, 0)
 176         tnew = newtdc[nick]
 177         if told == tnew:
 178             continue
 179         changes[nick] = { 'old': told, 'new': tnew, 'delta': tnew-told }
 180
 181     for nick in oldtdc.keys():
 182         if nick not in newtdc:
 183             told = oldtdc[nick]
 184             tnew = 0
 185             changes[nick] = { 'old': told, 'new': 0, 'delta': -told }
 186     #for nick, change in changes.items():
 187     #    print(nick, ' - ', change['old'], ' - ', change['new'], ' - ', change['delta'])
 188     #print
 189
 190     if not len(changes):
 191         logging.info('No changes')
 192         return
 193
 194     for nick in changes.keys():
 195         delta = changes[nick]['delta']
 196         if delta <= 0:
 197             continue # 0 is already process, <0 will be processed when nick swaps with nick2
 198         for nick2 in changes.keys():
 199             if changes[nick2]['delta'] == 0:
 200                 continue # already done
 201             if changes[nick2]['delta'] != -delta:
 202                 continue # not the good one
 203             percent = float(oldtdc[nick2] - newtdc[nick2]) / oldtdc[nick2] * 100.
 204             txtchanges.append('%s a pris %s cm² à %s (%.2f%%)' % (nick, number_format(delta), nick2, percent))
 205             changes[nick]['delta'] = 0
 206             changes[nick2]['delta'] = 0
 207
 208
 209     for nick, change in changes.items():
 210         delta = change['delta']
 211         if delta < 0:
 212             if nick in newtdc:
 213                 percent = float(-delta) / oldtdc[nick] * 100.
 214                 txtchanges.append('%s a perdu %s cm² (%.2f%%)' % (nick, number_format(-delta), percent))
 215             else:
 216                 txtchanges.append("%s a quité l'alliance avec %s cm²" % (nick, number_format(-delta)))
 217         elif delta > 0:
 218             if nick in oldtdc:
 219                 txtchanges.append('%s a gagné %s cm²' % (nick, number_format(delta)))
 220             else:
 221                 txtchanges.append("%s a rejoint l'alliance avec %s cm²" % (nick, number_format(delta)))
 222
 223     for txtchange in txtchanges:
 224         logging.info(txtchange)
 225
 226
 227 if __name__ == '__main__':
 228     from optparse import OptionParser
 229     parser = OptionParser()
 230     parser.add_option('-d', '-v', '--debug', '--verbose',
 231         action='store_true', dest='debug', default=False,
 232         help="debug mode")
 233     parser.add_option('-q', '--quiet',
 234         action='store_true', dest='quiet', default=False,
 235         help="quiet mode")
 236     parser.add_option('-a', '--alliance',
 237         dest='alliance',
 238         help="alliance tag. default is to process player own alliance.")
 239     parser.add_option('--dry-run',
 240         action='store_true', dest='dryrun', default=False,
 241         help="don't store result in archives.")
 242     options, args = parser.parse_args()
 243
 244     if options.debug:
 245         loglevel = logging.DEBUG
 246     elif options.quiet:
 247         loglevel = logging.WARNING
 248     else:
 249         loglevel = logging.INFO
 250     logging.basicConfig(filename=RESULT, level=loglevel, format='%(asctime)s %(levelname)s %(message)s', datefmt='%Y-%m-%d %H:%M:%S %Z')
 251
 252     read_config()
 253
 254     oldtdc = None
 255     try:
 256         f = open(ARCHIVE, mode='r+', encoding='utf-8')
 257     except IOError as err:
 258         if err.errno == 2: # No such file or directory
 259             logging.warning("No archive file, creating one.")
 260             f = open(ARCHIVE, mode='w+', encoding='utf-8')
 261         else:
 262             raise
 263     else:
 264         oldtdc = eval(f.read())
 265
 266     newtdc = tdc_get(options.alliance)
 267     if oldtdc is not None:
 268         tdc_compare(oldtdc, newtdc)
 269
 270     # Save archive only after processing, just in case it crashes
 271     if not options.dryrun:
 272         f.seek(0)
 273         f.write(repr(newtdc))
 274         f.truncate()