members.py

   1 #!/usr/bin/env python3
   2 # -*- coding: utf-8 -*-
   3 #
   4 # Last version is available at svn://svn.nirgal.com/kod/fourmizzz/
   5 # Licensed under GPL
   6
   7 import os
   8 import time
   9 import re
  10 import logging
  11 from datetime import datetime
  12 import calendar
  13 import urllib.request
  14 from http.cookiejar import CookieJar
  15
  16 from html_parser import *
  17 import htmlentities
  18
  19 """
  20 csv file format:
  21 DateTime,Action,Nick1,Grade1,OldField1,NewField1,Nick2,Grade2,OldField2,NewField2,FloodField,FieldLossPercent,Text
  22 Action is one of: JOIN, QUIT, WIN, LOSS, FLOOD
  23
  24 Exemples:
  25 JOIN,Nirgal,Recrue,0,571628,,,,,,,Nirgal a rejoint l'alliance avec 571 628 cm²
  26 QUIT,oncleblu,Chasseur,9940181,0,,,,,,,oncleblu a quité l'alliance avec 9 940 181 cm²
  27 WIN,Nirgal,Chasseur,200000,257900,,,,,,,Nirgal a gagné 57 900 cm²
  28 LOSS,Nirgal,Passeur 806,553624,442900,,,,,110724,20.00,Nirgal a perdu 110 724 cm² (20.00%)
  29 FLOOD,filoux,Passeur 003,55813865,74225093,yosemite,Passeur 004,51142304,32731076,18411228,36.00,filoux a pris 18 411 228 cm² à yosemite (36.00%)
  30 FLOOD,Nick1,Grade1,100,102,Nick2,Grade2,100,99,1,1.00,Nick1 a pris 1 cm² à Nick2 (1.00%)
  31 FLOOD,Nick1,Grade1,100,102,Nick3,Grade3,100,99,1,1.00,Nick1 a pris 1 cm² à Nick3 (1.00%)
  32
  33 Note that in last 2 lines exemple, NewField1 is 102 that is different from 100+1 because of multiple floods.
  34 """
  35
  36 # globals:
  37 #BASE_DIRECTORY
  38 #SERVER
  39 #LOGIN
  40 #PASSWORD
  41 #BASE_URL
  42
  43 def read_config(config_dir):
  44     '''
  45     That function will read config.py in .fourmizzz directory
  46     and set up globals SERVER, LOGIN, PASSWORD, and BASE_URL.
  47     '''
  48     global SERVER, LOGIN, PASSWORD
  49     global BASE_URL
  50     CONFIG_TEMPLATE='''# Veuillez modifier les lignes ci dessous avec vos paramètres:
  51 SERVER = 's1.fourmizzz.fr'
  52 LOGIN = 'MonIdentifiant'
  53 PASSWORD = 'MonMotDePasse'
  54     '''
  55
  56     sys.path.append(config_dir)
  57     try:
  58         import config
  59     except ImportError:
  60         config_filename = os.path.join(config_dir, 'config.py')
  61         logging.fatal("No configuration file. Creating %s", config_filename)
  62         f = open(config_filename, mode='w+', encoding='utf-8')
  63         f.write(CONFIG_TEMPLATE)
  64         f.close()
  65         logging.fatal("Please update this file with your details.")
  66         sys.exit(1)
  67     SERVER = config.SERVER
  68     LOGIN = config.LOGIN
  69     PASSWORD = config.PASSWORD
  70     BASE_URL = 'http://%s' % SERVER
  71
  72 def hide_password_from_log(txt):
  73     return re.sub('mot_passe=.*', 'mot_passe=********', txt)
  74
  75 __opener__ = None
  76 def httpopen(url, post_data=None):
  77     if post_data:
  78         log_post_data = hide_password_from_log(post_data)
  79         post_data = post_data.encode('utf-8') # str->bytes
  80         logging.debug('HTTP POST %s %s', url, log_post_data)
  81     else:
  82         logging.debug('HTTP GET %s', url)
  83     global __opener__
  84     if __opener__ is None:
  85         cookiejar = CookieJar()
  86         __opener__ = urllib.request.build_opener()
  87         __opener__.add_handler(urllib.request.HTTPCookieProcessor(cookiejar))
  88     http_response = __opener__.open(url, post_data)
  89     return http_response
  90
  91 def sleep(seconds):
  92     logging.debug('Waiting %s seconds', seconds)
  93     time.sleep(seconds)
  94
  95 def timestamp():
  96     return calendar.timegm(datetime.now().timetuple())
  97
  98 def number_format(i):
  99     result = ''
 100     while i:
 101         if result:
 102             result = ' ' + result
 103         d3 = i % 1000
 104         i = i//1000
 105         if i: # there will be something else left of that
 106             result = ('%03d' % d3) + result
 107         else:
 108             result = ('%d' % d3) + result
 109     return result
 110
 111
 112 def members_fetch(alliance_tag=None):
 113     #httpresponse = httpopen(BASE_URL + '/')
 114     #html = httpresponse.read().decode('utf-8')
 115     #print(html)
 116
 117     httpresponse = httpopen(BASE_URL + '/index.php?connexion=1', 'serveur=%s&pseudo=%s&mot_passe=%s' % (SERVER, LOGIN, PASSWORD))
 118     #httpresponse = httpopen(BASE_URL + '/index.php?connexion=1', 'serveur=%s&pseudo=%s&mot_passe=%s&connexion=Connexion' % (SERVER, LOGIN, PASSWORD))
 119     html = httpresponse.read().decode('utf-8')
 120     if "redirectReine" not in html:
 121         logging.fatal("Impossible de s'authentifier. Vérifiez vos paramètres dans config.py")
 122         sys.exit(1)
 123     #print('-'*80)
 124     #print(html)
 125
 126     #httpresponse = httpopen(BASE_URL + '/alliance.php?Membres')
 127     #html = httpresponse.read().decode('utf-8')
 128     #print('-'*80)
 129     #print(html)
 130
 131     if not alliance_tag:
 132         httpresponse = httpopen(BASE_URL + '/alliance.php?Membres',
 133             'xajax=membre&xajaxr='+str(timestamp()))
 134         html = httpresponse.read().decode('utf-8')
 135         #print('-'*80)
 136         #print(html)
 137
 138         root = html_parse(html)
 139         table = get_elem(root, 'table')[0]
 140         td = get_elem(table, 'td')[3]
 141         table = get_elem(td, 'table')[0]
 142         #print('-'*80)
 143         #print_idented_tree(table)
 144     else:
 145         httpresponse = httpopen(BASE_URL + '/classementAlliance.php?alliance=%s' % alliance_tag)
 146         html = httpresponse.read().decode('utf-8')
 147
 148         root = html_parse(html)
 149         table = get_elem(root, 'table')[2]
 150         #print('-'*80)
 151         #print_idented_tree(table)
 152
 153     members = {} # NEW
 154     for tr in get_elem(table, 'tr'):
 155         row = get_elem(tr, 'td')
 156         #print('-'*10)
 157         #print_idented_tree(tr)
 158         if not alliance_tag:
 159             if len(row) != 10:
 160                 continue
 161             grade = get_merged_leaf_content(row[2])
 162             nick = get_merged_leaf_content(row[3])
 163             field = int(get_merged_leaf_content(row[4]).replace(' ', ''))
 164             techno = int(get_merged_leaf_content(row[5]))
 165             anthill = int(get_merged_leaf_content(row[6]))
 166             active = get_elem(row[7], 'img')[0].attributes['alt']
 167             colonized = len(get_elem(row[8], 'img')) == 1
 168             #print(nick, grade, field, techno, anthill, active, colonized)
 169
 170         else:
 171             if len(row) != 6:
 172                 continue
 173             grade = get_merged_leaf_content(row[1])
 174             nick = get_merged_leaf_content(row[2])
 175             field = int(get_merged_leaf_content(row[3]).replace(' ', ''))
 176             techno = int(get_merged_leaf_content(row[4]))
 177             anthill = int(get_merged_leaf_content(row[5]))
 178             active = None
 179             colonized = None
 180             #print(nick, grade, field, techno, anthill)
 181
 182         members[nick] = {
 183             'grade': grade,
 184             'field': field,
 185             'techno': techno,
 186             'anthill': anthill,
 187             'active': active,
 188             'colonized': colonized,
 189         }
 190         #print(members[nick])
 191
 192     logging.debug('%s members - total field = %s cm²', len(members), number_format(sum([x['field'] for x in members.values()])))
 193     return members
 194
 195
 196 def members_to_field(members):
 197     """
 198     Takes a full information dict "members"
 199     Returns a simple dict with nick->field
 200     """
 201     fields  = {}
 202     for nick, data in members.items():
 203         fields[nick] = data['field']
 204     return fields
 205
 206
 207 def field_compare(oldmembers, newmembers):
 208
 209     oldfield = members_to_field(oldmembers)
 210     newfield = members_to_field(newmembers)
 211
 212     changes = {}
 213     txtchanges = []
 214     for nick in newfield.keys():
 215         told = oldfield.get(nick, 0)
 216         tnew = newfield[nick]
 217         if told == tnew:
 218             continue
 219         changes[nick] = { 'old': told, 'new': tnew, 'delta': tnew-told }
 220
 221     for nick in oldfield.keys():
 222         if nick not in newfield:
 223             told = oldfield[nick]
 224             tnew = 0
 225             changes[nick] = { 'old': told, 'new': 0, 'delta': -told }
 226     #for nick, change in changes.items():
 227     #    print(nick, ' - ', change['old'], ' - ', change['new'], ' - ', change['delta'])
 228     #print
 229
 230     if not len(changes):
 231         logging.info('No changes')
 232         return
 233
 234     for nick in changes.keys():
 235         delta = changes[nick]['delta']
 236         if delta <= 0:
 237             continue # 0 is already process, <0 will be processed when nick swaps with nick2
 238         for nick2 in changes.keys():
 239             if changes[nick2]['delta'] == 0:
 240                 continue # already done
 241             if changes[nick2]['delta'] != -delta:
 242                 continue # not the good one
 243             percent = float(oldfield[nick2] - newfield[nick2]) / oldfield[nick2] * 100.
 244             txtchanges.append('%s a pris %s cm² à %s (%.2f%%)' % (nick, number_format(delta), nick2, percent))
 245             changes[nick]['delta'] = 0
 246             changes[nick2]['delta'] = 0
 247
 248     for nick, change in changes.items():
 249         delta = change['delta']
 250         if delta < 0:
 251             if nick in newfield:
 252                 percent = float(-delta) / oldfield[nick] * 100.
 253                 txtchanges.append('%s a perdu %s cm² (%.2f%%)' % (nick, number_format(-delta), percent))
 254             else:
 255                 txtchanges.append("%s a quité l'alliance avec %s cm²" % (nick, number_format(-delta)))
 256         elif delta > 0:
 257             if nick in oldfield:
 258                 txtchanges.append('%s a gagné %s cm²' % (nick, number_format(delta)))
 259             else:
 260                 txtchanges.append("%s a rejoint l'alliance avec %s cm²" % (nick, number_format(delta)))
 261
 262     for txtchange in txtchanges:
 263         logging.info(txtchange)
 264
 265
 266 if __name__ == '__main__':
 267     from optparse import OptionParser
 268     parser = OptionParser()
 269     parser.add_option('-d', '-v', '--debug', '--verbose',
 270         action='store_true', dest='debug', default=False,
 271         help="debug mode")
 272     parser.add_option('-q', '--quiet',
 273         action='store_true', dest='quiet', default=False,
 274         help="quiet mode")
 275     parser.add_option('-a', '--alliance',
 276         dest='alliance', metavar="TAG",
 277         help="Default is to process player own alliance.")
 278     parser.add_option('--dir',
 279         dest='directory', default='.fourmizzz',
 280         help="Working directory, including config.py, archives and results. "
 281              "Relative to HOME unless it starts with /. "
 282              "Default is '%default'.")
 283     parser.add_option('--members-name',
 284         dest='archive_filename', metavar='FILENAME', default="archive.py",
 285         help="Override filename containing old data. "
 286         "Default is '%default' in Working directory. "
 287         "See --dir.")
 288     parser.add_option('--new-members-name',
 289         dest='new_archive_filename', metavar='FILENAME',
 290         help="Read new members data from a file. "
 291         "Default is to fetch data from antzzz server.")
 292     parser.add_option('--dry-run',
 293         action='store_true', dest='dryrun', default=False,
 294         help="don't store result in archives.")
 295     options, args = parser.parse_args()
 296
 297     if options.debug:
 298         loglevel = logging.DEBUG
 299     elif options.quiet:
 300         loglevel = logging.WARNING
 301     else:
 302         loglevel = logging.INFO
 303
 304     HOME = os.environ['HOME']
 305     if options.directory[0] == '/':
 306         BASE_DIRECTORY = options.directory
 307     else:
 308         BASE_DIRECTORY = os.path.join(HOME, options.directory)
 309
 310     result_filename = os.path.join(BASE_DIRECTORY, 'results.log')
 311     logging.basicConfig(filename=result_filename, level=loglevel, format='%(asctime)s %(levelname)s %(message)s', datefmt='%Y-%m-%d %H:%M:%S %Z')
 312
 313     read_config(BASE_DIRECTORY)
 314
 315     members_filename = os.path.join(BASE_DIRECTORY, options.archive_filename)
 316     oldmembers = None
 317     try:
 318         f = open(members_filename, mode='r+', encoding='utf-8')
 319     except IOError as err:
 320         if err.errno == 2: # No such file or directory
 321             logging.warning("No archive file, creating one.")
 322             f = open(members_filename, mode='w+', encoding='utf-8')
 323         else:
 324             raise
 325     else:
 326         oldmembers = eval(f.read())
 327
 328     if options.new_archive_filename:
 329         newf = open(options.new_archive_filename, mode='r', encoding='utf8')
 330         newmembers = eval(newf.read())
 331     else:
 332         newmembers = members_fetch(options.alliance)
 333
 334     if oldmembers is not None:
 335         field_compare(oldmembers, newmembers)
 336
 337     # Save archive only after processing, just in case it crashes
 338     if not options.dryrun:
 339         f.seek(0)
 340         f.write(repr(newmembers))
 341         f.truncate()