members.py

   1 #!/usr/bin/env python3
   2 # -*- coding: utf-8 -*-
   3
   4 import os
   5 import time
   6 import re
   7 import logging
   8 from datetime import datetime
   9 import calendar
  10 import urllib.request
  11 from http.cookiejar import CookieJar
  12
  13 from html_parser import *
  14 import htmlentities
  15
  16 """
  17 csv file format:
  18 DateTime,Action,Nick1,Grade1,OldField1,NewField1,Nick2,Grade2,OldField2,NewField2,FloodField,FieldLossPercent,Text
  19 Action is one of: JOIN, QUIT, WIN, LOSS, FLOOD
  20
  21 Exemples:
  22 JOIN,Nirgal,Recrue,0,571628,,,,,,,Nirgal a rejoint l'alliance avec 571 628 cm²
  23 QUIT,oncleblu,Chasseur,9940181,0,,,,,,,oncleblu a quité l'alliance avec 9 940 181 cm²
  24 WIN,Nirgal,Chasseur,200000,257900,,,,,,,Nirgal a gagné 57 900 cm²
  25 LOSS,Nirgal,Passeur 806,553624,442900,,,,,110724,20.00,Nirgal a perdu 110 724 cm² (20.00%)
  26 FLOOD,filoux,Passeur 003,55813865,74225093,yosemite,Passeur 004,51142304,32731076,18411228,36.00,filoux a pris 18 411 228 cm² à yosemite (36.00%)
  27 FLOOD,Nick1,Grade1,100,102,Nick2,Grade2,100,99,1,1.00,Nick1 a pris 1 cm² à Nick2 (1.00%)
  28 FLOOD,Nick1,Grade1,100,102,Nick3,Grade3,100,99,1,1.00,Nick1 a pris 1 cm² à Nick3 (1.00%)
  29
  30 Note that in last 2 lines exemple, NewField1 is 102 that is different from 100+1 because of multiple floods.
  31 """
  32
  33 # globals:
  34 #BASE_DIRECTORY
  35 #SERVER
  36 #LOGIN
  37 #PASSWORD
  38 #BASE_URL
  39
  40 def read_config(config_dir):
  41     '''
  42     That function will read config.py in .fourmizzz directory
  43     and set up globals SERVER, LOGIN, PASSWORD, and BASE_URL.
  44     '''
  45     global SERVER, LOGIN, PASSWORD
  46     global BASE_URL
  47     CONFIG_TEMPLATE='''# Veuillez modifier les lignes ci dessous avec vos paramètres:
  48 SERVER = 's1.fourmizzz.fr'
  49 LOGIN = 'MonIdentifiant'
  50 PASSWORD = 'MonMotDePasse'
  51     '''
  52
  53     sys.path.append(config_dir)
  54     try:
  55         import config
  56     except ImportError:
  57         config_filename = os.path.join(config_dir, 'config.py')
  58         logging.fatal("No configuration file. Creating %s", config_filename)
  59         f = open(config_filename, mode='w+', encoding='utf-8')
  60         f.write(CONFIG_TEMPLATE)
  61         f.close()
  62         logging.fatal("Please update this file with your details.")
  63         sys.exit(1)
  64     SERVER = config.SERVER
  65     LOGIN = config.LOGIN
  66     PASSWORD = config.PASSWORD
  67     BASE_URL = 'http://%s' % SERVER
  68
  69 def hide_password_from_log(txt):
  70     return re.sub('mot_passe=.*', 'mot_passe=********', txt)
  71
  72 __opener__ = None
  73 def httpopen(url, post_data=None):
  74     if post_data:
  75         log_post_data = hide_password_from_log(post_data)
  76         post_data = post_data.encode('utf-8') # str->bytes
  77         logging.debug('HTTP POST %s %s', url, log_post_data)
  78     else:
  79         logging.debug('HTTP GET %s', url)
  80     global __opener__
  81     if __opener__ is None:
  82         cookiejar = CookieJar()
  83         __opener__ = urllib.request.build_opener()
  84         __opener__.add_handler(urllib.request.HTTPCookieProcessor(cookiejar))
  85     http_response = __opener__.open(url, post_data)
  86     return http_response
  87
  88 def sleep(seconds):
  89     logging.debug('Waiting %s seconds', seconds)
  90     time.sleep(seconds)
  91
  92 def timestamp():
  93     return calendar.timegm(datetime.now().timetuple())
  94
  95 def number_format(i):
  96     result = ''
  97     while i:
  98         if result:
  99             result = ' ' + result
 100         d3 = i % 1000
 101         i = i//1000
 102         if i: # there will be something else left of that
 103             result = ('%03d' % d3) + result
 104         else:
 105             result = ('%d' % d3) + result
 106     return result
 107
 108
 109 def tdc_get(alliance_tag=None):
 110     #httpresponse = httpopen(BASE_URL + '/')
 111     #html = httpresponse.read().decode('utf-8')
 112     #print(html)
 113
 114     httpresponse = httpopen(BASE_URL + '/index.php?connexion=1', 'serveur=%s&pseudo=%s&mot_passe=%s' % (SERVER, LOGIN, PASSWORD))
 115     #httpresponse = httpopen(BASE_URL + '/index.php?connexion=1', 'serveur=%s&pseudo=%s&mot_passe=%s&connexion=Connexion' % (SERVER, LOGIN, PASSWORD))
 116     html = httpresponse.read().decode('utf-8')
 117     if "redirectReine" not in html:
 118         logging.fatal("Impossible de s'authentifier. Vérifiez vos paramètres dans config.py")
 119         sys.exit(1)
 120     #print('-'*80)
 121     #print(html)
 122
 123     #httpresponse = httpopen(BASE_URL + '/alliance.php?Membres')
 124     #html = httpresponse.read().decode('utf-8')
 125     #print('-'*80)
 126     #print(html)
 127
 128     if not alliance_tag:
 129         httpresponse = httpopen(BASE_URL + '/alliance.php?Membres',
 130             'xajax=membre&xajaxr='+str(timestamp()))
 131         html = httpresponse.read().decode('utf-8')
 132         #print('-'*80)
 133         #print(html)
 134
 135         root = html_parse(html)
 136         table = get_elem(root, 'table')[0]
 137         td = get_elem(table, 'td')[3]
 138         table = get_elem(td, 'table')[0]
 139         #print('-'*80)
 140         #print_idented_tree(table)
 141     else:
 142         httpresponse = httpopen(BASE_URL + '/classementAlliance.php?alliance=%s' % alliance_tag)
 143         html = httpresponse.read().decode('utf-8')
 144
 145         root = html_parse(html)
 146         table = get_elem(root, 'table')[2]
 147         #print('-'*80)
 148         #print_idented_tree(table)
 149
 150     members = {} # NEW
 151     for tr in get_elem(table, 'tr'):
 152         row = get_elem(tr, 'td')
 153         #print('-'*10)
 154         #print_idented_tree(tr)
 155         if not alliance_tag:
 156             if len(row) != 10:
 157                 continue
 158             grade = get_merged_leaf_content(row[2])
 159             nick = get_merged_leaf_content(row[3])
 160             field = int(get_merged_leaf_content(row[4]).replace(' ', ''))
 161             techno = int(get_merged_leaf_content(row[5]))
 162             anthill = int(get_merged_leaf_content(row[6]))
 163             active = get_elem(row[7], 'img')[0].attributes['alt']
 164             colonized = len(get_elem(row[8], 'img')) == 1
 165             #print(nick, grade, field, techno, anthill, active, colonized)
 166
 167         else:
 168             if len(row) != 6:
 169                 continue
 170             grade = get_merged_leaf_content(row[1])
 171             nick = get_merged_leaf_content(row[2])
 172             field = int(get_merged_leaf_content(row[3]).replace(' ', ''))
 173             techno = int(get_merged_leaf_content(row[4]))
 174             anthill = int(get_merged_leaf_content(row[5]))
 175             active = None
 176             colonized = None
 177             #print(nick, grade, field, techno, anthill)
 178
 179         members[nick] = {
 180             'grade': grade,
 181             'field': field,
 182             'techno': techno,
 183             'anthill': anthill,
 184             'active': active,
 185             'colonized': colonized,
 186         }
 187         #print(members[nick])
 188
 189     logging.debug('%s members - total field = %s cm²', len(members), number_format(sum([x['field'] for x in members.values()])))
 190     return members
 191
 192
 193 def members_to_field(members):
 194     """
 195     Takes a full information dict "members"
 196     Returns a simple dict with nick->field
 197     """
 198     fields  = {}
 199     for nick, data in members.items():
 200         fields[nick] = data['field']
 201     return fields
 202
 203
 204 def field_compare(oldmembers, newmembers):
 205
 206     oldtdc = members_to_field(oldmembers)
 207     newtdc = members_to_field(newmembers)
 208
 209     changes = {}
 210     txtchanges = []
 211     for nick in newtdc.keys():
 212         told = oldtdc.get(nick, 0)
 213         tnew = newtdc[nick]
 214         if told == tnew:
 215             continue
 216         changes[nick] = { 'old': told, 'new': tnew, 'delta': tnew-told }
 217
 218     for nick in oldtdc.keys():
 219         if nick not in newtdc:
 220             told = oldtdc[nick]
 221             tnew = 0
 222             changes[nick] = { 'old': told, 'new': 0, 'delta': -told }
 223     #for nick, change in changes.items():
 224     #    print(nick, ' - ', change['old'], ' - ', change['new'], ' - ', change['delta'])
 225     #print
 226
 227     if not len(changes):
 228         logging.info('No changes')
 229         return
 230
 231     for nick in changes.keys():
 232         delta = changes[nick]['delta']
 233         if delta <= 0:
 234             continue # 0 is already process, <0 will be processed when nick swaps with nick2
 235         for nick2 in changes.keys():
 236             if changes[nick2]['delta'] == 0:
 237                 continue # already done
 238             if changes[nick2]['delta'] != -delta:
 239                 continue # not the good one
 240             percent = float(oldtdc[nick2] - newtdc[nick2]) / oldtdc[nick2] * 100.
 241             txtchanges.append('%s a pris %s cm² à %s (%.2f%%)' % (nick, number_format(delta), nick2, percent))
 242             changes[nick]['delta'] = 0
 243             changes[nick2]['delta'] = 0
 244
 245
 246     for nick, change in changes.items():
 247         delta = change['delta']
 248         if delta < 0:
 249             if nick in newtdc:
 250                 percent = float(-delta) / oldtdc[nick] * 100.
 251                 txtchanges.append('%s a perdu %s cm² (%.2f%%)' % (nick, number_format(-delta), percent))
 252             else:
 253                 txtchanges.append("%s a quité l'alliance avec %s cm²" % (nick, number_format(-delta)))
 254         elif delta > 0:
 255             if nick in oldtdc:
 256                 txtchanges.append('%s a gagné %s cm²' % (nick, number_format(delta)))
 257             else:
 258                 txtchanges.append("%s a rejoint l'alliance avec %s cm²" % (nick, number_format(delta)))
 259
 260     for txtchange in txtchanges:
 261         logging.info(txtchange)
 262
 263
 264 if __name__ == '__main__':
 265     from optparse import OptionParser
 266     parser = OptionParser()
 267     parser.add_option('-d', '-v', '--debug', '--verbose',
 268         action='store_true', dest='debug', default=False,
 269         help="debug mode")
 270     parser.add_option('-q', '--quiet',
 271         action='store_true', dest='quiet', default=False,
 272         help="quiet mode")
 273     parser.add_option('-a', '--alliance',
 274         dest='alliance',
 275         help="alliance tag. default is to process player own alliance.")
 276     parser.add_option('--dir',
 277         dest='directory', default='.fourmizzz',
 278         help="Working directory, including config.py, archives and results. "
 279              "Relative to HOME unless it starts with /. "
 280              "Default is '%default'.")
 281     parser.add_option('--dry-run',
 282         action='store_true', dest='dryrun', default=False,
 283         help="don't store result in archives.")
 284     options, args = parser.parse_args()
 285
 286     if options.debug:
 287         loglevel = logging.DEBUG
 288     elif options.quiet:
 289         loglevel = logging.WARNING
 290     else:
 291         loglevel = logging.INFO
 292
 293     HOME = os.environ['HOME']
 294     if options.directory[0] == '/':
 295         BASE_DIRECTORY = options.directory
 296     else:
 297         BASE_DIRECTORY = os.path.join(HOME, options.directory)
 298
 299     result_filename = os.path.join(BASE_DIRECTORY, 'results.log')
 300     logging.basicConfig(filename=result_filename, level=loglevel, format='%(asctime)s %(levelname)s %(message)s', datefmt='%Y-%m-%d %H:%M:%S %Z')
 301
 302     read_config(BASE_DIRECTORY)
 303
 304     members_filename = os.path.join(BASE_DIRECTORY, 'archive.py')
 305     oldmembers = None
 306     try:
 307         f = open(members_filename, mode='r+', encoding='utf-8')
 308     except IOError as err:
 309         if err.errno == 2: # No such file or directory
 310             logging.warning("No archive file, creating one.")
 311             f = open(members_filename, mode='w+', encoding='utf-8')
 312         else:
 313             raise
 314     else:
 315         oldmembers = eval(f.read())
 316
 317     newmembers = tdc_get(options.alliance)
 318
 319     if oldmembers is not None:
 320         field_compare(oldmembers, newmembers)
 321
 322     # Save archive only after processing, just in case it crashes
 323     if not options.dryrun:
 324         f.seek(0)
 325         f.write(repr(newmembers))
 326         f.truncate()