Renamed a few things into proper (better) english
[fourmizzz.git] / members.py
1 #!/usr/bin/env python3
2 # -*- coding: utf-8 -*-
3
4 import os
5 import time
6 import re
7 import logging
8 from datetime import datetime
9 import calendar
10 import urllib.request
11 from http.cookiejar import CookieJar
12
13 from html_parser import *
14 import htmlentities
15
16 """
17 csv file format:
18 DateTime,Action,Nick1,Grade1,OldField1,NewField1,Nick2,Grade2,OldField2,NewField2,FloodField,FieldLossPercent,Text
19 Action is one of: JOIN, QUIT, WIN, LOSS, FLOOD
20
21 Exemples:
22 JOIN,Nirgal,Recrue,0,571628,,,,,,,Nirgal a rejoint l'alliance avec 571 628 cm² 
23 QUIT,oncleblu,Chasseur,9940181,0,,,,,,,oncleblu a quité l'alliance avec 9 940 181 cm² 
24 WIN,Nirgal,Chasseur,200000,257900,,,,,,,Nirgal a gagné 57 900 cm² 
25 LOSS,Nirgal,Passeur 806,553624,442900,,,,,110724,20.00,Nirgal a perdu 110 724 cm² (20.00%) 
26 FLOOD,filoux,Passeur 003,55813865,74225093,yosemite,Passeur 004,51142304,32731076,18411228,36.00,filoux a pris 18 411 228 cm² à yosemite (36.00%)
27 FLOOD,Nick1,Grade1,100,102,Nick2,Grade2,100,99,1,1.00,Nick1 a pris 1 cm² à Nick2 (1.00%)
28 FLOOD,Nick1,Grade1,100,102,Nick3,Grade3,100,99,1,1.00,Nick1 a pris 1 cm² à Nick3 (1.00%)
29
30 Note that in last 2 lines exemple, NewField1 is 102 that is different from 100+1 because of multiple floods.
31 """
32
33 # globals:
34 #BASE_DIRECTORY
35 #SERVER
36 #LOGIN
37 #PASSWORD
38 #BASE_URL
39
40 def read_config(config_dir):
41     '''
42     That function will read config.py in .fourmizzz directory
43     and set up globals SERVER, LOGIN, PASSWORD, and BASE_URL.
44     '''
45     global SERVER, LOGIN, PASSWORD
46     global BASE_URL
47     CONFIG_TEMPLATE='''# Veuillez modifier les lignes ci dessous avec vos paramètres:
48 SERVER = 's1.fourmizzz.fr'
49 LOGIN = 'MonIdentifiant'
50 PASSWORD = 'MonMotDePasse'
51     '''
52
53     sys.path.append(config_dir)
54     try:
55         import config
56     except ImportError:
57         config_filename = os.path.join(config_dir, 'config.py')
58         logging.fatal("No configuration file. Creating %s", config_filename)
59         f = open(config_filename, mode='w+', encoding='utf-8')
60         f.write(CONFIG_TEMPLATE)
61         f.close()
62         logging.fatal("Please update this file with your details.")
63         sys.exit(1)
64     SERVER = config.SERVER
65     LOGIN = config.LOGIN
66     PASSWORD = config.PASSWORD
67     BASE_URL = 'http://%s' % SERVER
68
69 def hide_password_from_log(txt):
70     return re.sub('mot_passe=.*', 'mot_passe=********', txt)
71
72 __opener__ = None
73 def httpopen(url, post_data=None):
74     if post_data:
75         log_post_data = hide_password_from_log(post_data)
76         post_data = post_data.encode('utf-8') # str->bytes
77         logging.debug('HTTP POST %s %s', url, log_post_data)
78     else:
79         logging.debug('HTTP GET %s', url)
80     global __opener__
81     if __opener__ is None:
82         cookiejar = CookieJar()
83         __opener__ = urllib.request.build_opener()
84         __opener__.add_handler(urllib.request.HTTPCookieProcessor(cookiejar))
85     http_response = __opener__.open(url, post_data)
86     return http_response
87
88 def sleep(seconds):
89     logging.debug('Waiting %s seconds', seconds)
90     time.sleep(seconds)
91
92 def timestamp():
93     return calendar.timegm(datetime.now().timetuple())
94
95 def number_format(i):
96     result = ''
97     while i:
98         if result:
99             result = ' ' + result
100         d3 = i % 1000
101         i = i//1000
102         if i: # there will be something else left of that
103             result = ('%03d' % d3) + result
104         else:
105             result = ('%d' % d3) + result
106     return result
107
108
109 def members_get(alliance_tag=None):
110     #httpresponse = httpopen(BASE_URL + '/')
111     #html = httpresponse.read().decode('utf-8')
112     #print(html)
113    
114     httpresponse = httpopen(BASE_URL + '/index.php?connexion=1', 'serveur=%s&pseudo=%s&mot_passe=%s' % (SERVER, LOGIN, PASSWORD))
115     #httpresponse = httpopen(BASE_URL + '/index.php?connexion=1', 'serveur=%s&pseudo=%s&mot_passe=%s&connexion=Connexion' % (SERVER, LOGIN, PASSWORD))
116     html = httpresponse.read().decode('utf-8')
117     if "redirectReine" not in html:
118         logging.fatal("Impossible de s'authentifier. Vérifiez vos paramètres dans config.py")
119         sys.exit(1)
120     #print('-'*80)
121     #print(html)
122     
123     #httpresponse = httpopen(BASE_URL + '/alliance.php?Membres')
124     #html = httpresponse.read().decode('utf-8')
125     #print('-'*80)
126     #print(html)
127
128     if not alliance_tag:
129         httpresponse = httpopen(BASE_URL + '/alliance.php?Membres',
130             'xajax=membre&xajaxr='+str(timestamp()))
131         html = httpresponse.read().decode('utf-8')
132         #print('-'*80)
133         #print(html)
134
135         root = html_parse(html)
136         table = get_elem(root, 'table')[0]
137         td = get_elem(table, 'td')[3]
138         table = get_elem(td, 'table')[0]
139         #print('-'*80)
140         #print_idented_tree(table)
141     else:
142         httpresponse = httpopen(BASE_URL + '/classementAlliance.php?alliance=%s' % alliance_tag)
143         html = httpresponse.read().decode('utf-8')
144         
145         root = html_parse(html)
146         table = get_elem(root, 'table')[2]
147         #print('-'*80)
148         #print_idented_tree(table)
149
150     members = {} # NEW
151     for tr in get_elem(table, 'tr'):
152         row = get_elem(tr, 'td')
153         #print('-'*10)
154         #print_idented_tree(tr)
155         if not alliance_tag:
156             if len(row) != 10:
157                 continue
158             grade = get_merged_leaf_content(row[2])
159             nick = get_merged_leaf_content(row[3])
160             field = int(get_merged_leaf_content(row[4]).replace(' ', ''))
161             techno = int(get_merged_leaf_content(row[5]))
162             anthill = int(get_merged_leaf_content(row[6]))
163             active = get_elem(row[7], 'img')[0].attributes['alt']
164             colonized = len(get_elem(row[8], 'img')) == 1
165             #print(nick, grade, field, techno, anthill, active, colonized)
166
167         else:
168             if len(row) != 6:
169                 continue
170             grade = get_merged_leaf_content(row[1])
171             nick = get_merged_leaf_content(row[2])
172             field = int(get_merged_leaf_content(row[3]).replace(' ', ''))
173             techno = int(get_merged_leaf_content(row[4]))
174             anthill = int(get_merged_leaf_content(row[5]))
175             active = None
176             colonized = None
177             #print(nick, grade, field, techno, anthill)
178
179         members[nick] = {
180             'grade': grade,
181             'field': field,
182             'techno': techno,
183             'anthill': anthill,
184             'active': active,
185             'colonized': colonized,
186         }
187         #print(members[nick])
188
189     logging.debug('%s members - total field = %s cm²', len(members), number_format(sum([x['field'] for x in members.values()])))
190     return members
191
192
193 def members_to_field(members):
194     """
195     Takes a full information dict "members"
196     Returns a simple dict with nick->field
197     """
198     fields  = {}
199     for nick, data in members.items():
200         fields[nick] = data['field']
201     return fields
202
203
204 def field_compare(oldmembers, newmembers):
205     
206     oldfield = members_to_field(oldmembers)
207     newfield = members_to_field(newmembers)
208
209     changes = {}
210     txtchanges = []
211     for nick in newfield.keys():
212         told = oldfield.get(nick, 0)
213         tnew = newfield[nick]
214         if told == tnew:
215             continue
216         changes[nick] = { 'old': told, 'new': tnew, 'delta': tnew-told }
217     
218     for nick in oldfield.keys():
219         if nick not in newfield:
220             told = oldfield[nick]
221             tnew = 0
222             changes[nick] = { 'old': told, 'new': 0, 'delta': -told }
223     #for nick, change in changes.items():
224     #    print(nick, ' - ', change['old'], ' - ', change['new'], ' - ', change['delta'])
225     #print
226
227     if not len(changes):
228         logging.info('No changes')
229         return
230  
231     for nick in changes.keys():
232         delta = changes[nick]['delta']
233         if delta <= 0:
234             continue # 0 is already process, <0 will be processed when nick swaps with nick2
235         for nick2 in changes.keys():
236             if changes[nick2]['delta'] == 0:
237                 continue # already done
238             if changes[nick2]['delta'] != -delta:
239                 continue # not the good one
240             percent = float(oldfield[nick2] - newfield[nick2]) / oldfield[nick2] * 100.
241             txtchanges.append('%s a pris %s cm² à %s (%.2f%%)' % (nick, number_format(delta), nick2, percent))
242             changes[nick]['delta'] = 0
243             changes[nick2]['delta'] = 0
244
245     for nick, change in changes.items():
246         delta = change['delta']
247         if delta < 0:
248             if nick in newfield:
249                 percent = float(-delta) / oldfield[nick] * 100.
250                 txtchanges.append('%s a perdu %s cm² (%.2f%%)' % (nick, number_format(-delta), percent))
251             else:
252                 txtchanges.append("%s a quité l'alliance avec %s cm²" % (nick, number_format(-delta)))
253         elif delta > 0:
254             if nick in oldfield:
255                 txtchanges.append('%s a gagné %s cm²' % (nick, number_format(delta)))
256             else:
257                 txtchanges.append("%s a rejoint l'alliance avec %s cm²" % (nick, number_format(delta)))
258
259     for txtchange in txtchanges:
260         logging.info(txtchange)
261
262
263 if __name__ == '__main__':
264     from optparse import OptionParser
265     parser = OptionParser()
266     parser.add_option('-d', '-v', '--debug', '--verbose',
267         action='store_true', dest='debug', default=False,
268         help="debug mode")
269     parser.add_option('-q', '--quiet',
270         action='store_true', dest='quiet', default=False,
271         help="quiet mode")
272     parser.add_option('-a', '--alliance',
273         dest='alliance',
274         help="alliance tag. default is to process player own alliance.")
275     parser.add_option('--dir',
276         dest='directory', default='.fourmizzz',
277         help="Working directory, including config.py, archives and results. "
278              "Relative to HOME unless it starts with /. "
279              "Default is '%default'.")
280     parser.add_option('--dry-run',
281         action='store_true', dest='dryrun', default=False,
282         help="don't store result in archives.")
283     options, args = parser.parse_args()
284
285     if options.debug:
286         loglevel = logging.DEBUG
287     elif options.quiet:
288         loglevel = logging.WARNING
289     else:
290         loglevel = logging.INFO
291     
292     HOME = os.environ['HOME']
293     if options.directory[0] == '/':
294         BASE_DIRECTORY = options.directory
295     else:
296         BASE_DIRECTORY = os.path.join(HOME, options.directory)
297
298     result_filename = os.path.join(BASE_DIRECTORY, 'results.log')
299     logging.basicConfig(filename=result_filename, level=loglevel, format='%(asctime)s %(levelname)s %(message)s', datefmt='%Y-%m-%d %H:%M:%S %Z')
300
301     read_config(BASE_DIRECTORY)
302
303     members_filename = os.path.join(BASE_DIRECTORY, 'archive.py')
304     oldmembers = None
305     try:
306         f = open(members_filename, mode='r+', encoding='utf-8')
307     except IOError as err:
308         if err.errno == 2: # No such file or directory
309             logging.warning("No archive file, creating one.")
310             f = open(members_filename, mode='w+', encoding='utf-8')
311         else:
312             raise
313     else:
314         oldmembers = eval(f.read())
315     
316     newmembers = members_get(options.alliance)
317
318     if oldmembers is not None:
319         field_compare(oldmembers, newmembers)
320     
321     # Save archive only after processing, just in case it crashes
322     if not options.dryrun:
323         f.seek(0)
324         f.write(repr(newmembers))
325         f.truncate()