Added external links
[fourmizzz.git] / members.py
1 #!/usr/bin/env python3
2 # -*- coding: utf-8 -*-
3 #
4 # Last version is available at svn://svn.nirgal.com/kod/fourmizzz/
5 # Licensed under GPL
6
7 import os
8 import time
9 import re
10 import logging
11 from datetime import datetime
12 import calendar
13 import urllib.request
14 from http.cookiejar import CookieJar
15
16 from html_parser import *
17 import htmlentities
18
19 """
20 csv file format:
21 DateTime,Action,Nick1,Grade1,OldField1,NewField1,Nick2,Grade2,OldField2,NewField2,FloodField,FieldLossPercent,Text
22 Action is one of: JOIN, QUIT, WIN, LOSS, FLOOD
23
24 Exemples:
25 JOIN,Nirgal,Recrue,0,571628,,,,,,,Nirgal a rejoint l'alliance avec 571 628 cm² 
26 QUIT,oncleblu,Chasseur,9940181,0,,,,,,,oncleblu a quité l'alliance avec 9 940 181 cm² 
27 WIN,Nirgal,Chasseur,200000,257900,,,,,,,Nirgal a gagné 57 900 cm² 
28 LOSS,Nirgal,Passeur 806,553624,442900,,,,,110724,20.00,Nirgal a perdu 110 724 cm² (20.00%) 
29 FLOOD,filoux,Passeur 003,55813865,74225093,yosemite,Passeur 004,51142304,32731076,18411228,36.00,filoux a pris 18 411 228 cm² à yosemite (36.00%)
30 FLOOD,Nick1,Grade1,100,102,Nick2,Grade2,100,99,1,1.00,Nick1 a pris 1 cm² à Nick2 (1.00%)
31 FLOOD,Nick1,Grade1,100,102,Nick3,Grade3,100,99,1,1.00,Nick1 a pris 1 cm² à Nick3 (1.00%)
32
33 Note that in last 2 lines exemple, NewField1 is 102 that is different from 100+1 because of multiple floods.
34 """
35
36 # globals:
37 #BASE_DIRECTORY
38 #SERVER
39 #LOGIN
40 #PASSWORD
41 #BASE_URL
42
43 def read_config(config_dir):
44     '''
45     That function will read config.py in .fourmizzz directory
46     and set up globals SERVER, LOGIN, PASSWORD, and BASE_URL.
47     '''
48     global SERVER, LOGIN, PASSWORD
49     global BASE_URL
50     CONFIG_TEMPLATE='''# Veuillez modifier les lignes ci dessous avec vos paramètres:
51 SERVER = 's1.fourmizzz.fr'
52 LOGIN = 'MonIdentifiant'
53 PASSWORD = 'MonMotDePasse'
54     '''
55
56     sys.path.append(config_dir)
57     try:
58         import config
59     except ImportError:
60         config_filename = os.path.join(config_dir, 'config.py')
61         logging.fatal("No configuration file. Creating %s", config_filename)
62         f = open(config_filename, mode='w+', encoding='utf-8')
63         f.write(CONFIG_TEMPLATE)
64         f.close()
65         logging.fatal("Please update this file with your details.")
66         sys.exit(1)
67     SERVER = config.SERVER
68     LOGIN = config.LOGIN
69     PASSWORD = config.PASSWORD
70     BASE_URL = 'http://%s' % SERVER
71
72 def hide_password_from_log(txt):
73     return re.sub('mot_passe=.*', 'mot_passe=********', txt)
74
75 __opener__ = None
76 def httpopen(url, post_data=None):
77     if post_data:
78         log_post_data = hide_password_from_log(post_data)
79         post_data = post_data.encode('utf-8') # str->bytes
80         logging.debug('HTTP POST %s %s', url, log_post_data)
81     else:
82         logging.debug('HTTP GET %s', url)
83     global __opener__
84     if __opener__ is None:
85         cookiejar = CookieJar()
86         __opener__ = urllib.request.build_opener()
87         __opener__.add_handler(urllib.request.HTTPCookieProcessor(cookiejar))
88     http_response = __opener__.open(url, post_data)
89     return http_response
90
91 def sleep(seconds):
92     logging.debug('Waiting %s seconds', seconds)
93     time.sleep(seconds)
94
95 def timestamp():
96     return calendar.timegm(datetime.now().timetuple())
97
98 def number_format(i):
99     result = ''
100     while i:
101         if result:
102             result = ' ' + result
103         d3 = i % 1000
104         i = i//1000
105         if i: # there will be something else left of that
106             result = ('%03d' % d3) + result
107         else:
108             result = ('%d' % d3) + result
109     return result
110
111
112 def members_get(alliance_tag=None):
113     #httpresponse = httpopen(BASE_URL + '/')
114     #html = httpresponse.read().decode('utf-8')
115     #print(html)
116    
117     httpresponse = httpopen(BASE_URL + '/index.php?connexion=1', 'serveur=%s&pseudo=%s&mot_passe=%s' % (SERVER, LOGIN, PASSWORD))
118     #httpresponse = httpopen(BASE_URL + '/index.php?connexion=1', 'serveur=%s&pseudo=%s&mot_passe=%s&connexion=Connexion' % (SERVER, LOGIN, PASSWORD))
119     html = httpresponse.read().decode('utf-8')
120     if "redirectReine" not in html:
121         logging.fatal("Impossible de s'authentifier. Vérifiez vos paramètres dans config.py")
122         sys.exit(1)
123     #print('-'*80)
124     #print(html)
125     
126     #httpresponse = httpopen(BASE_URL + '/alliance.php?Membres')
127     #html = httpresponse.read().decode('utf-8')
128     #print('-'*80)
129     #print(html)
130
131     if not alliance_tag:
132         httpresponse = httpopen(BASE_URL + '/alliance.php?Membres',
133             'xajax=membre&xajaxr='+str(timestamp()))
134         html = httpresponse.read().decode('utf-8')
135         #print('-'*80)
136         #print(html)
137
138         root = html_parse(html)
139         table = get_elem(root, 'table')[0]
140         td = get_elem(table, 'td')[3]
141         table = get_elem(td, 'table')[0]
142         #print('-'*80)
143         #print_idented_tree(table)
144     else:
145         httpresponse = httpopen(BASE_URL + '/classementAlliance.php?alliance=%s' % alliance_tag)
146         html = httpresponse.read().decode('utf-8')
147         
148         root = html_parse(html)
149         table = get_elem(root, 'table')[2]
150         #print('-'*80)
151         #print_idented_tree(table)
152
153     members = {} # NEW
154     for tr in get_elem(table, 'tr'):
155         row = get_elem(tr, 'td')
156         #print('-'*10)
157         #print_idented_tree(tr)
158         if not alliance_tag:
159             if len(row) != 10:
160                 continue
161             grade = get_merged_leaf_content(row[2])
162             nick = get_merged_leaf_content(row[3])
163             field = int(get_merged_leaf_content(row[4]).replace(' ', ''))
164             techno = int(get_merged_leaf_content(row[5]))
165             anthill = int(get_merged_leaf_content(row[6]))
166             active = get_elem(row[7], 'img')[0].attributes['alt']
167             colonized = len(get_elem(row[8], 'img')) == 1
168             #print(nick, grade, field, techno, anthill, active, colonized)
169
170         else:
171             if len(row) != 6:
172                 continue
173             grade = get_merged_leaf_content(row[1])
174             nick = get_merged_leaf_content(row[2])
175             field = int(get_merged_leaf_content(row[3]).replace(' ', ''))
176             techno = int(get_merged_leaf_content(row[4]))
177             anthill = int(get_merged_leaf_content(row[5]))
178             active = None
179             colonized = None
180             #print(nick, grade, field, techno, anthill)
181
182         members[nick] = {
183             'grade': grade,
184             'field': field,
185             'techno': techno,
186             'anthill': anthill,
187             'active': active,
188             'colonized': colonized,
189         }
190         #print(members[nick])
191
192     logging.debug('%s members - total field = %s cm²', len(members), number_format(sum([x['field'] for x in members.values()])))
193     return members
194
195
196 def members_to_field(members):
197     """
198     Takes a full information dict "members"
199     Returns a simple dict with nick->field
200     """
201     fields  = {}
202     for nick, data in members.items():
203         fields[nick] = data['field']
204     return fields
205
206
207 def field_compare(oldmembers, newmembers):
208     
209     oldfield = members_to_field(oldmembers)
210     newfield = members_to_field(newmembers)
211
212     changes = {}
213     txtchanges = []
214     for nick in newfield.keys():
215         told = oldfield.get(nick, 0)
216         tnew = newfield[nick]
217         if told == tnew:
218             continue
219         changes[nick] = { 'old': told, 'new': tnew, 'delta': tnew-told }
220     
221     for nick in oldfield.keys():
222         if nick not in newfield:
223             told = oldfield[nick]
224             tnew = 0
225             changes[nick] = { 'old': told, 'new': 0, 'delta': -told }
226     #for nick, change in changes.items():
227     #    print(nick, ' - ', change['old'], ' - ', change['new'], ' - ', change['delta'])
228     #print
229
230     if not len(changes):
231         logging.info('No changes')
232         return
233  
234     for nick in changes.keys():
235         delta = changes[nick]['delta']
236         if delta <= 0:
237             continue # 0 is already process, <0 will be processed when nick swaps with nick2
238         for nick2 in changes.keys():
239             if changes[nick2]['delta'] == 0:
240                 continue # already done
241             if changes[nick2]['delta'] != -delta:
242                 continue # not the good one
243             percent = float(oldfield[nick2] - newfield[nick2]) / oldfield[nick2] * 100.
244             txtchanges.append('%s a pris %s cm² à %s (%.2f%%)' % (nick, number_format(delta), nick2, percent))
245             changes[nick]['delta'] = 0
246             changes[nick2]['delta'] = 0
247
248     for nick, change in changes.items():
249         delta = change['delta']
250         if delta < 0:
251             if nick in newfield:
252                 percent = float(-delta) / oldfield[nick] * 100.
253                 txtchanges.append('%s a perdu %s cm² (%.2f%%)' % (nick, number_format(-delta), percent))
254             else:
255                 txtchanges.append("%s a quité l'alliance avec %s cm²" % (nick, number_format(-delta)))
256         elif delta > 0:
257             if nick in oldfield:
258                 txtchanges.append('%s a gagné %s cm²' % (nick, number_format(delta)))
259             else:
260                 txtchanges.append("%s a rejoint l'alliance avec %s cm²" % (nick, number_format(delta)))
261
262     for txtchange in txtchanges:
263         logging.info(txtchange)
264
265
266 if __name__ == '__main__':
267     from optparse import OptionParser
268     parser = OptionParser()
269     parser.add_option('-d', '-v', '--debug', '--verbose',
270         action='store_true', dest='debug', default=False,
271         help="debug mode")
272     parser.add_option('-q', '--quiet',
273         action='store_true', dest='quiet', default=False,
274         help="quiet mode")
275     parser.add_option('-a', '--alliance',
276         dest='alliance',
277         help="alliance tag. default is to process player own alliance.")
278     parser.add_option('--dir',
279         dest='directory', default='.fourmizzz',
280         help="Working directory, including config.py, archives and results. "
281              "Relative to HOME unless it starts with /. "
282              "Default is '%default'.")
283     parser.add_option('--dry-run',
284         action='store_true', dest='dryrun', default=False,
285         help="don't store result in archives.")
286     options, args = parser.parse_args()
287
288     if options.debug:
289         loglevel = logging.DEBUG
290     elif options.quiet:
291         loglevel = logging.WARNING
292     else:
293         loglevel = logging.INFO
294     
295     HOME = os.environ['HOME']
296     if options.directory[0] == '/':
297         BASE_DIRECTORY = options.directory
298     else:
299         BASE_DIRECTORY = os.path.join(HOME, options.directory)
300
301     result_filename = os.path.join(BASE_DIRECTORY, 'results.log')
302     logging.basicConfig(filename=result_filename, level=loglevel, format='%(asctime)s %(levelname)s %(message)s', datefmt='%Y-%m-%d %H:%M:%S %Z')
303
304     read_config(BASE_DIRECTORY)
305
306     members_filename = os.path.join(BASE_DIRECTORY, 'archive.py')
307     oldmembers = None
308     try:
309         f = open(members_filename, mode='r+', encoding='utf-8')
310     except IOError as err:
311         if err.errno == 2: # No such file or directory
312             logging.warning("No archive file, creating one.")
313             f = open(members_filename, mode='w+', encoding='utf-8')
314         else:
315             raise
316     else:
317         oldmembers = eval(f.read())
318     
319     newmembers = members_get(options.alliance)
320
321     if oldmembers is not None:
322         field_compare(oldmembers, newmembers)
323     
324     # Save archive only after processing, just in case it crashes
325     if not options.dryrun:
326         f.seek(0)
327         f.write(repr(newmembers))
328         f.truncate()