Web scratching now recovers all data, including grade, techno, ...
[fourmizzz.git] / members.py
1 #!/usr/bin/env python3
2 # -*- coding: utf-8 -*-
3
4 import os
5 import time
6 import re
7 import logging
8 from datetime import datetime
9 import calendar
10 import urllib.request
11 from http.cookiejar import CookieJar
12
13 from html_parser import *
14 import htmlentities
15
16 """
17 csv file format:
18 DateTime,Action,Nick1,Grade1,OldField1,NewField1,Nick2,Grade2,OldField2,NewField2,FloodField,FieldLossPercent,Text
19 Action is one of: JOIN, QUIT, WIN, LOSS, FLOOD
20
21 Exemples:
22 JOIN,Nirgal,Recrue,0,571628,,,,,,,Nirgal a rejoint l'alliance avec 571 628 cm² 
23 QUIT,oncleblu,Chasseur,9940181,0,,,,,,,oncleblu a quité l'alliance avec 9 940 181 cm² 
24 WIN,Nirgal,Chasseur,200000,257900,,,,,,,Nirgal a gagné 57 900 cm² 
25 LOSS,Nirgal,Passeur 806,553624,442900,,,,,110724,20.00,Nirgal a perdu 110 724 cm² (20.00%) 
26 FLOOD,filoux,Passeur 003,55813865,74225093,yosemite,Passeur 004,51142304,32731076,18411228,36.00,filoux a pris 18 411 228 cm² à yosemite (36.00%)
27 FLOOD,Nick1,Grade1,100,102,Nick2,Grade2,100,99,1,1.00,Nick1 a pris 1 cm² à Nick2 (1.00%)
28 FLOOD,Nick1,Grade1,100,102,Nick3,Grade3,100,99,1,1.00,Nick1 a pris 1 cm² à Nick3 (1.00%)
29
30 Note that in last 2 lines exemple, NewField1 is 102 that is different from 100+1 because of multiple floods.
31 """
32
33
34
35 #SERVER
36 #LOGIN
37 #PASSWORD
38 #BASE_URL
39 HOME = os.environ['HOME']
40
41 def read_config():
42     '''
43     That function will read config.py in .fourmizzz directory
44     and set up globals SERVER, LOGIN, PASSWORD, and BASE_URL.
45     '''
46     global SERVER, LOGIN, PASSWORD
47     global BASE_URL
48     CONFIG_TEMPLATE='''# Veuillez modifier les lignes ci dessous avec vos paramètres:
49 SERVER = 's1.fourmizzz.fr'
50 LOGIN = 'MonIdentifiant'
51 PASSWORD = 'MonMotDePasse'
52     '''
53
54     sys.path.append(HOME+'/.fourmizzz')
55     try:
56         import config
57     except ImportError:
58         CONFIG = HOME+'/.fourmizzz/config.py'
59         logging.fatal("No configuration file. Creating %s", CONFIG)
60         f = open(CONFIG, mode='w+', encoding='utf-8')
61         f.write(CONFIG_TEMPLATE)
62         f.close()
63         logging.fatal("Please update this file with your details.")
64         sys.exit(1)
65     SERVER = config.SERVER
66     LOGIN = config.LOGIN
67     PASSWORD = config.PASSWORD
68     BASE_URL = 'http://%s' % SERVER
69
70 def hide_password_from_log(txt):
71     return re.sub('mot_passe=.*', 'mot_passe=********', txt)
72
73 __opener__ = None
74 def httpopen(url, post_data=None):
75     if post_data:
76         log_post_data = hide_password_from_log(post_data)
77         post_data = post_data.encode('utf-8') # str->bytes
78         logging.debug('HTTP POST %s %s', url, log_post_data)
79     else:
80         logging.debug('HTTP GET %s', url)
81     global __opener__
82     if __opener__ is None:
83         cookiejar = CookieJar()
84         __opener__ = urllib.request.build_opener()
85         __opener__.add_handler(urllib.request.HTTPCookieProcessor(cookiejar))
86     http_response = __opener__.open(url, post_data)
87     return http_response
88
89 def sleep(seconds):
90     logging.debug('Waiting %s seconds', seconds)
91     time.sleep(seconds)
92
93 def timestamp():
94     return calendar.timegm(datetime.now().timetuple())
95
96 def number_format(i):
97     result = ''
98     while i:
99         if result:
100             result = ' ' + result
101         d3 = i % 1000
102         i = i//1000
103         if i:
104             result = ('%03d' % d3) + result
105         else:
106             result = ('%d' % d3) + result
107     return result
108
109
110 def tdc_get(alliance_tag=None):
111     #httpresponse = httpopen(BASE_URL + '/')
112     #html = httpresponse.read().decode('utf-8')
113     #print(html)
114    
115     httpresponse = httpopen(BASE_URL + '/index.php?connexion=1', 'serveur=%s&pseudo=%s&mot_passe=%s' % (SERVER, LOGIN, PASSWORD))
116     #httpresponse = httpopen(BASE_URL + '/index.php?connexion=1', 'serveur=%s&pseudo=%s&mot_passe=%s&connexion=Connexion' % (SERVER, LOGIN, PASSWORD))
117     html = httpresponse.read().decode('utf-8')
118     if "redirectReine" not in html:
119         logging.fatal("Impossible de s'authentifier. Vérifiez vos paramètres dans config.py")
120         sys.exit(1)
121     #print('-'*80)
122     #print(html)
123     
124     #httpresponse = httpopen(BASE_URL + '/alliance.php?Membres')
125     #html = httpresponse.read().decode('utf-8')
126     #print('-'*80)
127     #print(html)
128
129     if not alliance_tag:
130         httpresponse = httpopen(BASE_URL + '/alliance.php?Membres',
131             'xajax=membre&xajaxr='+str(timestamp()))
132         html = httpresponse.read().decode('utf-8')
133         #print('-'*80)
134         #print(html)
135
136         root = html_parse(html)
137         table = get_elem(root, 'table')[0]
138         td = get_elem(table, 'td')[3]
139         table = get_elem(td, 'table')[0]
140         #print('-'*80)
141         #print_idented_tree(table)
142     else:
143         httpresponse = httpopen(BASE_URL + '/classementAlliance.php?alliance=%s' % alliance_tag)
144         html = httpresponse.read().decode('utf-8')
145         
146         root = html_parse(html)
147         table = get_elem(root, 'table')[2]
148         #print('-'*80)
149         #print_idented_tree(table)
150
151     members = {} # NEW
152     for tr in get_elem(table, 'tr'):
153         row = get_elem(tr, 'td')
154         #print('-'*10)
155         #print_idented_tree(tr)
156         if not alliance_tag:
157             if len(row) != 10:
158                 continue
159             grade = get_merged_leaf_content(row[2])
160             nick = get_merged_leaf_content(row[3])
161             field = int(get_merged_leaf_content(row[4]).replace(' ', ''))
162             techno = int(get_merged_leaf_content(row[5]))
163             anthill = int(get_merged_leaf_content(row[6]))
164             active = get_elem(row[7], 'img')[0].attributes['alt']
165             colonized = len(get_elem(row[8], 'img')) == 1
166             #print(nick, grade, field, techno, anthill, active, colonized)
167
168         else:
169             if len(row) != 6:
170                 continue
171             grade = get_merged_leaf_content(row[1])
172             nick = get_merged_leaf_content(row[2])
173             field = int(get_merged_leaf_content(row[3]).replace(' ', ''))
174             techno = int(get_merged_leaf_content(row[4]))
175             anthill = int(get_merged_leaf_content(row[5]))
176             active = None
177             colonized = None
178             #print(nick, grade, field, techno, anthill)
179
180         members[nick] = {
181             'grade': grade,
182             'field': field,
183             'techno': techno,
184             'anthill': anthill,
185             'active': active,
186             'colonized': colonized,
187         }
188         #print(members[nick])
189
190     logging.debug('%s members - total field = %s cm²', len(members), number_format(sum([x['field'] for x in members.values()])))
191     return members
192
193
194 def members_to_field(members):
195     """
196     Takes a full information dict "members"
197     Returns a simple dict with nick->field
198     """
199     fields  = {}
200     for nick, data in members.items():
201         fields[nick] = data['field']
202     return fields
203
204
205 def tdc_compare(oldtdc, newtdc):
206     changes = {}
207     txtchanges = []
208     for nick in newtdc.keys():
209         told = oldtdc.get(nick, 0)
210         tnew = newtdc[nick]
211         if told == tnew:
212             continue
213         changes[nick] = { 'old': told, 'new': tnew, 'delta': tnew-told }
214     
215     for nick in oldtdc.keys():
216         if nick not in newtdc:
217             told = oldtdc[nick]
218             tnew = 0
219             changes[nick] = { 'old': told, 'new': 0, 'delta': -told }
220     #for nick, change in changes.items():
221     #    print(nick, ' - ', change['old'], ' - ', change['new'], ' - ', change['delta'])
222     #print
223
224     if not len(changes):
225         logging.info('No changes')
226         return
227  
228     for nick in changes.keys():
229         delta = changes[nick]['delta']
230         if delta <= 0:
231             continue # 0 is already process, <0 will be processed when nick swaps with nick2
232         for nick2 in changes.keys():
233             if changes[nick2]['delta'] == 0:
234                 continue # already done
235             if changes[nick2]['delta'] != -delta:
236                 continue # not the good one
237             percent = float(oldtdc[nick2] - newtdc[nick2]) / oldtdc[nick2] * 100.
238             txtchanges.append('%s a pris %s cm² à %s (%.2f%%)' % (nick, number_format(delta), nick2, percent))
239             changes[nick]['delta'] = 0
240             changes[nick2]['delta'] = 0
241
242                 
243     for nick, change in changes.items():
244         delta = change['delta']
245         if delta < 0:
246             if nick in newtdc:
247                 percent = float(-delta) / oldtdc[nick] * 100.
248                 txtchanges.append('%s a perdu %s cm² (%.2f%%)' % (nick, number_format(-delta), percent))
249             else:
250                 txtchanges.append("%s a quité l'alliance avec %s cm²" % (nick, number_format(-delta)))
251         elif delta > 0:
252             if nick in oldtdc:
253                 txtchanges.append('%s a gagné %s cm²' % (nick, number_format(delta)))
254             else:
255                 txtchanges.append("%s a rejoint l'alliance avec %s cm²" % (nick, number_format(delta)))
256
257     for txtchange in txtchanges:
258         logging.info(txtchange)
259
260
261 if __name__ == '__main__':
262     from optparse import OptionParser
263     parser = OptionParser()
264     parser.add_option('-d', '-v', '--debug', '--verbose',
265         action='store_true', dest='debug', default=False,
266         help="debug mode")
267     parser.add_option('-q', '--quiet',
268         action='store_true', dest='quiet', default=False,
269         help="quiet mode")
270     parser.add_option('-a', '--alliance',
271         dest='alliance',
272         help="alliance tag. default is to process player own alliance.")
273     parser.add_option('--dry-run',
274         action='store_true', dest='dryrun', default=False,
275         help="don't store result in archives.")
276     options, args = parser.parse_args()
277
278     if options.debug:
279         loglevel = logging.DEBUG
280     elif options.quiet:
281         loglevel = logging.WARNING
282     else:
283         loglevel = logging.INFO
284     
285     RESULT = HOME + '/.fourmizzz/results.log'
286     logging.basicConfig(filename=RESULT, level=loglevel, format='%(asctime)s %(levelname)s %(message)s', datefmt='%Y-%m-%d %H:%M:%S %Z')
287
288     read_config()
289
290     ARCHIVE = HOME + '/.fourmizzz/archive.py'
291     oldmembers = None
292     try:
293         f = open(ARCHIVE, mode='r+', encoding='utf-8')
294     except IOError as err:
295         if err.errno == 2: # No such file or directory
296             logging.warning("No archive file, creating one.")
297             f = open(ARCHIVE, mode='w+', encoding='utf-8')
298         else:
299             raise
300     else:
301         oldmembers = eval(f.read())
302         oldtdc = members_to_field(oldmembers)
303     
304     newmembers = tdc_get(options.alliance)
305     newtdc = members_to_field(newmembers)
306
307     if oldtdc is not None:
308         tdc_compare(oldtdc, newtdc)
309     
310     # Save archive only after processing, just in case it crashes
311     if not options.dryrun:
312         f.seek(0)
313         f.write(repr(newmembers))
314         f.truncate()