Me enteré por javibc de que hay un portal del ministerio de haciendo con los datos de los concejales de toda españa disponibles [ ssweb.mpt.es/portalEELL/consulta_alcaldes ] (hay que entrar dos veces, una para que dea la cookie y la siguiente ya deja pasar :P), después no pocos dolores de cabeza ahí va el parser y la base de datos. [ cargos.zip ]
Nota: Hay información en #Freesoftwareando, de hecho al principio los parsers usaban su base de datos de municipios pero ahora generan otra para evitar salirse de las librerías estándar de python.
Para parsearlas de nuevo, primero hay que preparar y lanzar get_provincias.py , para ponerlo a punto hay que editar las cookies (línea 20) con las que la web te haya asignado, al lanzar el script este preparará una base de datos con los municipios de cada provincia.
El siguiente paso es preparar el get_cargos.py , de nuevo hay que editar las cookies (línea 8) y esta vez además ajustar el csrf_token (línea 128) que se puede encontrar en la página buscando esto:
<input type="hidden" name="consulta_alcalde[_csrf_token]" value="717f8d1f38ba8e586a2fcbc5ca2b840c" id="consulta_alcalde__csrf_token" />
(’717f8d1f38ba8e586a2fcbc5ca2b840c’)
La base de datos obtenida debería ser algo así [ cargos.sqlite3.gz ] (aunque sin el .gz :P)
Y ya que estamos, ahí van convertidas a un par de formatos:
- sqlite2
- CSV para las hojas de cálculo (una tabla con provincia, municipio, nombre, apellidos, lista, cargo)
__EOF__
Inglés
En free teniamos esto abandonado desde hace semanas. No veas si dolia la cabeza pero veo que tu lo has conseguido antes.
Genial !!! well done !!!
Es un trabajo que se hacia pesado. Creo que lo siguiente es que alguien pase esos datos a wikipedia. Vere si esta noche le meto mano.
Estupendo trabajo.
:)
Im-Prezionante.
Gracias por el curro, por los datos y por las enseñanzas.
Otro gafapastaslinuxero :-)
sqlite> SELECT COUNT(*) FROM cargos;
68730
SELECT apellidos, COUNT(*) FROM cargos group by apellidos HAVING COUNT(*) > 1;
Hits endogamia?
[...] S.O.U. Base de datos con todos los concejales y alcaldes de todos los municipios de españa Visto 1 veces Jan 15 2012 Hoy kenkeiras en su blog ha soltado el bombazo: http://codigoparallevar.co.cc/blog/lang/es/2012/01/obteniendo-las-bases-de-datos-de-concejalesobtain… [...]
muchas gracias
[...] jQuery("#errors*").hide(); window.location= data.themeInternalUrl; } }); } codigoparallevar.co.cc – Today, 10:45 [...]
@fanta:
gracias :) suerte con lointeresante, habría que hecharle un buen vistazo de pasarlos a wikipedia
@Otro gamusino / Anónimo:
para eso estamos :P
@mari:
interesante, habría que hecharle un buen vistazo que hay cosas muy raras