PageRenderTime 62ms CodeModel.GetById 23ms RepoModel.GetById 0ms app.codeStats 1ms

/FoodUp-persistence/resources/datos/alimentos/extraer_datos_composicion_alimentos.py

https://gitlab.com/FoodUpProject/FoodUp
Python | 54 lines | 43 code | 2 blank | 9 comment | 6 complexity | 28aad19ce15c7502357524159858c08a MD5 | raw file
    

  1. # -*- coding: utf-8 -*-
    2. 

  2. import urllib2,unicodedata
    3. 

  3. from bs4 import BeautifulSoup
    4. 

  4.  
    5. 

  5. #método de análisis de una dirección web
    6. 

  6. def analisisDescarga(archivo,conexion):
    7. 

  7.     html = conexion.read()
    8. 

  8.     soup = BeautifulSoup(html)
    9. 

  9.     #obtenemos una lista de String con la condición de atributos class con valores details y price
    10. 

  10.     links = soup.find_all(True, {'align':['left','right']})
    11. 

  11.     #la lista alterna valores de nombre de producto y precio
    12. 

  12.     #   creamos una bandera para diferenciar si es valor o producto
    13. 

  13.     value = False
    14. 

  14.     for tag in links:
    15. 

  15.         print("--")
    16. 

  16.         for linea in tag:
    17. 

  17.             linea = linea.strip();
    18. 

  18.             #adaptamos unicode a utf-8
    19. 

  19.             normalizado=unicodedata.normalize('NFKD', linea).encode('ascii','ignore')
    20. 

  20.  
    21. 

  21.             if len(normalizado)>1:
    22. 

  22.                 if value:
    23. 

  23.                     print('valor: '+normalizado)
    24. 

  24.                     value = False
    25. 

  25.                     archivo.write(normalizado+'\n')
    26. 

  26.                 else:
    27. 

  27.                     print('composicion: '+normalizado)
    28. 

  28.                     value = True
    29. 

  29.                     archivo.write(normalizado+'\t')
    30. 

  30. #este método se conectará con la web y establece un timeout que obliga a reintentar el fallo
    31. 

  31. def preparar(archivo,web):
    32. 

  32.     print(web)
    33. 

  33.     req = urllib2.Request(web)
    34. 

  34.     req.add_header('User-agent','Mozilla/5.0')
    35. 

  35.     result = urllib2.urlopen(req,timeout=10)#timeout de 10 segundos
    36. 

  36.     analisisDescarga(archivo,result)
    37. 

  37. #        preparar(archivo,web)
    38. 

  38. #Programa principal
    39. 

  39. print('Comienza el programa')
    40. 

  40. salir = False
    41. 

  41. while not salir:
    42. 

  42.     archivo = open(raw_input("Nombre del alimento: ")+'.csv','w')
    43. 

  43.     id_alim = raw_input("Id alimento: ")
    44. 

  44.     url = 'http://www.ienva.org/CalcDieta/composicion_sub_result.php?q=' + id_alim + '&r='
    45. 

  45.     archivo.write('GENERAL'+'\n')
    46. 

  46.     preparar(archivo,url + 'GENERAL' + '&s=1')
    47. 

  47.     archivo.write('MINERALES'+'\n')
    48. 

  48.     preparar(archivo,url + 'MINERALES' + '&s=1')
    49. 

  49.     archivo.write('VITAMINAS'+'\n')
    50. 

  50.     preparar(archivo,url + 'VITAMINAS' + '&s=1')
    51. 

  51.     archivo.write('ACIDOS_GRASOS'+'\n')
    52. 

  52.     preparar(archivo,url + 'ACIDOS_GRASOS' + '&s=1')
    53. 

  53.     archivo.close()
    54. 

  54. print('Fin del programa')
    55. 

  55.