PageRenderTime 72ms CodeModel.GetById 20ms RepoModel.GetById 0ms app.codeStats 0ms

/LV2/zad_7.py

https://gitlab.com/mmeisel/LV
Python | 43 lines | 35 code | 3 blank | 5 comment | 3 complexity | e4bf66d3b2693dcdd63aa98aafdd6255 MD5 | raw file
    

  1. #Napišite program koji će pomoću biblioteke Beautiful Soup ispisati 
    2. 

  2. #sve adrese i nazive za vanjske linkove web stranice koju definira korisnik.
    3. 

  3. #Npr. za stranicu www.etfos.unios.hr vanjski linkovi su linkovi koji 
    4. 

  4. #ne sadrže 'etfos.unios.hr' u svom URL-u niti pokazuju na neki od dokumenata 
    5. 

  5. #u poddirektorijima (npr. '/znanost/znanstveno-strucna-predavanja/'). 
    6. 

  6. 

  7. import re
    8. 

  8. import urllib
    9. 

  9. from bs4 import BeautifulSoup
    10. 

  10. 

  11. def ripDomain(): #funkcija koja "cupa" domenu iz linka
    12. 

  12.     if re.search(r'[w]{3}', urlAddr): #ukoliko link sadrzi www
    13. 

  13.         temp1=(urlAddr.split('www.')[1]).split('/')[0] #tada se dijeli link na znakovima "www." te se nakon toga dijeli na znaku /
    14. 

  14.     else: #u suprotnom
    15. 

  15.         temp1=(urlAddr.split('://')[1]).split('/')[0] #link pocinje sa http(s):// pa se dijeli na znakovima :// pa onda na znaku /
    16. 

  16.     return temp1 #vraca se domena
    17. 

  17.     
    18. 

  18. def correctURL(): #funkcija koja dodaje http:// ukoliko ga link ne sadrzi
    19. 

  19.     if not re.match(r'^http[s]{0,1}',urlAddr): #trazi se pocinje li link sa http(s)
    20. 

  20.         return ''.join(['http://', urlAddr]) #ukoliko ne pocinje tada se na pocetak dodaje http://
    21. 

  21.     else:
    22. 

  22.         return urlAddr #u suprotnom se vraca ne promjenjen link
    23. 

  23.     
    24. 

  24. urlAddr=raw_input('Upisite web lokaciju: ') #upisuje se web lokacija
    25. 

  25. urlAddr=correctURL()                        #ispravlja se url ukoliko je potrebno
    26. 

  26. html=urllib.urlopen(urlAddr, "lxml").read() #otvara se url
    27. 

  27. soup=BeautifulSoup(html)                    #i deklarira objekt tipa BeautifulSoup
    28. 

  28. 

  29. domain=ripDomain()                          #trazi se domena
    30. 

  30. print 'Domena je: ',domain                  #i ispisuje se
    31. 

  31. tagovi=soup('a')                            #traze se svi tagovi 'a'
    32. 

  32. for tag in tagovi:                          #i za svaki pronađeni tag
    33. 

  33.     temp=re.search(r'http[s]{0,1}', str(tag.get('href'))) #provjerava se sadrzili http ili https
    34. 

  34.     temp1=re.search(domain, str(tag.get('href'))) #i sadrzi li domenu
    35. 

  35.     if temp and not temp1: #ukoliko sadrzi http(s) a ne sadrzi domenu tada se ispisuje na nacin
    36. 

  36.         if len(tag.contents)>0:  #ukoliko tag posjeduje atribut contents
    37. 

  37.             tagCont=''.join([unicode(tag.contents[0]),': ']) #tada spoji atribut sa znakom :
    38. 

  38.         else:
    39. 

  39.             tagCont='N/A: ' #ukoliko atribut nije pronađen onda se za naziv ispisuje N/A:
    40. 

  40.         if re.search(r'[?]http[s]{0,1}', str(tag.get('href'))): #ukoliko prije http(s)-a postoji niz znakova
    41. 

  41.             print tagCont, str(tag.get('href')).split('?')[1] #tada se oni uklanjaju i ispisuje se link
    42. 

  42.         else:
    43. 

  43.             print tagCont,tag.get('href') #ukoliko ne postoji nikakav znak tada se ispisuje lik
    44.