PageRenderTime 52ms CodeModel.GetById 24ms RepoModel.GetById 1ms app.codeStats 0ms

/app/js/parsertest.py

https://github.com/antimatter15/js-wikireader
Python | 41 lines | 40 code | 1 blank | 0 comment | 0 complexity | 1ee0749b19d89d8c05e206b39c7f26b2 MD5 | raw file
    

  1. import sys, re
    2. 

  2. page = sys.stdin.read()
    3. 

  3. 

  4. page = re.sub('<ref[^\0]*?\/(ref)?\>', '', page)
    5. 

  5. page = re.sub('<gallery>[^\0]*?<\/gallery>', '', page)
    6. 

  6. page = re.sub('<!--.*?-->', '', page)
    7. 

  7. page = re.sub('<!--[^\0]*?-->', '', page)
    8. 

  8. 

  9. page = re.sub(re.compile('\[\[\s*(File|Image)\s*:[^\]\[]*\[\[[^\[\]]*\]\]', re.IGNORECASE), '[[File:', page)
    10. 

  10. page = re.sub(re.compile('\[\[\s*(File|Image)\s*:[^\]\[]*\[\[[^\[\]]*\]\]', re.IGNORECASE), '[[File:', page)
    11. 

  11. page = re.sub(re.compile('\[\[\s*(File|Image)\s*:[^\]\[]*\[\[[^\[\]]*\]\]', re.IGNORECASE), '[[File:', page)
    12. 

  12. page = re.sub(re.compile('\[\[\s*(File|Image)\s*:[^\]\[]*\[\[[^\[\]]*\]\]', re.IGNORECASE), '[[File:', page)
    13. 

  13. page = re.sub(re.compile('\[\[\s*(File|Image)\s*:[^\]\[]*\[\[[^\[\]]*\]\]', re.IGNORECASE), '[[File:', page)
    14. 

  14. page = re.sub(re.compile('\[\[\s*(File|Image)\s*:[^\]\[]*\[\[[^\[\]]*\]\]', re.IGNORECASE), '[[File:', page)
    15. 

  15. 

  16. page = re.sub('\[\[\s*(File|Image)\s*:[^\]]*\]\]', '', page)
    17. 

  17. 

  18. page = re.sub('\{\{As of\|(\d*)(\|.*?)?\}\}', 'As of \g<1>', page)
    19. 

  19. 

  20. page = re.sub('\{\{[^\}\{]*\{\{[^\{\}]*\}\}', '{{', page)
    21. 

  21. page = re.sub('\{\{[^\}\{]*\{\{[^\{\}]*\}\}', '{{', page)
    22. 

  22. page = re.sub('\{\{[^\}\{]*\{\{[^\{\}]*\}\}', '{{', page)
    23. 

  23. page = re.sub('\{\{[^\}\{]*\{\{[^\{\}]*\}\}', '{{', page)
    24. 

  24. page = re.sub('\{\{[^\}\{]*\{\{[^\{\}]*\}\}', '{{', page)
    25. 

  25. page = re.sub('\{\{[^\}\{]*\{\{[^\{\}]*\}\}', '{{', page)
    26. 

  26. page = re.sub('\{\{[^\}\{]*\{\{[^\{\}]*\}\}', '{{', page)
    27. 

  27. page = re.sub('\{\{[^\}\{]*\{\{[^\{\}]*\}\}', '{{', page)
    28. 

  28. page = re.sub('\{\{[^\}\{]*\{\{[^\{\}]*\}\}', '{{', page)
    29. 

  29. 

  30. page = re.sub('\s*\{\{[^\}\{]*\}\}', '', page)
    31. 

  31. page = re.sub('\[\[\s*[a-z\-]+\s*:[^\n\|]*?\]\]', '', page)
    32. 

  32. page = re.sub(re.compile('\[\[Category\s*:\s*.*?\]\]', re.IGNORECASE), '', page)
    33. 

  33. 

  34. page = re.sub('\n(\s?\n)+', '\n\n', page)
    35. 

  35. page = re.sub('[\n\s]+(={2,6})\s*(.*?)\s*(={2,6})[\n\s]+', '\n\g<1>\g<2>\g<3>\n', page)
    36. 

  36. 

  37. page = re.sub(re.compile('={2,6}\s*(References|Sources|Other Websites|External Links|Notes|Footnotes|Further Reading)\s*={2,6}[^\0]+', re.IGNORECASE), '', page)
    38. 

  38. 

  39. page = page.strip()
    40. 

  40. 

  41. print page
    42. 

  42.