/accelometer_metadata_creator.py

https://gitlab.com/heavelock/metadata_creator · Python · 198 lines · 127 code · 35 blank · 36 comment · 30 complexity · 8964cda1aa3179553d4cddbc9610e47b MD5 · raw file 

    

  1. from bs4 import BeautifulSoup
    2. 

  2. import scipy.io
    3. 

  3. import os
    4. 

  4. import obspy
    5. 

  5. from datetime import datetime, timedelta
    6. 

  6. 

  7. 

  8. # Parsowanie pliku xml z metadanymi
    9. 

  9. def parse_event_names(file):
    10. 

  10.     soup = BeautifulSoup(open(file), 'lxml-xml')
    11. 

  11.     parsed_meta = {}
    12. 

  12.     for ev in soup.find_all('event'):
    13. 

  13.         parsed_meta[str(ev.file.contents[0])] = ev['id']
    14. 

  14.     return parsed_meta
    15. 

  15. 

  16. 

  17. # parsowanie katalogu
    18. 

  18. def parse_catalog(file):
    19. 

  19.     mat = scipy.io.loadmat(file)
    20. 

  20. 

  21.     for key in mat.keys():
    22. 

  22.         if key[0:2] != '__':
    23. 

  23.             break
    24. 

  24. 

  25.     cata_len = len(mat[key][0][0][2])
    26. 

  26.     catalog = {}
    27. 

  27. 

  28.     for subcat in mat[key][0]:
    29. 

  29.         catalog[subcat[0][0].lower()] = [subcat[2][i][0] for i in range(cata_len)]
    30. 

  30. 

  31.     return catalog
    32. 

  32. 

  33. def write_metadata_file(meta_file, description, starttime, endtime, event_id):
    34. 

  34.     # Zapis do pliku
    35. 

  35.     meta_file.write('<metadata>' + "\n")
    36. 

  36.     meta_file.write('  <item name="episodeName" isRequired="true" minLength="10"/>' + "\n")
    37. 

  37.     meta_file.write('  <item name="episodeCode" isRequired="true" minLength="2"/>' + "\n")
    38. 

  38.     meta_file.write(
    39. 

  39.         '  <item name="episodeOwner" isRequired="true" enum="[&quot;IGF PAS&quot;, &quot;KWSA&quot;, &quot;GIG&quot;,&quot;GFZ&quot;, &quot;VAST&quot;]"/>' + "\n")
    40. 

  40.     meta_file.write(description + "\n")
    41. 

  41.     meta_file.write('  <item name="text" isRequired="true"/>' + "\n")
    42. 

  42.     meta_file.write(
    43. 

  43.         '  <item name="country" isRequired="true" enum="[&quot;Poland&quot;, &quot;Germany&quot;, &quot;Vietnam&quot;]"/>' + "\n")
    44. 

  44.     meta_file.write(
    45. 

  45.         '  <item name="region" enum="[&quot;Upper Silesia&quot;, &quot;Gross Schoenebeck&quot;, &quot;Legnica-Glogow Copper District&quot;, &quot;Niedzica&quot;, &quot;Quang Nam Province&quot;]"/>' + "\n")
    46. 

  46.     meta_file.write(
    47. 

  47.         '  <item name="positionType" isRequired="true" enum="[&quot;point&quot;, &quot;polygon&quot;]"/>' + "\n")
    48. 

  48.     meta_file.write(
    49. 

  49.         '  <item name="coordinateSystem" isRequired="true" enum="[&quot;LOCAL:POL001&quot;, &quot;WGS-84&quot;]"/>' + "\n")
    50. 

  50.     meta_file.write('  <item name="longitude" isRequired="true"/>' + "\n")
    51. 

  51.     meta_file.write('  <item name="latitude" isRequired="true"/>' + "\n")
    52. 

  52.     meta_file.write(starttime + "\n")
    53. 

  53.     meta_file.write(endtime + "\n")
    54. 

  54.     meta_file.write(event_id + "\n")
    55. 

  55.     meta_file.write('  <item name="itemType" readOnly="true"/>' + "\n")
    56. 

  56.     meta_file.write('  <item name="name" readOnly="true"/>' + "\n")
    57. 

  57.     meta_file.write('  <item name="path" readOnly="true"/>' + "\n")
    58. 

  58.     meta_file.write(
    59. 

  59.         '  <item name="dataType" enum="[&quot; &quot;, &quot;Accelerogram Miniseed Signal&quot;, &quot;Accelerogram Seed Signal&quot;, &quot;Air Quality&quot;, &quot;Air Stations&quot;, &quot;Atmospheric Pressure&quot;, &quot;Bottomhole Pressure&quot;, &quot;Catalog&quot;, &quot;Chemical Water Properties - site visit&quot;, &quot;Cumulative Injection&quot;, &quot;Episode Image&quot;, &quot;Episode Logo&quot;, &quot;Episode XML&quot;, &quot;Faults&quot;, &quot;Flowback Bottomhole Pressure&quot;, &quot;Flowback Rate&quot;, &quot;Flowback Volume&quot;, &quot;Geoarea&quot;, &quot;Ground Motion Catalog&quot;, &quot;Ground Motion Network&quot;, &quot;Injection Rate&quot;, &quot;Injection Volume&quot;, &quot;Mining Front Advance&quot;, &quot;Mining Polygon Advance&quot;, &quot;Miniseed Signal&quot;, &quot;Mine Area&quot;, &quot;Physical Water Properties - site visit&quot;, &quot;Physicochemical Water Properties&quot;, &quot;Physicochemical Water Properties - site visit&quot;, &quot;Powerplant Position&quot;, &quot;Proppant Concentration&quot;, &quot;Radon 222 Concentration&quot;, &quot;Ray Tracing Angles&quot;, &quot;Seed Signal&quot;, &quot;Seismic Network&quot;, &quot;Shapefile&quot;, &quot;Shear Wave Velocity&quot;, &quot;Shoreline&quot;, &quot;Steam production&quot;, &quot;Velocity Model&quot;, &quot;Water Lab Analyses&quot;, &quot;Water Level&quot;, &quot;Water Stations&quot;, &quot;Water Volume&quot;, &quot;Well Path&quot;, &quot;Well Position&quot;, &quot;Wellhead Pressure&quot;]"/>' + "\n")
    60. 

  60.     meta_file.write(
    61. 

  61.         '  <item name="impactingFactor" isRequired="true" enum="[&quot;underground mining&quot;, &quot;geothermal energy production&quot;, &quot;reservoir impoundment&quot;]"/>' + "\n")
    62. 

  62.     meta_file.write(
    63. 

  63.         '  <item name="type" enum="[&quot;data relevant for the considered hazards&quot;, &quot;seismic&quot;, &quot;water quality&quot;, &quot;air quality&quot;, &quot;satellite&quot;, &quot;industrial&quot;, &quot;geodata&quot;]"/>' + "\n")
    64. 

  64.     meta_file.write('  <item name="auxiliary" enum="[&quot;1&quot;]"/>' + "\n")
    65. 

  65.     meta_file.write(
    66. 

  66.         '  <item name="allowedDownload" isRequired="true" enum="[&quot;SHEER&quot;, &quot;EPOS-IP&quot;, &quot;all&quot;, &quot;affiliated&quot;]"/>' + "\n")
    67. 

  67.     meta_file.write(
    68. 

  68.         '  <item name="allowedVisibility" isRequired="true" enum="[&quot;SHEER&quot;, &quot;EPOS-IP&quot;, &quot;all&quot;, &quot;affiliated&quot;]"/>' + "\n")
    69. 

  69.     meta_file.write('  <item name="dataPolicy" isRequired="true"/>' + "\n")
    70. 

  70.     meta_file.write('</metadata>' + "\n")
    71. 

  71. 

  72. if __name__ == "__main__":
    73. 

  73. 

  74.     ## Wszystkie inputy za jednym razem
    75. 

  75.     # Podaj sciezke do katalogu roboczego
    76. 

  76.     working_directory = input('Podaj sciezke gdzie znajduja sie wszystkie pliki.' + '\n')
    77. 

  77. 

  78.     # Sprawdzenie czy podana lokalizacja folderu roboczego istnieje, jesli nie, próba wykonania skryptu w obecnej lokalizacji
    79. 

  79.     if os.path.isdir(working_directory):
    80. 

  80.         # Zmiana folderu roboczego
    81. 

  81.         os.chdir(working_directory)
    82. 

  82.     else:
    83. 

  83.         # Wypisz w konsoli komunikat
    84. 

  84.         print('Podana lokalizacja nie jest poprawna, sprobuje wykonac skrypt w lokalizacji gdzie znajdujde sie plik skryptu.')
    85. 

  85. 

  86. 

  87.     # Numer pierwszego sygnalu
    88. 

  88.     first_signal_no = 0
    89. 

  89.     # Numer ostatniego sygnalu
    90. 

  90.     last_signal_no = 9999999
    91. 

  91. 

  92.     #Prealokacja zmiennej dla katalogu seismo
    93. 

  93.     catalog_name = ''
    94. 

  94.     i = 0
    95. 

  95.     # Petla sprawdzajaca czy podany plik katalogu istnieje
    96. 

  96.     while not os.path.exists(catalog_name):
    97. 

  97.         # Podaj nazwe piku z katalogiem
    98. 

  98.         catalog_name = input('Podaj pelna nazwe pliku z katalogiem.' + '\n')
    99. 

  99. 

  100.         # Jesli podanie nazwy zostalo pominiete, znajdz plik w folderze roboczym
    101. 

  101.         if catalog_name == '':
    102. 

  102.             catalog_name = [f for f in os.listdir() if f[-12:].lower() == '_catalog.mat'][0]
    103. 

  103.         i += 1
    104. 

  104.         if i == 10:
    105. 

  105.             raise ValueError(
    106. 

  106.                 'Nie udalo Ci sie podac poprawnej nazwy katalogu az 10 razy, w podanym folderze tez nie ma tego pliku.'
    107. 

  107.                 ' Sprawdz czy wszystko jest ok.')
    108. 

  108. 

  109.     # Prealokacja zmiennej dla katalogu seismo
    110. 

  110.     acc_catalog_name = ''
    111. 

  111.     i = 0
    112. 

  112.     # Petla sprawdzajaca czy podany plik katalogu istnieje
    113. 

  113.     while not os.path.exists(acc_catalog_name):
    114. 

  114.         # Podaj nazwe piku z katalogiem
    115. 

  115.         acc_catalog_name = input('Podaj pelna nazwe pliku z ground motion katalogiem.' + '\n')
    116. 

  116. 

  117.         # Jesli podanie nazwy zostalo pominiete, znajdz plik w folderze roboczym
    118. 

  118.         if acc_catalog_name == '':
    119. 

  119.             acc_catalog_name = [f for f in os.listdir() if f[-14:].lower() == '_gmcatalog.mat'][0]
    120. 

  120.         i += 1
    121. 

  121.         if i == 10:
    122. 

  122.             raise ValueError(
    123. 

  123.                 'Nie udalo Ci sie podac poprawnej nazwy ground motion katalogu az 10 razy, w podanym folderze tez nie ma tego pliku.'
    124. 

  124.                 ' Sprawdz czy wszystko jest ok.')
    125. 

  125. 

  126.     # Podaj nazwe publikacji w CIBIS
    127. 

  127.     try:
    128. 

  128.         cibis_publication_no = int(input('Podaj numer publikacji CIBIS.' + '\n'))
    129. 

  129.     except ValueError:
    130. 

  130.         cibis_publication_no = 1
    131. 

  131.         print('Podana wartosc nie jest liczba. Wartosc ustawiona na 1.')
    132. 

  132. 

  133.     # Parsowanie catalogu
    134. 

  134.     parsed_catalog = parse_catalog(catalog_name)
    135. 

  135.     acc_parsed_catalog = parse_catalog(acc_catalog_name)
    136. 

  136. 

  137.     #Prealokacja zmiennej dla typu magnitudy
    138. 

  138.     magnitude_type = None
    139. 

  139.     #Petla sprawdzajaca czy typ magnitudy jest poprawnie wpisanyw
    140. 

  140.     while not magnitude_type in ('ml','mw'):
    141. 

  141.         magnitude_type = input('Wykorzystac mw czy ml? Wpisz mw lub ml.' + '\n')
    142. 

  142. 

  143.     try:
    144. 

  144.         parsed_catalog[magnitude_type]
    145. 

  145.     except KeyError:
    146. 

  146.         print('W katalogu nie ma magnitudy ', magnitude_type,
    147. 

  147.               '. Spróbuję ustawić magnitudę mw, jeśli program się wysypie to sprawdź katalog. ')
    148. 

  148.         magnitude_type = 'mw'
    149. 

  149. 

  150. 

  151. 

  152. 

  153. 

  154.     # Lista plikow seed w katalogu, zawężona do plikow o numerach wiekszych lub rownych numerowi poczatkowemu i
    155. 

  155.     #  mniejszych lub rownych numerowi koncowemu
    156. 

  156.     file_list = [f for f in os.listdir() if f[-5:] == '.seed' and
    157. 

  157.                  int(f[-11:-5]) >= first_signal_no and
    158. 

  158.                  int(f[-11:-5]) <= last_signal_no]
    159. 

  159. 

  160.     for file in file_list:
    161. 

  161.         # Przeczytaj plik seed
    162. 

  162.         seed_file = obspy.read(file)
    163. 

  163.         # Tworzenie pliku metadanych
    164. 

  164.         metadata_file = open(''.join([file, '_', str(cibis_publication_no), '.metadata']), mode='w')
    165. 

  165.         # Uzyskanie earthquake id z XMLa
    166. 

  166.         earthquake_id = acc_parsed_catalog['eid'][[ i for i,rid in enumerate(acc_parsed_catalog['rid']) if rid[0][:-5] == file[:-5]][0]][0]
    167. 

  167.         # Pobierz magnitude z katalogu
    168. 

  168.         magnitude = parsed_catalog[magnitude_type][parsed_catalog['id'].index(earthquake_id)]
    169. 

  169.         # Pobierz date z katalogu, format matlabowy
    170. 

  170.         matlab_datenum = parsed_catalog['time'][parsed_catalog['id'].index(earthquake_id)]
    171. 

  171.         # Skonwertuj date z formatu matlabowego na pythonowy
    172. 

  172.         date_of_eq =  datetime.fromordinal(int(matlab_datenum)) + timedelta(days=matlab_datenum%1) - timedelta(days = 366)
    173. 

  173. 

  174.         if magnitude_type == 'ml':
    175. 

  175.             description_magnitude_type = ' with ML='
    176. 

  176.         else:
    177. 

  177.             description_magnitude_type = ' with Mw='
    178. 

  178. 

  179.         # Stworz linijke description
    180. 

  180.         description = ''.join(['  <item name="description">','Signal of event (trigger accelerogram) which occurred on ',
    181. 

  181.                                date_of_eq.strftime('%Y-%b-%d %X'), description_magnitude_type,
    182. 

  182.                                str(magnitude), ' (eventID=', earthquake_id, ')', '</item>'])
    183. 

  183.         # Stworz linijke starttime
    184. 

  184.         starttime = ''.join(['  <item name="start">',seed_file[0].stats.starttime.strftime('%Y%m%d%H%M%S.3Z'),'</item>'])
    185. 

  185.         # Stworz linijke endtime
    186. 

  186.         endtime = ''.join(['  <item name="end">', seed_file[0].stats.endtime.strftime('%Y%m%d%H%M%S.3Z'), '</item>'])
    187. 

  187.         # Stworz linijke event_id
    188. 

  188.         event_id = ''.join(['  <item name="eventID">',earthquake_id,'</item>'])
    189. 

  189. 

  190.         # Zapisz wszystko do pliku
    191. 

  191.         write_metadata_file(metadata_file,description,starttime,endtime,event_id)
    192. 

  192. 

  193.         #Zamknij plik
    194. 

  194.         metadata_file.close()
    195. 

  195. 

  196. input('Udalo sie! Wcisnij enter aby zamknac okno.')
    197.