vylepseni logiky selekce dieselu

Author: adam-prokop

kod/preprocessing.py

@@ -674,7 +674,7 @@ def parse_mereni(element, namespaces):
     rizeny_obd_element = safe_find(emisni_system_element, 'm:rizenyOBD', namespaces)
     rizeny_element = safe_find(emisni_system_element, 'm:rizeny', namespaces)
     nerizeny_element = safe_find(emisni_system_element, 'm:nerizeny', namespaces)
-    emise_record['EmisniSystem'] = "Rizeny_Obd" if rizeny_obd_element is not None else "Rizeny" if rizeny_element is not None else "Nerizeny" if nerizeny_element is not None else None
+    emise_record['EmisniSystem'] = 'Rizeny_Obd' if rizeny_obd_element is not None else 'Rizeny' if rizeny_element is not None else 'Nerizeny' if nerizeny_element is not None else None
     emise_record['Obd_KomunikacniProtokol'] = safe_get(rizeny_obd_element, 'm:komunikacniProtokol', namespaces)
     emise_record['Obd_Vin'] = safe_get(rizeny_obd_element, 'm:VIN', namespaces)
     emise_record['Obd_PocetDtc'] = safe_get(rizeny_obd_element, 'm:pocetDTC', namespaces) if not None else safe_get(rizeny_element, 'm:pocetDTC', namespaces)
@@ -714,8 +714,6 @@ def parse_mereni(element, namespaces):
 def parse_to_parquet(source_dir, file_parser, no_threads, verbosity, delete):
     # Vyhledání souborů pro parsování
     xml_files = sorted(list(source_dir.glob('*.xml')), key=date_from_file_path)
-    # if not xml_files:
-    #     raise FileNotFoundError(f'Žádně .xml soubory nebyly nalezeny v {source_dir}.')
     if verbosity > Verbosity.QUIET:
         print(f'Nalezeno {len(xml_files)} .xml souborů. Spouštím {no_threads} vláken.')
 
@@ -903,37 +901,33 @@ def parse_measurements_to_parquet(dataset_dir, measurements_subdir, no_threads,
 
 #--------------------------------------------------------------------------------------------------------------
 
-def split_measurements(mereni_dir, diesel_personal_dir, verbosity):
+def split_measurements(mereni_dir, diesel_dir, verbosity):
     source_files = list(mereni_dir.iterdir())
     if verbosity > Verbosity.QUIET:
         print(f'Nalezeno {len(source_files)} souborů obsahující data o měření. Zahajuji jejich filtrování')
 
-    create_directory(diesel_personal_dir, verbosity)
+    create_directory(diesel_dir, verbosity)
 
     for file in source_files:
         # Přeskočení souboru, pokud už byl zpracován
-        target_file = diesel_personal_dir / file.name
+        target_file = diesel_dir / file.name
         if skip_file(target_file, verbosity):
             continue
 
         df = pl.read_parquet(file, schema=mereni_schema)
 
-        j1939_cols = [name for name in mereni_schema.keys() if 'J1939' in name]
         obd_zazeh_cols = [name for name in mereni_schema.keys() if 'Obd_Readiness_Zazeh' in name]
-        # Podmínka pro záznam osobního dieselového vozidla
-        diesel_personal_cond = [
-            # Alespoň jedno výústění dieselu bylo změřeno (a žádné vyústění jiného pohonu neměřeno)
-            pl.col('Benzin_PocetVyusteni').eq('0') & pl.col('Nafta_PocetVyusteni').ne('0') & pl.col('Plyn_PocetVyusteni').eq('0'),
-            # U diagnostických chybových kódů pro užitková vozidla nebyl proveden pokus o testování
-            pl.all_horizontal(pl.col(j1939_cols).is_null()),
-            # U diagnostických chybových kódů pro zážehová vozidla nebyl proveden pokus o testování
-            pl.all_horizontal(pl.col(obd_zazeh_cols).is_null())
-        ]
+        obd_vznet_cols = [name for name in mereni_schema.keys() if 'Obd_Readiness_Vznet' in name]
+        obd_j1939_cols = [name for name in mereni_schema.keys() if 'Obd_Readiness_J1939' in name]
 
         # Sloupce, které nesou význam pro naftová vozidla
         diesel_columns = nafta_schema.keys()
-
-        df_diesel_personal = df.filter(diesel_personal_cond).select(diesel_columns)
+        # Vytvoření datasetu pro dieselová vozidla
+        df_diesel_personal = (df.filter(pl.col('Vozidlo_Palivo').str.to_lowercase().is_in(['nm', 'n']))
+                              .with_columns(pl.any_horizontal(pl.col(obd_j1939_cols).is_not_null()).cast(pl.String).alias('Obd_Readiness_J1939_Pritomno'),
+                                            pl.any_horizontal(pl.col(obd_zazeh_cols).is_not_null()).cast(pl.String).alias('Obd_Readiness_Zazeh_Pritomno'))
+                              .select(diesel_columns)
+        )
         df_diesel_personal.write_parquet(target_file)
 
         # Oznámění úspěchu uživateli
@@ -968,20 +962,20 @@ def split_measurements(mereni_dir, diesel_personal_dir, verbosity):
     ADR_TYPE_SUBDIR = 'adr_typy'
     MEASUREMENTS_ALL_SUBDIR = 'mereni_all'
     NO_PARSE_PROCESSES = 4
-    DIESEL_PERSONAL_SUBDIR = 'nafta_osobni'
+    DIESEL_SUBDIR = 'nafta_osobni'
 
 
     explain_verbosity(VERBOSITY)
 
-    # print('——————————————————————————————————PROHLÍDKY VOZIDEL STK A SME:——————————————————————————————————\n')
-    # downloaded_inspection_dates = downloaded_dates([INSPECTIONS_DIR / 'gz', INSPECTIONS_DIR / 'xml', INSPECTIONS_DIR / 'parquet' / INSPECTIONS_SUBDIR])
-    # download_files(INSPECTIONS_DIR / 'gz', PARENT_DATASET_INSPECTIONS, START_DATE, END_DATE, downloaded_inspection_dates, NO_DOWNLOAD_THREADS, MAX_DOWNLOAD_ATTEMPTS, verbosity=VERBOSITY)
-    # extract_files(INSPECTIONS_DIR / 'gz', INSPECTIONS_DIR / 'xml', NO_EXTRACT_THREADS, verbosity=VERBOSITY)
-    # parse_inspections_to_parquet(INSPECTIONS_DIR, INSPECTIONS_SUBDIR, DEFECTS_SUBDIR, ACTIONS_SUBDIR, ADR_TYPE_SUBDIR, NO_PARSE_PROCESSES, VERBOSITY)
-
-    # print('\n——————————————————————————————————DATA Z MĚŘÍCÍCH PŘÍSTROJŮ:——————————————————————————————————\n')
-    # downloaded_measurement_dates = downloaded_dates([MEASUREMENTS_DIR / 'gz', MEASUREMENTS_DIR / 'xml', MEASUREMENTS_DIR / 'parquet' / MEASUREMENTS_ALL_SUBDIR])
-    # download_files(MEASUREMENTS_DIR / 'gz', PARENT_DATASET_MEASUREMENTS, START_DATE, END_DATE, downloaded_measurement_dates, NO_DOWNLOAD_THREADS, MAX_DOWNLOAD_ATTEMPTS, verbosity=VERBOSITY)
-    # extract_files(MEASUREMENTS_DIR / 'gz', MEASUREMENTS_DIR / 'xml', NO_EXTRACT_THREADS, verbosity=VERBOSITY)
-    # parse_measurements_to_parquet(MEASUREMENTS_DIR, MEASUREMENTS_ALL_SUBDIR, NO_PARSE_PROCESSES, VERBOSITY, False)
-    split_measurements(MEASUREMENTS_DIR / 'parquet' / MEASUREMENTS_ALL_SUBDIR, MEASUREMENTS_DIR / 'parquet' / DIESEL_PERSONAL_SUBDIR, VERBOSITY)
+    print('——————————————————————————————————PROHLÍDKY VOZIDEL STK A SME:——————————————————————————————————\n')
+    downloaded_inspection_dates = downloaded_dates([INSPECTIONS_DIR / 'gz', INSPECTIONS_DIR / 'xml', INSPECTIONS_DIR / 'parquet' / INSPECTIONS_SUBDIR])
+    download_files(INSPECTIONS_DIR / 'gz', PARENT_DATASET_INSPECTIONS, START_DATE, END_DATE, downloaded_inspection_dates, NO_DOWNLOAD_THREADS, MAX_DOWNLOAD_ATTEMPTS, verbosity=VERBOSITY)
+    extract_files(INSPECTIONS_DIR / 'gz', INSPECTIONS_DIR / 'xml', NO_EXTRACT_THREADS, verbosity=VERBOSITY)
+    parse_inspections_to_parquet(INSPECTIONS_DIR, INSPECTIONS_SUBDIR, DEFECTS_SUBDIR, ACTIONS_SUBDIR, ADR_TYPE_SUBDIR, NO_PARSE_PROCESSES, VERBOSITY, False)
+
+    print('\n——————————————————————————————————DATA Z MĚŘÍCÍCH PŘÍSTROJŮ:——————————————————————————————————\n')
+    downloaded_measurement_dates = downloaded_dates([MEASUREMENTS_DIR / 'gz', MEASUREMENTS_DIR / 'xml', MEASUREMENTS_DIR / 'parquet' / MEASUREMENTS_ALL_SUBDIR])
+    download_files(MEASUREMENTS_DIR / 'gz', PARENT_DATASET_MEASUREMENTS, START_DATE, END_DATE, downloaded_measurement_dates, NO_DOWNLOAD_THREADS, MAX_DOWNLOAD_ATTEMPTS, verbosity=VERBOSITY)
+    extract_files(MEASUREMENTS_DIR / 'gz', MEASUREMENTS_DIR / 'xml', NO_EXTRACT_THREADS, verbosity=VERBOSITY)
+    parse_measurements_to_parquet(MEASUREMENTS_DIR, MEASUREMENTS_ALL_SUBDIR, NO_PARSE_PROCESSES, VERBOSITY, False)
+    split_measurements(MEASUREMENTS_DIR / 'parquet' / MEASUREMENTS_ALL_SUBDIR, MEASUREMENTS_DIR / 'parquet' / DIESEL_SUBDIR, VERBOSITY)

kod/schemas.py

@@ -528,4 +528,9 @@
     'Nafta_Mereni3_OtackyVolnobezne_Vysledek': pl.String,
     'Nafta_Mereni3_Teplota_Hodnota': pl.String,
     'Nafta_Mereni3_Teplota_Vysledek': pl.String,
+    # Pro kontrolu validity dat
+    'Benzin_PocetVyusteni': pl.String,
+    'Plyn_PocetVyusteni': pl.String,
+    'Obd_Readiness_J1939_Pritomno': pl.String,
+    'Obd_Readiness_Zazeh_Pritomno': pl.String,
 }

kod/utils.py

@@ -31,7 +31,7 @@ def create_directory(dir_name, verbosity):
 def delete_path(path, verbosity):
     if path.is_dir():
         if verbosity > Verbosity.QUIET:
-            print(f'Mažu: "{path}".')
+            print(f'\nMažu: "{path}".')
         path.rmdir()
     else:
         if verbosity > Verbosity.NORMAL:
@@ -80,7 +80,7 @@ def cast_mereni(df):
         pl.col('Vysledek_TesnostPlynovehoZarizeni').replace_strict(bool_map, return_dtype=pl.Boolean),
         pl.col('Vysledek_Vyhovuje').replace_strict(bool_map, return_dtype=pl.Boolean),
         pl.col('PristiProhlidka').str.replace(r'T.*', '').cast(pl.Date),
-        pl.col('EmisniSystem').cast(pl.Enum('Nerizeny', 'Rizeny', 'Rizeny_Obd'))
+        pl.col('EmisniSystem').cast(pl.Enum(['Nerizeny', 'Rizeny', 'Rizeny_Obd'])),
         pl.col('Obd_PocetDtc').cast(pl.Int32),
         pl.col('Obd_VzdalenostDtc').cast(pl.Int32),
         pl.col('Obd_CasDtc').cast(pl.Int32),
@@ -90,6 +90,22 @@ def cast_mereni(df):
         # Skupiny sloupců
         pl.col('^.*(RucniZadani|Podporovano|Otestovano)$').replace_strict(bool_map, return_dtype=pl.Boolean),
         pl.col('^.*Hodnota$').str.strip_chars().cast(pl.Float32),
-        pl.col('^.*Vysledek$').exclude('Obd_Readiness_Vysledek').cast(pl.Int8)
+        pl.col('^.*Vysledek$').exclude('Obd_Readiness_Vysledek').cast(pl.Int8),
+        pl.col('^.*Pritomno$').replace_strict(bool_map, return_dtype=pl.Boolean),
     ])
 
+
+# Konverze času v sekundách na string v přirozeném formátu
+def sec_to_hms(x, _):
+    result = ''
+    if x <= 0:
+        x = -x
+        result = result + '- '
+    h = int(x // 3600)
+    m = int((x % 3600) // 60)
+    s = int(x % 60)
+    if h > 0:
+        return result + f"{h}h {m}m"
+    if m > 0:
+        return result + f"{m}m {s}s"
+    return result + f"{s}s"

poznamky/TODO

@@ -1,13 +1,16 @@
 automaticke stazeni a zpracovani stanic stk a sme
 cast datatype strict false
-ukladani v id forme a nasledne prevedeni zpet
+; ukladani v id forme a nasledne prevedeni zpet
 popsat nekonzistence v datech
     - OBD_Readiness neodpovidajici typu paliva
     - Prazdne protokoly - ma pohon na jednu vec pro vic veci
-dostat rozparsovane do pozadovaneho formatu
+; dostat rozparsovane do pozadovaneho formatu
 pocet mereni u nafty pridat
 k nafte pridat vozidla, ktera maji nevalidni zaznamy - neuspech
-sjednotit vypisi pri spusteni celeho
+sjednotit vypisy pri spusteni celeho
+feature engineering - delka misto konce - zacatek zda svatek, rocni obdobi, cas dne
+lepe oddelit uzitkova vozidla - hodne traktoru
+
 
 ANALYZOVAT:
 zda se v case zlepsuje compliance
@@ -48,12 +51,11 @@ minimalni a maximalni hodnoty jenom nekde - viz notebooklm
 slouceny vyusteni - V žádné z větví nesmí být překročeny povolené limity, výsledné hodnoty do protokolu o měření emisí vozidel se uvádějí pro každou z měřených veličin nepříznivější vůči limitu.
     ruzne strategie pro slouceni
 vycleneny nakladaky s J1939 protokolem (az na vyjimky jako dodavky s motorem homologovanym pro nakaladaky predstavuje spolehlive rozlisovaci kriterium)
-vyfiltrovany diesely - prazdne bude potreba pridat
+vyfiltrovany diesely - na zaklade reportu n, nm
 
 
 Metodika rozlišuje 4 hlavní kategorie vozidel podle toho, jak kombinují zdroje energie:
 1. Vícepalivová (Bi-fuel): Nejčastější typ (Benzín + LPG/CNG). Má dvě oddělené nádrže a může přepínat paliva. Řízení funguje na principu Master-Slave, kde hlavní (benzínová) jednotka řídí tu plynovou,.
 2. Duální vozidla: Specifikum pro diesely s přidaným plynem. Motor běží vždy na naftu (základ) a plyn se pouze přidává do sání. Nelze jet čistě na plyn.
 3. Flexifuel: Vozidlo s jednou nádrží na proměnlivou směs paliv (typicky Benzín + Ethanol E85). Řídicí jednotka se sama přizpůsobí aktuálnímu složení.
 4. Hybridy (HEV): Spalovací motor + elektromotor. Pro emise je klíčový spalovací motor, který se často musí přepnout do speciálního servisního módu, aby běžel trvale,.
-Legislativní špek: Pokud má auto na plyn benzínovou nádrž menší než 15 litrů, papírově se bere jako jednopalivové.