Memory usage: ▁▄▄▇▁▁▃▂▃▁▃▁▁▃▁▁▃▁▁▁▁▁▁▁▁▂▅ (max: 93.248 MB, growth rate: 23%)
/projects/gedi-subsetter/src/gedi_subset/maapx.py: % of time = 17.20% (32.195s) out of 3m:7.179s.
╷ ╷ ╷ ╷ ╷ ╷ ╷ ╷
│Time │–––––– │–––––– │Memory │–––––– │––––––––––– │Copy │
Line │Python │native │system │Python │peak │timeline/% │(MB/s) │/projects/gedi-subsetter/src/gedi_subset/maapx.py
╺━━━━━━┿━━━━━━━┿━━━━━━━┿━━━━━━━┿━━━━━━━━┿━━━━━━━┿━━━━━━━━━━━━━━━┿━━━━━━━┿━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╸
... │ │ │ │ │ │ │ │
107 │ │ 10% │ 7% │ 59% │ 33M │▁▁▁▁▁▁▁▁▁ 10% │ 6 │ return impure_safe(granule.getData)(todir)
... │ │ │ │ │ │ │ │
│ │ │ │ │ │ │ │
╶──────┼───────┼───────┼───────┼────────┼───────┼───────────────┼───────┼─────────────────────────────────────────────────────────╴
│ │ │ │ │ │ │ │function summary for /projects/gedi-subsetter/src/gedi_…
79 │ │ 10% │ 7% │ 59% │ 33M │██████▁▁▁ 10% │ 6 │download_granule
╵ ╵ ╵ ╵ ╵ ╵ ╵ ╵
Top PEAK memory consumption, by line:
(1) 107: 33 MB
/projects/gedi-subsetter/src/gedi_subset/gedi_utils.py: % of time = 12.99% (24.315s) out of 3m:7.179s.
╷ ╷ ╷ ╷ ╷ ╷ ╷ ╷
│Time │–––––– │–––––– │Memory │–––––– │––––––––––– │Copy │
Line │Python │native │system │Python │peak │timeline/% │(MB/s) │/projects/gedi-subsetter/src/gedi_subset/gedi_utils.py
╺━━━━━━┿━━━━━━━┿━━━━━━━┿━━━━━━━┿━━━━━━━━┿━━━━━━━┿━━━━━━━━━━━━━━━┿━━━━━━━┿━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╸
... │ │ │ │ │ │ │ │
51 │ 6% │ 2% │ 2% │ 58% │ 51M │▁▁▁▁▁ 2% │ 53 │ return impure_safe(gdf.to_file)(file, **props)
... │ │ │ │ │ │ │ │
59 │ │ │ │ 65% │ 10M │▁ │ 4 │ return impure_safe(gdf.to_parquet)(path)
... │ │ │ │ │ │ │ │
64 │ │ │ │ 58% │ 10M │▁ │ 2 │ return impure_safe(gpd.read_parquet)(path)
... │ │ │ │ │ │ │ │
367 │ │ 2% │ │ 16% │ 80M │▁▁▁▁▁▁▂▁▁ 19% │ 1 │ geometry = gpd.points_from_xy(df[lon_col], df[la
... │ │ │ │ │ │ │ │
371 │ │ │ │ 15% │ 159M │▁▁▂▂▁▁▁▂▁ 44% │ 7 │ return cast(gpd.GeoDataFrame, gdf.clip(aoi))
... │ │ │ │ │ │ │ │
│ │ │ │ │ │ │ │
╶──────┼───────┼───────┼───────┼────────┼───────┼───────────────┼───────┼─────────────────────────────────────────────────────────╴
│ │ │ │ │ │ │ │function summary for /projects/gedi-subsetter/src/gedi_…
41 │ 6% │ 2% │ 2% │ 58% │ 51M │█████ 2% │ 53 │gdf_to_file
54 │ │ │ │ 65% │ 10M │▁ │ 4 │gdf_to_parquet
62 │ │ │ │ 58% │ 10M │▂ │ 2 │gdf_read_parquet
363 │ │ 2% │ │ 15% │ 159M │█████████ 63% │ 11 │subset_hdf5.<locals>.subset_beam
╵ ╵ ╵ ╵ ╵ ╵ ╵ ╵
Top AVERAGE memory consumption, by line:
(1) 64: 10 MB
Top PEAK memory consumption, by line:
(1) 371: 159 MB
(2) 367: 80 MB
(3) 51: 51 MB
(4) 59: 10 MB
(5) 64: 10 MB
/projects/gedi-subsetter/src/gedi_subset/h5frame.py: % of time = 7.11% (13.308s) out of 3m:7.179s.
╷ ╷ ╷ ╷ ╷ ╷ ╷ ╷
│Time │–––––– │–––––– │Memory │–––––– │––––––––––– │Copy │
Line │Python │native │system │Python │peak │timeline/% │(MB/s) │/projects/gedi-subsetter/src/gedi_subset/h5frame.py
╺━━━━━━┿━━━━━━━┿━━━━━━━┿━━━━━━━┿━━━━━━━━┿━━━━━━━┿━━━━━━━━━━━━━━━┿━━━━━━━┿━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╸
... │ │ │ │ │ │ │ │
245 │ │ │ 3% │ 8% │ 20M │▁▁ │ 23 │ column = pd.Series(data, dtype=value.dtype)
246 │ │ │ │ 26% │ 84M │▁▁▁▁▁▁▁▁▁ 19% │ 11 │ self.root.insert(len(self.root.columns), nam
... │ │ │ │ │ │ │ │
│ │ │ │ │ │ │ │
╶──────┼───────┼───────┼───────┼────────┼───────┼───────────────┼───────┼─────────────────────────────────────────────────────────╴
│ │ │ │ │ │ │ │function summary for /projects/gedi-subsetter/src/gedi_…
226 │ 1% │ │ 3% │ 25% │ 84M │█████████ 20% │ 34 │H5DataFrame.__wrap_item
╵ ╵ ╵ ╵ ╵ ╵ ╵ ╵
Top PEAK memory consumption, by line:
(1) 246: 84 MB
(2) 245: 20 MB
/projects/gedi-subsetter/src/gedi_subset/subset.py: % of time = 0.93% (1.747s) out of 3m:7.179s.
╷ ╷ ╷ ╷ ╷ ╷ ╷ ╷
│Time │–––––– │–––––– │Memory │–––––– │––––––––––– │Copy │
Line │Python │native │system │Python │peak │timeline/% │(MB/s) │/projects/gedi-subsetter/src/gedi_subset/subset.py
╺━━━━━━┿━━━━━━━┿━━━━━━━┿━━━━━━━┿━━━━━━━━┿━━━━━━━┿━━━━━━━━━━━━━━━┿━━━━━━━┿━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╸
... │ │ │ │ │ │ │ │
11 │ │ │ │ 99% │ 30M │▁▁▁ 1% │ 3 │import geopandas as gpd
... │ │ │ │ │ │ │ │
14 │ │ │ │ 98% │ 40M │▁▁▁▁ 2% │ 2 │from maap.maap import MAAP
... │ │ │ │ │ │ │ │
365 │ │ │ │ 85% │ 10M │▁ │ 1 │ for granules in impure_safe(maap.searchGranule)(
... │ │ │ │ │ │ │ │
│ │ │ │ │ │ │ │
╶──────┼───────┼───────┼───────┼────────┼───────┼───────────────┼───────┼─────────────────────────────────────────────────────────╴
│ │ │ │ │ │ │ │function summary for /projects/gedi-subsetter/src/gedi_…
╵ ╵ ╵ ╵ ╵ ╵ ╵ ╵
Top PEAK memory consumption, by line:
(1) 14: 40 MB
(2) 11: 30 MB
(3) 365: 10 MB
generated by the scalene profiler