[Perf] Regression in System.Linq.Tests.Perf_Enumerable.FirstWithPredicate_LastElementMatches

[DrewScoggins]

Run Information

Architecture	arm64
OS	ubuntu 18.04
Baseline	afa7e276d8f87c8b73d09b833b6b4066700ffa12
Compare	9102b07d846d812963420f022ce55ee1cbdb3b17

Regressions in System.Linq.Tests.Perf_Enumerable

Benchmark	Baseline	Test	Test/Base	Baseline IR	Compare IR	IR Ratio	Baseline ETL	Compare ETL
FirstWithPredicate_LastElementMatches	1.60 μs	3.08 μs	1.93

Historical Data in Reporting System

Repro

git clone https://github.com/dotnet/performance.git
python3 .\performance\scripts\benchmarks_ci.py -f netcoreapp5.0 --filter 'System.Linq.Tests.Perf_Enumerable*'

Details

.

Payloads

Baseline
Compare

Histogram

System.Linq.Tests.Perf_Enumerable.FirstWithPredicate_LastElementMatches(input: List)

[1514.849 ; 1673.967) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[1673.967 ; 1772.646) | 
[1772.646 ; 1931.764) | @@@@
[1931.764 ; 2113.590) | @
[2113.590 ; 2215.929) | 
[2215.929 ; 2301.000) | @@@@@@
[2301.000 ; 2460.118) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[2460.118 ; 2577.944) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[2577.944 ; 2737.062) | 
[2737.062 ; 2896.180) | 
[2896.180 ; 3011.661) | 
[3011.661 ; 3170.779) | @@@@@@@@@@@@@

Docs

Profiling workflow for dotnet/runtime repository
Benchmarking workflow for dotnet/runtime repository

I couldn't figure out the best area label to add to this issue. If you have write-permissions please help me learn by adding exactly one area label.

Tagging subscribers to this area: @eiriktsarpalis
See info in area-owners.md if you want to be subscribed.

Issue Details

---

Run Information

Architecture	arm64
OS	ubuntu 18.04
Baseline	afa7e276d8f87c8b73d09b833b6b4066700ffa12
Compare	9102b07d846d812963420f022ce55ee1cbdb3b17

Regressions in System.Linq.Tests.Perf_Enumerable

Benchmark	Baseline	Test	Test/Base	Baseline IR	Compare IR	IR Ratio	Baseline ETL	Compare ETL
FirstWithPredicate_LastElementMatches	1.60 μs	3.08 μs	1.93

Historical Data in Reporting System

Repro

git clone https://github.com/dotnet/performance.git
python3 .\performance\scripts\benchmarks_ci.py -f netcoreapp5.0 --filter 'System.Linq.Tests.Perf_Enumerable*'

Details

.

Payloads

Baseline
Compare

Histogram

System.Linq.Tests.Perf_Enumerable.FirstWithPredicate_LastElementMatches(input: List)

[1514.849 ; 1673.967) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[1673.967 ; 1772.646) | 
[1772.646 ; 1931.764) | @@@@
[1931.764 ; 2113.590) | @
[2113.590 ; 2215.929) | 
[2215.929 ; 2301.000) | @@@@@@
[2301.000 ; 2460.118) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[2460.118 ; 2577.944) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[2577.944 ; 2737.062) | 
[2737.062 ; 2896.180) | 
[2896.180 ; 3011.661) | 
[3011.661 ; 3170.779) | @@@@@@@@@@@@@

Docs

Profiling workflow for dotnet/runtime repository
Benchmarking workflow for dotnet/runtime repository

Author:	DrewScoggins
Assignees:	-
Labels:	arch-arm64, area-System.Linq, os-linux, tenet-performance, tenet-performance-benchmarks, untriaged
Milestone:	-

[eiriktsarpalis]

Could this be a noisy benchmark? On my machine benchmark runs for FirstWithPredicate_LastElementMatches(List) have a mean that fluctuates between 800-900ns for both the baseline and compared commits. There was no significant difference in the distribution characteristics between the two commits that I could pick up:

baseline afa7e27

Method	input	Mean	Error	StdDev	Median	Min	Max	Gen 0	Gen 1	Gen 2	Allocated
FirstWithPredicate_LastElementMatches	List	813.8 ns	66.22 ns	76.26 ns	813.1 ns	679.7 ns	935.7 ns	0.0028	-	-	40 B
FirstWithPredicate_LastElementMatches	List	848.3 ns	61.11 ns	70.38 ns	855.5 ns	686.6 ns	975.1 ns	0.0030	-	-	40 B
FirstWithPredicate_LastElementMatches	List	849.9 ns	34.71 ns	39.97 ns	853.9 ns	759.1 ns	907.6 ns	0.0032	-	-	40 B
FirstWithPredicate_LastElementMatches	List	825.9 ns	39.19 ns	45.14 ns	839.2 ns	748.3 ns	884.9 ns	0.0030	-	-	40 B
FirstWithPredicate_LastElementMatches	List	825.7 ns	38.87 ns	44.76 ns	822.7 ns	764.6 ns	921.6 ns	0.0031	-	-	40 B

compare 9102b07

Method	input	Mean	Error	StdDev	Median	Min	Max	Gen 0	Gen 1	Gen 2	Allocated
FirstWithPredicate_LastElementMatches	List	817.2 ns	48.88 ns	56.29 ns	802.2 ns	725.4 ns	921.5 ns	0.0034	-	-	40 B
FirstWithPredicate_LastElementMatches	List	829.9 ns	48.06 ns	55.34 ns	830.8 ns	738.3 ns	923.1 ns	0.0033	-	-	40 B
FirstWithPredicate_LastElementMatches	List	739.2 ns	58.87 ns	67.80 ns	697.6 ns	678.0 ns	903.2 ns	0.0031	-	-	40 B
FirstWithPredicate_LastElementMatches	List	874.5 ns	46.54 ns	53.60 ns	868.4 ns	793.5 ns	976.5 ns	0.0030	-	-	40 B
FirstWithPredicate_LastElementMatches	List	833.1 ns	32.62 ns	37.56 ns	831.1 ns	773.1 ns	888.6 ns	0.0032	-	-	40 B

[AndyAyersMS]

If you look at the graph or the BDN details you can see it is bimodal. But the range of the high/low results shifted up on Feb 26 and the implicated commit range is afa7e27...ee3f7da .

[eiriktsarpalis]

Right, I suppose the issue is that benchmark runs on my machine don't have this bimodality, so I can't really do a bisect to pinpoint the commit that introduced the regression as reported here.

[AndyAyersMS]

Note this regression is on arm64. I'm guessing maybe you tried to repro this on x64?

Longer-history view shows this really does look like new behavior.

Below is the linux x64 behavior over a similar time span. So this possibly something arm64 specific, and there may be some arm64 codegen changes in the range, possibly #48199. @echesakov any ideas?

[eiriktsarpalis]

Note this regression is on arm64. I'm guessing maybe you tried to repro this on x64?

You're right, I didn't even notice the architecture 🤦‍♂️

[AndyAyersMS]

@DrewScoggins maybe we should put arch/os on the charts somewhere? It is easy to overlook.

Also it sure would be nice to be able to see the "all arch / all os" view of a specific test history.

[DrewScoggins]

Yeah, we have the OS at the top of the issue, and I add the tag to the issue itself, but it couldn't hurt to add it directly above the graph.