[improve](move-memtable) reuse connection in load_stream_stub

[kaijchen]

Proposed changes

Reuse connection in LoadStreamStub::open() and hopefully fix the "Connection reset by peer" issue under heavy load.

[doris-robot]

Thank you for your contribution to Apache Doris.
Don't know what should be done next? See How to process your PR

Since 2024-03-18, the Document has been moved to doris-website.
See Doris Document.

[kaijchen]

run buildall

[github-actions]

clang-tidy review says "All clean, LGTM! 👍"

[doris-robot]

TPC-H: Total hot run time: 39664 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 0cb8584b2314e88cb163ae008b789aada8b0fbe7, data reload: false

------ Round 1 ----------------------------------
q1	17779	6674	4338	4338
q2	2042	206	198	198
q3	11525	1040	1102	1040
q4	10472	669	752	669
q5	7495	2543	2524	2524
q6	224	142	141	141
q7	966	607	613	607
q8	9306	1929	1936	1929
q9	8709	6606	6584	6584
q10	7016	2157	2250	2157
q11	462	256	256	256
q12	402	229	227	227
q13	18764	2980	2986	2980
q14	288	242	240	240
q15	528	491	508	491
q16	498	396	387	387
q17	1006	652	757	652
q18	8209	7500	7411	7411
q19	5758	974	1058	974
q20	678	328	350	328
q21	5376	4534	4672	4534
q22	1109	1029	997	997
Total cold run time: 118612 ms
Total hot run time: 39664 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4431	4246	4369	4246
q2	375	267	274	267
q3	2964	2787	2848	2787
q4	2027	1795	1723	1723
q5	5500	5418	5563	5418
q6	231	136	138	136
q7	2124	1755	1764	1755
q8	3303	3477	3413	3413
q9	8766	8968	8742	8742
q10	3504	3149	3247	3149
q11	639	505	511	505
q12	820	630	625	625
q13	17244	3147	3142	3142
q14	315	299	291	291
q15	533	495	487	487
q16	488	443	427	427
q17	1838	1535	1530	1530
q18	8217	8090	7866	7866
q19	1795	1647	1496	1496
q20	2070	1877	1856	1856
q21	9374	5205	5360	5205
q22	1124	1056	1005	1005
Total cold run time: 77682 ms
Total hot run time: 56071 ms

[doris-robot]

TPC-DS: Total hot run time: 202417 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 0cb8584b2314e88cb163ae008b789aada8b0fbe7, data reload: false

query1	1608	1491	1492	1491
query2	6333	1894	1824	1824
query3	14043	8325	314	314
query4	33847	23081	23126	23081
query5	4320	515	499	499
query6	286	164	171	164
query7	3942	294	294	294
query8	235	201	197	197
query9	8388	2493	2490	2490
query10	544	432	452	432
query11	15601	14931	15086	14931
query12	144	96	95	95
query13	1528	368	353	353
query14	10023	6982	7550	6982
query15	287	241	244	241
query16	7616	545	501	501
query17	1380	567	559	559
query18	1731	295	283	283
query19	205	160	143	143
query20	123	106	103	103
query21	208	106	105	105
query22	4476	4385	4197	4197
query23	34378	33507	33757	33507
query24	12096	2562	2559	2559
query25	626	362	372	362
query26	1652	155	151	151
query27	2698	286	290	286
query28	6964	2057	2051	2051
query29	1030	417	413	413
query30	251	153	145	145
query31	946	729	744	729
query32	90	53	54	53
query33	721	298	286	286
query34	868	465	470	465
query35	939	812	841	812
query36	1072	890	922	890
query37	204	85	84	84
query38	4286	4078	4153	4078
query39	1432	1419	1395	1395
query40	245	124	122	122
query41	48	45	45	45
query42	122	98	100	98
query43	499	457	449	449
query44	1262	746	743	743
query45	239	197	200	197
query46	1091	733	736	733
query47	1861	1771	1757	1757
query48	377	311	305	305
query49	956	425	452	425
query50	806	419	417	417
query51	6763	6752	6691	6691
query52	105	91	89	89
query53	263	189	188	188
query54	877	468	463	463
query55	77	79	75	75
query56	273	256	254	254
query57	1161	1054	1097	1054
query58	239	239	240	239
query59	2919	2770	2739	2739
query60	301	264	269	264
query61	118	111	115	111
query62	797	647	655	647
query63	213	189	185	185
query64	10359	2309	1808	1808
query65	3254	3168	3163	3163
query66	1221	338	344	338
query67	15277	14894	14879	14879
query68	6225	553	565	553
query69	457	424	433	424
query70	1233	1109	1109	1109
query71	588	288	281	281
query72	20126	16640	16488	16488
query73	809	330	330	330
query74	9154	8710	8697	8697
query75	4372	2697	2644	2644
query76	4399	975	987	975
query77	708	321	321	321
query78	9828	9192	8945	8945
query79	4287	521	524	521
query80	2853	515	498	498
query81	592	237	227	227
query82	1120	141	143	141
query83	298	151	152	151
query84	271	77	79	77
query85	1314	275	275	275
query86	430	312	302	302
query87	4751	4636	4489	4489
query88	5035	2489	2497	2489
query89	563	297	289	289
query90	2174	191	196	191
query91	123	94	127	94
query92	67	48	48	48
query93	6136	531	537	531
query94	1001	291	271	271
query95	358	256	270	256
query96	604	275	279	275
query97	3211	3097	3048	3048
query98	220	204	205	204
query99	1578	1262	1250	1250
Total cold run time: 333729 ms
Total hot run time: 202417 ms

[doris-robot]

ClickBench: Total hot run time: 30.65 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 0cb8584b2314e88cb163ae008b789aada8b0fbe7, data reload: false

query1	0.04	0.04	0.04
query2	0.07	0.04	0.04
query3	0.22	0.06	0.05
query4	1.66	0.08	0.08
query5	0.50	0.48	0.50
query6	1.12	0.73	0.72
query7	0.02	0.01	0.01
query8	0.06	0.04	0.04
query9	0.56	0.49	0.49
query10	0.53	0.53	0.54
query11	0.15	0.11	0.11
query12	0.15	0.12	0.12
query13	0.61	0.62	0.58
query14	0.76	0.78	0.77
query15	0.84	0.84	0.81
query16	0.35	0.37	0.36
query17	1.02	0.96	1.01
query18	0.23	0.22	0.22
query19	1.84	1.84	1.75
query20	0.01	0.01	0.01
query21	15.41	0.74	0.65
query22	4.78	6.83	2.04
query23	18.29	1.37	1.18
query24	2.12	0.21	0.22
query25	0.15	0.08	0.08
query26	0.30	0.21	0.20
query27	0.45	0.22	0.21
query28	13.30	1.01	0.99
query29	12.60	3.27	3.33
query30	0.24	0.05	0.05
query31	2.88	0.40	0.38
query32	3.26	0.48	0.47
query33	2.95	2.88	2.96
query34	16.94	4.39	4.40
query35	4.48	4.43	4.41
query36	0.66	0.50	0.47
query37	0.19	0.16	0.15
query38	0.15	0.15	0.16
query39	0.05	0.04	0.04
query40	0.16	0.12	0.13
query41	0.10	0.05	0.05
query42	0.05	0.05	0.05
query43	0.05	0.04	0.05
Total cold run time: 110.3 s
Total hot run time: 30.65 s

[kaijchen]

run buildall

[github-actions]

clang-tidy review says "All clean, LGTM! 👍"

[doris-robot]

TPC-H: Total hot run time: 39921 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 96028793274e5e6168c5ff5162b69a7ac5718c75, data reload: false

------ Round 1 ----------------------------------
q1	17918	4494	4301	4301
q2	2030	173	177	173
q3	10554	1206	1152	1152
q4	10156	644	815	644
q5	7792	2832	2800	2800
q6	222	138	142	138
q7	974	597	596	596
q8	9320	2053	2084	2053
q9	8805	6559	6598	6559
q10	7047	2274	2133	2133
q11	451	241	246	241
q12	389	223	216	216
q13	17792	2973	3028	2973
q14	292	236	229	229
q15	513	474	493	474
q16	506	390	374	374
q17	989	701	725	701
q18	8162	7486	7365	7365
q19	6165	1048	1005	1005
q20	671	321	337	321
q21	5404	4479	4655	4479
q22	1116	1011	994	994
Total cold run time: 117268 ms
Total hot run time: 39921 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4529	4243	4267	4243
q2	381	273	271	271
q3	2809	2638	2603	2603
q4	1890	1624	1648	1624
q5	5391	5417	5370	5370
q6	219	131	130	130
q7	1997	1678	1688	1678
q8	3196	3348	3352	3348
q9	8460	8401	8461	8401
q10	3357	3159	3128	3128
q11	596	504	510	504
q12	777	595	632	595
q13	17841	2972	2988	2972
q14	291	271	272	271
q15	514	483	462	462
q16	477	407	424	407
q17	1793	1464	1467	1464
q18	7751	7493	7302	7302
q19	1749	1614	1487	1487
q20	1998	1781	1776	1776
q21	5226	5057	5074	5057
q22	1093	974	1012	974
Total cold run time: 72335 ms
Total hot run time: 54067 ms

[doris-robot]

TPC-DS: Total hot run time: 185270 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 96028793274e5e6168c5ff5162b69a7ac5718c75, data reload: false

query1	914	389	375	375
query2	6458	1926	1918	1918
query3	6662	209	211	209
query4	34183	23234	23091	23091
query5	4242	494	492	492
query6	284	159	171	159
query7	4583	305	284	284
query8	238	200	187	187
query9	8746	2473	2440	2440
query10	420	279	273	273
query11	17712	14873	14978	14873
query12	164	101	101	101
query13	1638	366	365	365
query14	8488	7567	7756	7567
query15	211	168	165	165
query16	7709	481	494	481
query17	1531	570	560	560
query18	1921	295	288	288
query19	193	150	143	143
query20	112	108	109	108
query21	217	103	98	98
query22	4456	4027	4038	4027
query23	33897	33068	33389	33068
query24	11663	2834	2857	2834
query25	662	400	385	385
query26	1244	161	161	161
query27	2420	269	275	269
query28	6979	2045	2050	2045
query29	905	431	425	425
query30	305	151	162	151
query31	966	783	762	762
query32	101	53	58	53
query33	758	287	285	285
query34	946	470	470	470
query35	861	731	724	724
query36	1106	935	931	931
query37	161	82	82	82
query38	3989	3762	3819	3762
query39	1447	1359	1369	1359
query40	213	119	117	117
query41	47	46	47	46
query42	116	101	98	98
query43	503	481	472	472
query44	1216	738	728	728
query45	197	165	165	165
query46	1114	764	739	739
query47	1836	1728	1772	1728
query48	372	291	303	291
query49	1100	430	425	425
query50	793	419	410	410
query51	6799	6644	6729	6644
query52	100	87	92	87
query53	255	188	187	187
query54	888	453	448	448
query55	81	76	75	75
query56	267	258	266	258
query57	1178	1041	1036	1036
query58	243	227	237	227
query59	3027	2862	2783	2783
query60	290	262	274	262
query61	119	112	110	110
query62	851	656	656	656
query63	223	188	182	182
query64	9943	2322	1771	1771
query65	3203	3140	3121	3121
query66	971	334	353	334
query67	15525	14647	14650	14647
query68	8710	573	576	573
query69	693	397	294	294
query70	1208	1048	1103	1048
query71	534	275	258	258
query72	7991	2211	2033	2033
query73	1699	330	334	330
query74	9182	8717	8671	8671
query75	5355	2634	2711	2634
query76	5132	952	937	937
query77	776	309	306	306
query78	9757	9859	8994	8994
query79	12444	530	535	530
query80	1181	488	521	488
query81	584	220	225	220
query82	290	134	135	134
query83	335	139	140	139
query84	268	74	74	74
query85	1114	272	268	268
query86	328	284	291	284
query87	4304	4078	4180	4078
query88	5685	2481	2501	2481
query89	488	292	285	285
query90	2005	196	193	193
query91	120	93	94	93
query92	59	50	48	48
query93	6775	543	537	537
query94	782	277	282	277
query95	352	263	265	263
query96	624	275	283	275
query97	3197	3058	3051	3051
query98	213	207	245	207
query99	1540	1255	1250	1250
Total cold run time: 324687 ms
Total hot run time: 185270 ms

[doris-robot]

ClickBench: Total hot run time: 30.54 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 96028793274e5e6168c5ff5162b69a7ac5718c75, data reload: false

query1	0.04	0.04	0.04
query2	0.08	0.03	0.04
query3	0.23	0.06	0.04
query4	1.67	0.08	0.08
query5	0.48	0.50	0.49
query6	1.15	0.73	0.73
query7	0.02	0.02	0.01
query8	0.05	0.05	0.05
query9	0.56	0.49	0.48
query10	0.54	0.53	0.54
query11	0.15	0.11	0.11
query12	0.14	0.12	0.12
query13	0.61	0.61	0.58
query14	0.76	0.79	0.78
query15	0.85	0.82	0.81
query16	0.39	0.37	0.36
query17	1.04	1.03	0.94
query18	0.22	0.21	0.21
query19	1.83	1.74	1.78
query20	0.01	0.01	0.01
query21	15.40	0.75	0.66
query22	4.09	7.44	1.82
query23	18.28	1.35	1.34
query24	2.06	0.22	0.23
query25	0.15	0.08	0.08
query26	0.30	0.21	0.20
query27	0.44	0.22	0.23
query28	13.32	1.02	1.00
query29	12.60	3.27	3.25
query30	0.23	0.06	0.06
query31	2.88	0.39	0.40
query32	3.27	0.46	0.46
query33	2.86	2.90	2.96
query34	17.06	4.32	4.32
query35	4.47	4.43	4.43
query36	0.66	0.47	0.47
query37	0.18	0.15	0.16
query38	0.16	0.15	0.15
query39	0.04	0.04	0.03
query40	0.15	0.13	0.12
query41	0.10	0.05	0.05
query42	0.05	0.04	0.05
query43	0.05	0.04	0.04
Total cold run time: 109.62 s
Total hot run time: 30.54 s

[doris-robot]

TPC-H: Total hot run time: 39984 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit fdf9e96fc6e64017abacb2ff45984781b4ebf04c, data reload: false

------ Round 1 ----------------------------------
q1	17627	4385	4298	4298
q2	2015	181	174	174
q3	11848	1048	1115	1048
q4	10512	736	745	736
q5	7750	2841	2827	2827
q6	230	137	135	135
q7	961	590	606	590
q8	9539	2051	2099	2051
q9	9641	6545	6597	6545
q10	7013	2197	2196	2196
q11	462	244	246	244
q12	393	222	216	216
q13	17765	2994	2991	2991
q14	280	229	234	229
q15	526	482	508	482
q16	506	381	388	381
q17	980	747	711	711
q18	8094	7555	7295	7295
q19	7744	968	1033	968
q20	695	335	333	333
q21	5341	4548	4541	4541
q22	1105	997	993	993
Total cold run time: 121027 ms
Total hot run time: 39984 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4471	4276	4241	4241
q2	364	281	270	270
q3	3039	2797	2773	2773
q4	2079	1747	1686	1686
q5	5700	5554	5723	5554
q6	225	133	131	131
q7	2172	1756	1817	1756
q8	3345	3451	3430	3430
q9	8917	8799	8717	8717
q10	3480	3350	3289	3289
q11	593	494	509	494
q12	819	674	645	645
q13	16574	3164	3180	3164
q14	324	282	293	282
q15	524	514	491	491
q16	485	428	417	417
q17	1808	1546	1519	1519
q18	8260	7886	7814	7814
q19	1757	1544	1690	1544
q20	2197	1896	1907	1896
q21	5517	5165	5291	5165
q22	1245	1024	1030	1024
Total cold run time: 73895 ms
Total hot run time: 56302 ms

[doris-robot]

TPC-DS: Total hot run time: 191620 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit fdf9e96fc6e64017abacb2ff45984781b4ebf04c, data reload: false

query1	1266	894	863	863
query2	6355	1996	1848	1848
query3	10618	3796	3767	3767
query4	59230	27142	23266	23266
query5	5745	512	478	478
query6	509	159	156	156
query7	6554	289	294	289
query8	306	200	192	192
query9	9303	2428	2390	2390
query10	532	272	274	272
query11	18642	15066	15397	15066
query12	158	102	102	102
query13	1629	407	391	391
query14	12869	7905	7813	7813
query15	322	177	179	177
query16	7806	496	508	496
query17	1185	582	566	566
query18	2125	312	313	312
query19	286	155	161	155
query20	127	124	113	113
query21	217	132	106	106
query22	4573	4461	4489	4461
query23	34356	33572	33443	33443
query24	5579	2855	2901	2855
query25	550	411	396	396
query26	698	162	161	161
query27	1791	275	276	275
query28	3915	2052	2050	2050
query29	740	424	440	424
query30	235	151	149	149
query31	926	784	750	750
query32	102	54	57	54
query33	511	299	288	288
query34	859	466	474	466
query35	819	733	723	723
query36	1089	912	915	912
query37	137	80	84	80
query38	3902	3918	3884	3884
query39	1418	1400	1386	1386
query40	202	119	118	118
query41	51	46	45	45
query42	115	99	101	99
query43	525	481	474	474
query44	1105	733	735	733
query45	199	163	163	163
query46	1083	732	732	732
query47	1903	1791	1800	1791
query48	367	295	300	295
query49	770	422	431	422
query50	801	402	398	398
query51	6824	6736	6641	6641
query52	115	88	96	88
query53	258	193	179	179
query54	570	471	463	463
query55	77	74	73	73
query56	385	239	249	239
query57	1116	1068	1050	1050
query58	235	231	209	209
query59	2901	2978	2823	2823
query60	293	266	262	262
query61	97	95	117	95
query62	761	681	648	648
query63	207	174	179	174
query64	9198	2267	1762	1762
query65	3180	3135	3158	3135
query66	693	329	333	329
query67	15346	14954	14909	14909
query68	7553	559	559	559
query69	692	387	309	309
query70	1454	1143	1091	1091
query71	530	269	272	269
query72	8062	2203	2054	2054
query73	2302	333	330	330
query74	9512	8781	8739	8739
query75	5376	2662	2644	2644
query76	4773	1001	1020	1001
query77	743	304	306	304
query78	10068	9143	9383	9143
query79	8250	536	535	535
query80	1014	503	519	503
query81	566	222	229	222
query82	838	136	132	132
query83	360	149	149	149
query84	270	74	77	74
query85	1333	270	268	268
query86	343	292	291	291
query87	4411	4203	4213	4203
query88	4400	2411	2409	2409
query89	537	292	281	281
query90	1979	188	185	185
query91	120	94	96	94
query92	62	48	48	48
query93	5558	545	540	540
query94	726	332	285	285
query95	362	259	260	259
query96	618	271	274	271
query97	3241	3027	3016	3016
query98	214	206	213	206
query99	1567	1285	1282	1282
Total cold run time: 345195 ms
Total hot run time: 191620 ms

[doris-robot]

ClickBench: Total hot run time: 31.57 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit fdf9e96fc6e64017abacb2ff45984781b4ebf04c, data reload: false

query1	0.04	0.04	0.04
query2	0.08	0.05	0.04
query3	0.22	0.05	0.04
query4	1.68	0.07	0.07
query5	0.50	0.50	0.49
query6	1.13	0.73	0.72
query7	0.02	0.01	0.02
query8	0.05	0.04	0.04
query9	0.55	0.49	0.50
query10	0.54	0.54	0.55
query11	0.15	0.11	0.12
query12	0.15	0.12	0.12
query13	0.61	0.61	0.59
query14	0.76	0.79	0.77
query15	0.85	0.84	0.83
query16	0.34	0.37	0.36
query17	0.97	1.04	1.03
query18	0.24	0.23	0.21
query19	1.80	1.70	1.68
query20	0.01	0.00	0.01
query21	15.38	0.78	0.66
query22	3.84	6.57	2.65
query23	18.27	1.44	1.30
query24	2.13	0.22	0.22
query25	0.15	0.08	0.08
query26	0.28	0.21	0.21
query27	0.46	0.24	0.23
query28	13.22	1.01	1.02
query29	12.60	3.39	3.42
query30	0.24	0.06	0.04
query31	2.88	0.41	0.40
query32	3.25	0.50	0.47
query33	2.92	2.98	2.97
query34	17.16	4.32	4.35
query35	4.43	4.37	4.44
query36	0.66	0.46	0.47
query37	0.18	0.16	0.16
query38	0.17	0.15	0.15
query39	0.04	0.04	0.03
query40	0.15	0.13	0.13
query41	0.11	0.05	0.05
query42	0.06	0.05	0.05
query43	0.04	0.04	0.04
Total cold run time: 109.31 s
Total hot run time: 31.57 s

[dataroaring]

LGTM

[github-actions]

PR approved by at least one committer and no changes requested.

[github-actions]

PR approved by anyone and no changes requested.

[liaoxin01]

LGTM