alamb commented on PR #15981:
URL: https://github.com/apache/datafusion/pull/15981#issuecomment-2860307673

   ๐Ÿค–: Benchmark completed
   
   <details><summary>Details</summary>
   <p>
   
   
   ```
   Comparing HEAD and experiment_repartition-optimization
   --------------------
   Benchmark clickbench_extended.json
   --------------------
   
โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”ณโ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”ณโ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”ณโ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”“
   โ”ƒ Query        โ”ƒ       HEAD โ”ƒ experiment_repartition-optimization โ”ƒ    
Change โ”ƒ
   
โ”กโ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ•‡โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ•‡โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ•‡โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”ฉ
   โ”‚ QQuery 0     โ”‚  1908.93ms โ”‚                           1973.13ms โ”‚ no 
change โ”‚
   โ”‚ QQuery 1     โ”‚   770.72ms โ”‚                            771.87ms โ”‚ no 
change โ”‚
   โ”‚ QQuery 2     โ”‚  1480.94ms โ”‚                           1524.43ms โ”‚ no 
change โ”‚
   โ”‚ QQuery 3     โ”‚   701.66ms โ”‚                            695.86ms โ”‚ no 
change โ”‚
   โ”‚ QQuery 4     โ”‚  1484.27ms โ”‚                           1464.94ms โ”‚ no 
change โ”‚
   โ”‚ QQuery 5     โ”‚ 15305.06ms โ”‚                          15266.37ms โ”‚ no 
change โ”‚
   โ”‚ QQuery 6     โ”‚  2087.74ms โ”‚                           2097.26ms โ”‚ no 
change โ”‚
   โ”‚ QQuery 7     โ”‚  2139.92ms โ”‚                           2075.85ms โ”‚ no 
change โ”‚
   
โ””โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”ดโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”ดโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”ดโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”˜
   โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”ณโ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”“
   โ”ƒ Benchmark Summary                                  โ”ƒ            โ”ƒ
   โ”กโ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ•‡โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”ฉ
   โ”‚ Total Time (HEAD)                                  โ”‚ 25879.23ms โ”‚
   โ”‚ Total Time (experiment_repartition-optimization)   โ”‚ 25869.71ms โ”‚
   โ”‚ Average Time (HEAD)                                โ”‚  3234.90ms โ”‚
   โ”‚ Average Time (experiment_repartition-optimization) โ”‚  3233.71ms โ”‚
   โ”‚ Queries Faster                                     โ”‚          0 โ”‚
   โ”‚ Queries Slower                                     โ”‚          0 โ”‚
   โ”‚ Queries with No Change                             โ”‚          8 โ”‚
   โ””โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”ดโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”˜
   --------------------
   Benchmark clickbench_partitioned.json
   --------------------
   
โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”ณโ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”ณโ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”ณโ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”“
   โ”ƒ Query        โ”ƒ       HEAD โ”ƒ experiment_repartition-optimization โ”ƒ        
Change โ”ƒ
   
โ”กโ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ•‡โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ•‡โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ•‡โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”ฉ
   โ”‚ QQuery 0     โ”‚     2.66ms โ”‚                              2.22ms โ”‚ +1.20x 
faster โ”‚
   โ”‚ QQuery 1     โ”‚    38.24ms โ”‚                             38.45ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 2     โ”‚    92.85ms โ”‚                             91.12ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 3     โ”‚    94.58ms โ”‚                             95.88ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 4     โ”‚   594.33ms โ”‚                            565.43ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 5     โ”‚   848.06ms โ”‚                            880.90ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 6     โ”‚     2.33ms โ”‚                              2.24ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 7     โ”‚    44.76ms โ”‚                             44.28ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 8     โ”‚   909.93ms โ”‚                            896.41ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 9     โ”‚  1214.31ms โ”‚                           1176.47ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 10    โ”‚   269.72ms โ”‚                            270.27ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 11    โ”‚   309.51ms โ”‚                            306.93ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 12    โ”‚   937.20ms โ”‚                            934.82ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 13    โ”‚  1404.63ms โ”‚                           1334.63ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 14    โ”‚   848.90ms โ”‚                            860.96ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 15    โ”‚   826.41ms โ”‚                            797.07ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 16    โ”‚  1760.36ms โ”‚                           1711.95ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 17    โ”‚  1619.76ms โ”‚                           1595.31ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 18    โ”‚  3225.59ms โ”‚                           3043.33ms โ”‚ +1.06x 
faster โ”‚
   โ”‚ QQuery 19    โ”‚    85.21ms โ”‚                             87.24ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 20    โ”‚  1203.20ms โ”‚                           1159.11ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 21    โ”‚  1345.64ms โ”‚                           1380.91ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 22    โ”‚  2232.35ms โ”‚                           2308.54ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 23    โ”‚  8430.25ms โ”‚                           8619.39ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 24    โ”‚   486.83ms โ”‚                            479.78ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 25    โ”‚   398.21ms โ”‚                            408.39ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 26    โ”‚   545.83ms โ”‚                            543.11ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 27    โ”‚  1622.57ms โ”‚                           1601.12ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 28    โ”‚ 12791.21ms โ”‚                          12330.46ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 29    โ”‚   527.34ms โ”‚                            511.33ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 30    โ”‚   830.54ms โ”‚                            838.45ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 31    โ”‚   865.96ms โ”‚                            861.60ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 32    โ”‚  2623.66ms โ”‚                           2573.21ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 33    โ”‚  3361.66ms โ”‚                           3341.51ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 34    โ”‚  3386.72ms โ”‚                           3415.57ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 35    โ”‚  1282.07ms โ”‚                           1282.58ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 36    โ”‚   125.46ms โ”‚                            126.53ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 37    โ”‚    57.56ms โ”‚                             58.72ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 38    โ”‚   126.54ms โ”‚                            131.44ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 39    โ”‚   205.08ms โ”‚                            203.24ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 40    โ”‚    49.71ms โ”‚                             50.23ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 41    โ”‚    47.44ms โ”‚                             46.08ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 42    โ”‚    38.09ms โ”‚                             41.15ms โ”‚  1.08x 
slower โ”‚
   
โ””โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”ดโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”ดโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”ดโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”˜
   โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”ณโ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”“
   โ”ƒ Benchmark Summary                                  โ”ƒ            โ”ƒ
   โ”กโ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ•‡โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”ฉ
   โ”‚ Total Time (HEAD)                                  โ”‚ 57713.27ms โ”‚
   โ”‚ Total Time (experiment_repartition-optimization)   โ”‚ 57048.39ms โ”‚
   โ”‚ Average Time (HEAD)                                โ”‚  1342.17ms โ”‚
   โ”‚ Average Time (experiment_repartition-optimization) โ”‚  1326.71ms โ”‚
   โ”‚ Queries Faster                                     โ”‚          2 โ”‚
   โ”‚ Queries Slower                                     โ”‚          1 โ”‚
   โ”‚ Queries with No Change                             โ”‚         40 โ”‚
   โ””โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”ดโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”˜
   --------------------
   Benchmark tpch_mem_sf1.json
   --------------------
   
โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”ณโ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”ณโ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”ณโ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”“
   โ”ƒ Query        โ”ƒ     HEAD โ”ƒ experiment_repartition-optimization โ”ƒ        
Change โ”ƒ
   
โ”กโ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ•‡โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ•‡โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ•‡โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”ฉ
   โ”‚ QQuery 1     โ”‚ 123.60ms โ”‚                            123.72ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 2     โ”‚  24.28ms โ”‚                             22.78ms โ”‚ +1.07x 
faster โ”‚
   โ”‚ QQuery 3     โ”‚  34.20ms โ”‚                             31.58ms โ”‚ +1.08x 
faster โ”‚
   โ”‚ QQuery 4     โ”‚  20.28ms โ”‚                             19.07ms โ”‚ +1.06x 
faster โ”‚
   โ”‚ QQuery 5     โ”‚  55.56ms โ”‚                             48.25ms โ”‚ +1.15x 
faster โ”‚
   โ”‚ QQuery 6     โ”‚  12.11ms โ”‚                             12.07ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 7     โ”‚  96.48ms โ”‚                            103.06ms โ”‚  1.07x 
slower โ”‚
   โ”‚ QQuery 8     โ”‚  25.45ms โ”‚                             25.33ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 9     โ”‚  61.46ms โ”‚                             61.39ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 10    โ”‚  58.27ms โ”‚                             57.58ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 11    โ”‚  12.82ms โ”‚                             13.11ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 12    โ”‚  43.68ms โ”‚                             43.15ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 13    โ”‚  30.93ms โ”‚                             28.90ms โ”‚ +1.07x 
faster โ”‚
   โ”‚ QQuery 14    โ”‚   9.96ms โ”‚                             11.63ms โ”‚  1.17x 
slower โ”‚
   โ”‚ QQuery 15    โ”‚  25.73ms โ”‚                             24.75ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 16    โ”‚  22.95ms โ”‚                             21.79ms โ”‚ +1.05x 
faster โ”‚
   โ”‚ QQuery 17    โ”‚  99.29ms โ”‚                             98.43ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 18    โ”‚ 239.06ms โ”‚                            230.16ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 19    โ”‚  26.01ms โ”‚                             25.92ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 20    โ”‚  37.46ms โ”‚                             40.35ms โ”‚  1.08x 
slower โ”‚
   โ”‚ QQuery 21    โ”‚ 164.70ms โ”‚                            162.28ms โ”‚     no 
change โ”‚
   โ”‚ QQuery 22    โ”‚  17.28ms โ”‚                             16.62ms โ”‚     no 
change โ”‚
   
โ””โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”ดโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”ดโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”ดโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”˜
   โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”ณโ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”“
   โ”ƒ Benchmark Summary                                  โ”ƒ           โ”ƒ
   โ”กโ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ•‡โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”โ”ฉ
   โ”‚ Total Time (HEAD)                                  โ”‚ 1241.59ms โ”‚
   โ”‚ Total Time (experiment_repartition-optimization)   โ”‚ 1221.91ms โ”‚
   โ”‚ Average Time (HEAD)                                โ”‚   56.44ms โ”‚
   โ”‚ Average Time (experiment_repartition-optimization) โ”‚   55.54ms โ”‚
   โ”‚ Queries Faster                                     โ”‚         6 โ”‚
   โ”‚ Queries Slower                                     โ”‚         3 โ”‚
   โ”‚ Queries with No Change                             โ”‚        13 โ”‚
   โ””โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”ดโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”˜
   ```
   
   
   </p>
   </details>
   
   


-- 
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.

To unsubscribe, e-mail: github-unsubscr...@datafusion.apache.org

For queries about this service, please contact Infrastructure at:
us...@infra.apache.org


---------------------------------------------------------------------
To unsubscribe, e-mail: github-unsubscr...@datafusion.apache.org
For additional commands, e-mail: github-h...@datafusion.apache.org

Reply via email to