pepijnve commented on PR #16319: URL: https://github.com/apache/datafusion/pull/16319#issuecomment-2961984440
@alamb @Dandandan I started a benchmark run with 50 iterations and the TPCH changes yesterday evening. Check the results this morning... ๐ Would be great if someone else could confirm. Long story short, in my environment at least 5 iterations is just too few. Especially in the first 5-10 iterations I see way too much variability in the runs for it to be useful. It stabilizes later on. I wonder if it would be a good idea to modify the benchmark code to always do a number of warmup iterations before we actually start measuring. <details> ``` Comparing baseline and branch -------------------- Benchmark clickbench_extended.json -------------------- โโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโโโโโ โ Query โ baseline โ branch โ Change โ โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ โ QQuery 0 โ 2841.73 ms โ 2868.70 ms โ no change โ โ QQuery 1 โ 1254.60 ms โ 1259.50 ms โ no change โ โ QQuery 2 โ 2444.16 ms โ 2417.82 ms โ no change โ โ QQuery 3 โ 1075.16 ms โ 1046.80 ms โ no change โ โ QQuery 4 โ 2759.06 ms โ 2800.21 ms โ no change โ โ QQuery 5 โ 32991.04 ms โ 33376.96 ms โ no change โ โ QQuery 6 โ 3591.27 ms โ 3577.60 ms โ no change โ โ QQuery 7 โ 4174.48 ms โ 4260.27 ms โ no change โ โ QQuery 8 โ 1562.72 ms โ 1541.47 ms โ no change โ โโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโ โ Benchmark Summary โ โ โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ โ Total Time (baseline) โ 52694.22ms โ โ Total Time (branch) โ 53149.33ms โ โ Average Time (baseline) โ 5854.91ms โ โ Average Time (branch) โ 5905.48ms โ โ Queries Faster โ 0 โ โ Queries Slower โ 0 โ โ Queries with No Change โ 9 โ โ Queries with Failure โ 0 โ โโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโ -------------------- Benchmark clickbench_partitioned.json -------------------- โโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโ โ Query โ baseline โ branch โ Change โ โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ โ QQuery 0 โ 28.47 ms โ 28.17 ms โ no change โ โ QQuery 1 โ 66.76 ms โ 68.23 ms โ no change โ โ QQuery 2 โ 158.80 ms โ 158.78 ms โ no change โ โ QQuery 3 โ 156.06 ms โ 147.87 ms โ +1.06x faster โ โ QQuery 4 โ 1169.02 ms โ 1170.60 ms โ no change โ โ QQuery 5 โ 1498.30 ms โ 1546.96 ms โ no change โ โ QQuery 6 โ 41.48 ms โ 41.42 ms โ no change โ โ QQuery 7 โ 80.51 ms โ 79.37 ms โ no change โ โ QQuery 8 โ 1831.67 ms โ 1817.91 ms โ no change โ โ QQuery 9 โ 2152.33 ms โ 2190.01 ms โ no change โ โ QQuery 10 โ 531.87 ms โ 545.53 ms โ no change โ โ QQuery 11 โ 592.01 ms โ 603.65 ms โ no change โ โ QQuery 12 โ 1651.35 ms โ 1679.20 ms โ no change โ โ QQuery 13 โ 2783.70 ms โ 2847.50 ms โ no change โ โ QQuery 14 โ 1589.41 ms โ 1597.90 ms โ no change โ โ QQuery 15 โ 1620.37 ms โ 1629.00 ms โ no change โ โ QQuery 16 โ 3332.63 ms โ 3354.37 ms โ no change โ โ QQuery 17 โ 2864.46 ms โ 2850.38 ms โ no change โ โ QQuery 18 โ 6226.51 ms โ 5993.04 ms โ no change โ โ QQuery 19 โ 138.61 ms โ 140.21 ms โ no change โ โ QQuery 20 โ 1892.60 ms โ 1910.23 ms โ no change โ โ QQuery 21 โ 2292.32 ms โ 2325.51 ms โ no change โ โ QQuery 22 โ 3944.51 ms โ 4020.94 ms โ no change โ โ QQuery 23 โ 15570.73 ms โ 15691.75 ms โ no change โ โ QQuery 24 โ 862.29 ms โ 875.83 ms โ no change โ โ QQuery 25 โ 727.49 ms โ 721.70 ms โ no change โ โ QQuery 26 โ 975.89 ms โ 986.73 ms โ no change โ โ QQuery 27 โ 2697.31 ms โ 2769.85 ms โ no change โ โ QQuery 28 โ 22911.95 ms โ 22695.04 ms โ no change โ โ QQuery 29 โ 1172.68 ms โ 1173.51 ms โ no change โ โ QQuery 30 โ 1634.30 ms โ 1637.76 ms โ no change โ โ QQuery 31 โ 1718.66 ms โ 1717.93 ms โ no change โ โ QQuery 32 โ 5527.03 ms โ 5810.12 ms โ 1.05x slower โ โ QQuery 33 โ 6763.33 ms โ 6654.45 ms โ no change โ โ QQuery 34 โ 7016.63 ms โ 6971.15 ms โ no change โ โ QQuery 35 โ 2308.46 ms โ 2308.33 ms โ no change โ โ QQuery 36 โ 167.09 ms โ 170.41 ms โ no change โ โ QQuery 37 โ 86.96 ms โ 87.12 ms โ no change โ โ QQuery 38 โ 167.31 ms โ 172.42 ms โ no change โ โ QQuery 39 โ 268.56 ms โ 269.12 ms โ no change โ โ QQuery 40 โ 75.72 ms โ 76.78 ms โ no change โ โ QQuery 41 โ 73.17 ms โ 69.69 ms โ no change โ โ QQuery 42 โ 61.68 ms โ 59.77 ms โ no change โ โโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโ โ Benchmark Summary โ โ โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ โ Total Time (baseline) โ 107430.99ms โ โ Total Time (branch) โ 107666.23ms โ โ Average Time (baseline) โ 2498.40ms โ โ Average Time (branch) โ 2503.87ms โ โ Queries Faster โ 1 โ โ Queries Slower โ 1 โ โ Queries with No Change โ 41 โ โ Queries with Failure โ 0 โ โโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโ -------------------- Benchmark tpch_mem_sf1.json -------------------- โโโโโโโโโโโโโโโโณโโโโโโโโโโโโณโโโโโโโโโโโโณโโโโโโโโโโโโโโโโ โ Query โ baseline โ branch โ Change โ โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ โ QQuery 1 โ 253.93 ms โ 213.68 ms โ +1.19x faster โ โ QQuery 2 โ 41.31 ms โ 35.04 ms โ +1.18x faster โ โ QQuery 3 โ 70.88 ms โ 56.32 ms โ +1.26x faster โ โ QQuery 4 โ 39.62 ms โ 35.32 ms โ +1.12x faster โ โ QQuery 5 โ 114.89 ms โ 89.39 ms โ +1.29x faster โ โ QQuery 6 โ 26.55 ms โ 20.38 ms โ +1.30x faster โ โ QQuery 7 โ 190.78 ms โ 175.94 ms โ +1.08x faster โ โ QQuery 8 โ 39.49 ms โ 39.91 ms โ no change โ โ QQuery 9 โ 113.43 ms โ 113.57 ms โ no change โ โ QQuery 10 โ 82.14 ms โ 78.50 ms โ no change โ โ QQuery 11 โ 18.26 ms โ 17.51 ms โ no change โ โ QQuery 12 โ 90.59 ms โ 93.53 ms โ no change โ โ QQuery 13 โ 55.18 ms โ 51.19 ms โ +1.08x faster โ โ QQuery 14 โ 17.07 ms โ 15.67 ms โ +1.09x faster โ โ QQuery 15 โ 35.12 ms โ 33.25 ms โ +1.06x faster โ โ QQuery 16 โ 38.82 ms โ 37.71 ms โ no change โ โ QQuery 17 โ 143.93 ms โ 142.22 ms โ no change โ โ QQuery 18 โ 417.37 ms โ 442.36 ms โ 1.06x slower โ โ QQuery 19 โ 43.16 ms โ 43.78 ms โ no change โ โ QQuery 20 โ 71.70 ms โ 72.96 ms โ no change โ โ QQuery 21 โ 297.31 ms โ 296.28 ms โ no change โ โ QQuery 22 โ 41.19 ms โ 41.35 ms โ no change โ โโโโโโโโโโโโโโโโดโโโโโโโโโโโโดโโโโโโโโโโโโดโโโโโโโโโโโโโโโโ ``` </details> -- This is an automated message from the Apache Git Service. To respond to the message, please log on to GitHub and use the URL above to go to the specific comment. To unsubscribe, e-mail: github-unsubscr...@datafusion.apache.org For queries about this service, please contact Infrastructure at: us...@infra.apache.org --------------------------------------------------------------------- To unsubscribe, e-mail: github-unsubscr...@datafusion.apache.org For additional commands, e-mail: github-h...@datafusion.apache.org
