zhuqi-lucas commented on PR #16222: URL: https://github.com/apache/datafusion/pull/16222#issuecomment-2927075657
> ๐ค: Benchmark completed > > Details > > ``` > Comparing HEAD and alamb_test_actual_pushdown > -------------------- > Benchmark clickbench_extended.json > -------------------- > โโโโโโโโโโโโโโโโณโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโโ > โ Query โ HEAD โ alamb_test_actual_pushdown โ Change โ > โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ > โ QQuery 0 โ 1911.99ms โ 1914.70ms โ no change โ > โ QQuery 1 โ 699.11ms โ 719.00ms โ no change โ > โ QQuery 2 โ 1398.50ms โ 1478.56ms โ 1.06x slower โ > โ QQuery 3 โ 689.24ms โ 712.50ms โ no change โ > โ QQuery 4 โ 1452.92ms โ 1595.74ms โ 1.10x slower โ > โ QQuery 5 โ 15657.55ms โ 15569.30ms โ no change โ > โ QQuery 6 โ 2032.14ms โ 141.07ms โ +14.41x faster โ > โ QQuery 7 โ 2123.18ms โ 2226.42ms โ no change โ > โ QQuery 8 โ 837.16ms โ 851.36ms โ no change โ > โโโโโโโโโโโโโโโโดโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโ > โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโ > โ Benchmark Summary โ โ > โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ > โ Total Time (HEAD) โ 26801.79ms โ > โ Total Time (alamb_test_actual_pushdown) โ 25208.64ms โ > โ Average Time (HEAD) โ 2977.98ms โ > โ Average Time (alamb_test_actual_pushdown) โ 2800.96ms โ > โ Queries Faster โ 1 โ > โ Queries Slower โ 2 โ > โ Queries with No Change โ 6 โ > โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโ > -------------------- > Benchmark clickbench_partitioned.json > -------------------- > โโโโโโโโโโโโโโโโณโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโ > โ Query โ HEAD โ alamb_test_actual_pushdown โ Change โ > โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ > โ QQuery 0 โ 16.19ms โ 16.24ms โ no change โ > โ QQuery 1 โ 33.68ms โ 35.46ms โ 1.05x slower โ > โ QQuery 2 โ 82.89ms โ 82.60ms โ no change โ > โ QQuery 3 โ 97.24ms โ 94.45ms โ no change โ > โ QQuery 4 โ 607.01ms โ 675.90ms โ 1.11x slower โ > โ QQuery 5 โ 858.70ms โ 919.45ms โ 1.07x slower โ > โ QQuery 6 โ 22.87ms โ 24.63ms โ 1.08x slower โ > โ QQuery 7 โ 38.68ms โ 43.00ms โ 1.11x slower โ > โ QQuery 8 โ 945.68ms โ 939.59ms โ no change โ > โ QQuery 9 โ 1243.06ms โ 1246.08ms โ no change โ > โ QQuery 10 โ 268.45ms โ 280.56ms โ no change โ > โ QQuery 11 โ 299.09ms โ 319.60ms โ 1.07x slower โ > โ QQuery 12 โ 919.23ms โ 1014.32ms โ 1.10x slower โ > โ QQuery 13 โ 1337.56ms โ 1523.46ms โ 1.14x slower โ > โ QQuery 14 โ 856.70ms โ 1029.41ms โ 1.20x slower โ > โ QQuery 15 โ 847.58ms โ 839.69ms โ no change โ > โ QQuery 16 โ 1730.92ms โ 1729.51ms โ no change โ > โ QQuery 17 โ 1607.73ms โ 1593.69ms โ no change โ > โ QQuery 18 โ 3099.12ms โ 3197.56ms โ no change โ > โ QQuery 19 โ 84.99ms โ 91.43ms โ 1.08x slower โ > โ QQuery 20 โ 1121.22ms โ 1197.78ms โ 1.07x slower โ > โ QQuery 21 โ 1345.40ms โ 1361.52ms โ no change โ > โ QQuery 22 โ 2199.07ms โ 2431.34ms โ 1.11x slower โ > โ QQuery 23 โ 8112.04ms โ 3547.80ms โ +2.29x faster โ > โ QQuery 24 โ 475.29ms โ 631.80ms โ 1.33x slower โ > โ QQuery 25 โ 393.16ms โ 432.03ms โ 1.10x slower โ > โ QQuery 26 โ 537.95ms โ 692.90ms โ 1.29x slower โ > โ QQuery 27 โ 1574.43ms โ 1809.52ms โ 1.15x slower โ > โ QQuery 28 โ 12663.96ms โ 12974.85ms โ no change โ > โ QQuery 29 โ 530.66ms โ 524.38ms โ no change โ > โ QQuery 30 โ 811.90ms โ 1288.32ms โ 1.59x slower โ > โ QQuery 31 โ 875.23ms โ 1301.29ms โ 1.49x slower โ > โ QQuery 32 โ 2699.84ms โ 2755.06ms โ no change โ > โ QQuery 33 โ 3352.11ms โ 3436.53ms โ no change โ > โ QQuery 34 โ 3410.67ms โ 3433.96ms โ no change โ > โ QQuery 35 โ 1338.26ms โ 1331.31ms โ no change โ > โ QQuery 36 โ 126.01ms โ 28.46ms โ +4.43x faster โ > โ QQuery 37 โ 56.31ms โ 29.07ms โ +1.94x faster โ > โ QQuery 38 โ 124.21ms โ 28.50ms โ +4.36x faster โ > โ QQuery 39 โ 198.12ms โ 28.56ms โ +6.94x faster โ > โ QQuery 40 โ 49.66ms โ 27.47ms โ +1.81x faster โ > โ QQuery 41 โ 44.20ms โ 26.20ms โ +1.69x faster โ > โ QQuery 42 โ 39.80ms โ 26.77ms โ +1.49x faster โ > โโโโโโโโโโโโโโโโดโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโ > โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโ > โ Benchmark Summary โ โ > โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ > โ Total Time (HEAD) โ 57076.85ms โ > โ Total Time (alamb_test_actual_pushdown) โ 55042.05ms โ > โ Average Time (HEAD) โ 1327.37ms โ > โ Average Time (alamb_test_actual_pushdown) โ 1280.05ms โ > โ Queries Faster โ 8 โ > โ Queries Slower โ 18 โ > โ Queries with No Change โ 17 โ > โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโ > -------------------- > Benchmark tpch_mem_sf1.json > -------------------- > โโโโโโโโโโโโโโโโณโโโโโโโโโโโณโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโ > โ Query โ HEAD โ alamb_test_actual_pushdown โ Change โ > โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ > โ QQuery 1 โ 118.82ms โ 116.19ms โ no change โ > โ QQuery 2 โ 22.15ms โ 22.21ms โ no change โ > โ QQuery 3 โ 35.15ms โ 36.53ms โ no change โ > โ QQuery 4 โ 20.36ms โ 21.03ms โ no change โ > โ QQuery 5 โ 53.46ms โ 54.15ms โ no change โ > โ QQuery 6 โ 12.10ms โ 13.53ms โ 1.12x slower โ > โ QQuery 7 โ 98.73ms โ 97.33ms โ no change โ > โ QQuery 8 โ 26.26ms โ 27.08ms โ no change โ > โ QQuery 9 โ 56.46ms โ 59.54ms โ 1.05x slower โ > โ QQuery 10 โ 58.11ms โ 58.47ms โ no change โ > โ QQuery 11 โ 11.75ms โ 11.81ms โ no change โ > โ QQuery 12 โ 42.19ms โ 45.28ms โ 1.07x slower โ > โ QQuery 13 โ 27.50ms โ 27.43ms โ no change โ > โ QQuery 14 โ 9.99ms โ 10.24ms โ no change โ > โ QQuery 15 โ 22.87ms โ 23.76ms โ no change โ > โ QQuery 16 โ 21.18ms โ 21.12ms โ no change โ > โ QQuery 17 โ 95.83ms โ 97.23ms โ no change โ > โ QQuery 18 โ 209.53ms โ 219.14ms โ no change โ > โ QQuery 19 โ 25.82ms โ 27.12ms โ 1.05x slower โ > โ QQuery 20 โ 34.43ms โ 37.32ms โ 1.08x slower โ > โ QQuery 21 โ 158.77ms โ 162.07ms โ no change โ > โ QQuery 22 โ 16.35ms โ 16.34ms โ no change โ > โโโโโโโโโโโโโโโโดโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโ > โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโ > โ Benchmark Summary โ โ > โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ > โ Total Time (HEAD) โ 1177.83ms โ > โ Total Time (alamb_test_actual_pushdown) โ 1204.93ms โ > โ Average Time (HEAD) โ 53.54ms โ > โ Average Time (alamb_test_actual_pushdown) โ 54.77ms โ > โ Queries Faster โ 0 โ > โ Queries Slower โ 5 โ > โ Queries with No Change โ 17 โ > โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโ > ``` The clickbench only has several cases with real regression > 20%, and i believe those cases can be improved by combined with adaptive, i think we are at good state. -- This is an automated message from the Apache Git Service. To respond to the message, please log on to GitHub and use the URL above to go to the specific comment. To unsubscribe, e-mail: github-unsubscr...@datafusion.apache.org For queries about this service, please contact Infrastructure at: us...@infra.apache.org --------------------------------------------------------------------- To unsubscribe, e-mail: github-unsubscr...@datafusion.apache.org For additional commands, e-mail: github-h...@datafusion.apache.org
