Dandandan commented on PR #20820: URL: https://github.com/apache/datafusion/pull/20820#issuecomment-4121125461
> 56.6 GiB > ๐ค Benchmark completed (GKE) | [trigger](https://github.com/apache/datafusion/pull/20820#issuecomment-4117539840) > > Details > > ``` > Comparing HEAD and alamb_morsel_api > -------------------- > Benchmark clickbench_partitioned.json > -------------------- > โโโโโโโโโโโโโณโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโ > โ Query โ HEAD โ alamb_morsel_api โ Change โ > โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ > โ QQuery 0 โ 1.68 / 4.98 ยฑ6.46 / 17.89 ms โ 1.61 / 4.94 ยฑ6.46 / 17.86 ms โ no change โ > โ QQuery 1 โ 15.58 / 15.91 ยฑ0.24 / 16.18 ms โ 19.44 / 20.08 ยฑ0.60 / 21.16 ms โ 1.26x slower โ > โ QQuery 2 โ 58.01 / 58.55 ยฑ0.59 / 59.71 ms โ 52.83 / 61.11 ยฑ4.73 / 65.80 ms โ no change โ > โ QQuery 3 โ 49.04 / 52.87 ยฑ2.29 / 56.14 ms โ 48.68 / 54.01 ยฑ3.12 / 58.40 ms โ no change โ > โ QQuery 4 โ 293.61 / 326.86 ยฑ29.70 / 368.26 ms โ 294.51 / 306.75 ยฑ10.10 / 324.55 ms โ +1.07x faster โ > โ QQuery 5 โ 346.69 / 357.54 ยฑ13.13 / 382.77 ms โ 332.71 / 345.06 ยฑ9.86 / 362.29 ms โ no change โ > โ QQuery 6 โ 5.02 / 5.59 ยฑ0.52 / 6.46 ms โ 9.75 / 10.16 ยฑ0.42 / 10.85 ms โ 1.82x slower โ > โ QQuery 7 โ 17.83 / 18.46 ยฑ0.60 / 19.27 ms โ 20.16 / 21.02 ยฑ0.87 / 22.52 ms โ 1.14x slower โ > โ QQuery 8 โ 418.48 / 427.95 ยฑ7.43 / 440.50 ms โ 370.23 / 396.12 ยฑ16.20 / 416.66 ms โ +1.08x faster โ > โ QQuery 9 โ 643.10 / 663.81 ยฑ10.71 / 673.35 ms โ 523.44 / 555.40 ยฑ30.61 / 592.07 ms โ +1.20x faster โ > โ QQuery 10 โ 91.32 / 94.52 ยฑ3.28 / 100.62 ms โ 82.10 / 82.99 ยฑ1.28 / 85.46 ms โ +1.14x faster โ > โ QQuery 11 โ 104.03 / 108.06 ยฑ2.66 / 112.41 ms โ 91.72 / 94.16 ยฑ2.92 / 99.71 ms โ +1.15x faster โ > โ QQuery 12 โ 344.78 / 350.68 ยฑ4.57 / 357.65 ms โ 304.06 / 306.63 ยฑ1.68 / 308.78 ms โ +1.14x faster โ > โ QQuery 13 โ 456.05 / 462.27 ยฑ4.02 / 468.64 ms โ 431.82 / 439.41 ยฑ5.02 / 446.61 ms โ no change โ > โ QQuery 14 โ 352.32 / 357.55 ยฑ4.31 / 363.63 ms โ 324.65 / 330.58 ยฑ3.70 / 336.13 ms โ +1.08x faster โ > โ QQuery 15 โ 360.21 / 375.62 ยฑ12.29 / 392.51 ms โ 316.79 / 368.94 ยฑ48.90 / 455.04 ms โ no change โ > โ QQuery 16 โ 712.31 / 730.56 ยฑ15.30 / 755.89 ms โ 686.10 / 753.81 ยฑ79.63 / 905.79 ms โ no change โ > โ QQuery 17 โ 709.46 / 717.28 ยฑ6.48 / 726.73 ms โ 685.84 / 736.14 ยฑ41.33 / 810.22 ms โ no change โ > โ QQuery 18 โ 1433.93 / 1479.85 ยฑ25.08 / 1503.18 ms โ 1408.85 / 1508.00 ยฑ104.29 / 1695.89 ms โ no change โ > โ QQuery 19 โ 35.41 / 38.67 ยฑ3.33 / 44.46 ms โ 32.29 / 33.58 ยฑ1.07 / 35.18 ms โ +1.15x faster โ > โ QQuery 20 โ 710.58 / 724.14 ยฑ14.05 / 742.33 ms โ 512.33 / 551.40 ยฑ35.52 / 613.23 ms โ +1.31x faster โ > โ QQuery 21 โ 751.54 / 755.76 ยฑ3.15 / 759.22 ms โ 599.18 / 640.63 ยฑ38.25 / 691.37 ms โ +1.18x faster โ > โ QQuery 22 โ 1126.17 / 1142.22 ยฑ16.25 / 1172.37 ms โ 1056.47 / 1093.63 ยฑ32.33 / 1133.16 ms โ no change โ > โ QQuery 23 โ 3239.73 / 3263.96 ยฑ17.26 / 3288.54 ms โ 3125.33 / 3268.63 ยฑ92.46 / 3357.35 ms โ no change โ > โ QQuery 24 โ 105.75 / 108.98 ยฑ2.24 / 112.24 ms โ 78.17 / 84.45 ยฑ3.89 / 88.58 ms โ +1.29x faster โ > โ QQuery 25 โ 141.24 / 142.28 ยฑ0.63 / 142.85 ms โ 124.60 / 132.90 ยฑ5.18 / 138.38 ms โ +1.07x faster โ > โ QQuery 26 โ 104.22 / 106.89 ยฑ2.07 / 110.13 ms โ 77.72 / 81.72 ยฑ2.88 / 86.42 ms โ +1.31x faster โ > โ QQuery 27 โ 845.48 / 855.49 ยฑ9.09 / 872.02 ms โ 679.97 / 699.26 ยฑ20.33 / 730.30 ms โ +1.22x faster โ > โ QQuery 28 โ 7703.17 / 7762.56 ยฑ38.74 / 7815.50 ms โ 6829.60 / 7001.36 ยฑ185.69 / 7337.87 ms โ +1.11x faster โ > โ QQuery 29 โ 57.75 / 61.89 ยฑ5.41 / 72.43 ms โ 53.12 / 61.35 ยฑ4.37 / 65.52 ms โ no change โ > โ QQuery 30 โ 365.75 / 373.26 ยฑ6.22 / 382.56 ms โ 329.00 / 342.29 ยฑ8.91 / 353.51 ms โ +1.09x faster โ > โ QQuery 31 โ 361.34 / 374.88 ยฑ9.95 / 387.10 ms โ 347.24 / 357.91 ยฑ9.22 / 369.98 ms โ no change โ > โ QQuery 32 โ 1033.86 / 1064.07 ยฑ31.83 / 1125.51 ms โ 1025.36 / 1043.12 ยฑ22.41 / 1086.45 ms โ no change โ > โ QQuery 33 โ 1440.13 / 1457.99 ยฑ10.89 / 1474.03 ms โ 1451.09 / 1463.92 ยฑ12.50 / 1485.83 ms โ no change โ > โ QQuery 34 โ 1459.86 / 1489.84 ยฑ21.96 / 1524.85 ms โ 1445.56 / 1469.43 ยฑ28.50 / 1525.47 ms โ no change โ > โ QQuery 35 โ 391.55 / 398.82 ยฑ8.30 / 414.55 ms โ 330.21 / 347.77 ยฑ12.69 / 364.85 ms โ +1.15x faster โ > โ QQuery 36 โ 126.83 / 127.46 ยฑ0.79 / 128.98 ms โ 86.58 / 93.90 ยฑ8.17 / 109.43 ms โ +1.36x faster โ > โ QQuery 37 โ 50.80 / 53.53 ยฑ1.49 / 55.29 ms โ 44.75 / 50.99 ยฑ7.52 / 65.16 ms โ no change โ > โ QQuery 38 โ 76.26 / 78.77 ยฑ1.49 / 80.35 ms โ 43.45 / 48.16 ยฑ7.28 / 62.66 ms โ +1.64x faster โ > โ QQuery 39 โ 207.97 / 222.08 ยฑ9.38 / 234.83 ms โ 143.00 / 164.88 ยฑ17.44 / 188.33 ms โ +1.35x faster โ > โ QQuery 40 โ 24.78 / 27.55 ยฑ1.54 / 29.29 ms โ 19.63 / 22.86 ยฑ3.26 / 28.54 ms โ +1.21x faster โ > โ QQuery 41 โ 21.15 / 23.36 ยฑ2.07 / 26.76 ms โ 22.01 / 22.86 ยฑ1.15 / 25.11 ms โ no change โ > โ QQuery 42 โ 20.77 / 21.29 ยฑ0.33 / 21.72 ms โ 16.00 / 18.54 ยฑ1.80 / 20.71 ms โ +1.15x faster โ > โโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโ > โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโ > โ Benchmark Summary โ โ > โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ > โ Total Time (HEAD) โ 27284.64ms โ > โ Total Time (alamb_morsel_api) โ 25490.83ms โ > โ Average Time (HEAD) โ 634.53ms โ > โ Average Time (alamb_morsel_api) โ 592.81ms โ > โ Queries Faster โ 22 โ > โ Queries Slower โ 3 โ > โ Queries with No Change โ 18 โ > โ Queries with Failure โ 0 โ > โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโ > ``` > > Resource Usage > **clickbench_partitioned โ base (merge-base)** > > Metric Value > Wall time 137.5s > Peak memory 39.9 GiB > Avg memory 29.3 GiB > CPU user 1292.4s > CPU sys 89.6s > Disk read 0 B > Disk write 3.8 GiB > **clickbench_partitioned โ branch** > > Metric Value > Wall time 128.9s > Peak memory 56.6 GiB > Avg memory 40.2 GiB > CPU user 1329.6s > CPU sys 89.7s > Disk read 0 B > Disk write 120.0 KiB Based on this benchmark it seems also memory usage is up quite a bit - I wonder if it is due to prefetching or just more parallelism. I think we should also check if (row group) prefetching is even worth it on SSD - it may be the case it isn't helping. -- This is an automated message from the Apache Git Service. To respond to the message, please log on to GitHub and use the URL above to go to the specific comment. To unsubscribe, e-mail: [email protected] For queries about this service, please contact Infrastructure at: [email protected] --------------------------------------------------------------------- To unsubscribe, e-mail: [email protected] For additional commands, e-mail: [email protected]
