Hello Adam, without checking any deeper your problem: maybe the filesystem on your ssds need a fstrim?
See https://www.man7.org/linux/man-pages/man8/fstrim.8.html I remember a similar issue on my test ceph cluster... Regards Jörg Am Montag, dem 05.05.2025 um 13:48 +0200 schrieb Adam Prycki: > Hello, > > we have just discovered new issue with our cephfs cluster. > All of our SSD osd have been flagged as nearful. > > Ceph df on our cluster looks very wrong. Raw storage usage shows that > SSDs are almost full, but SSD pools are hardly using any space. > > ceph df > --- RAW STORAGE --- > CLASS SIZE AVAIL USED RAW USED %RAW USED > hdd 27 PiB 16 PiB 11 PiB 11 PiB 40.57 > ssd 71 TiB 10 TiB 60 TiB 60 TiB 85.49 > TOTAL 27 PiB 16 PiB 11 PiB 11 PiB 40.68 > > --- POOLS --- > POOL ID PGS STORED OBJECTS USED > %USED > MAX AVAIL > .mgr 1 16 47 GiB 12.12k 142 GiB > 2.48 > 1.8 TiB > cephfs.arm-vol.meta 2 4096 19 GiB 2.02M 57 GiB > 1.01 > 1.8 TiB > cephfs.arm-vol.data 4 16384 7.7 PiB 2.14G 10 PiB > 58.29 > 5.5 PiB > .rgw.root 24 32 16 KiB 24 264 KiB > 0 > 2.4 PiB > bst-ro-backup.rgw.log 25 32 343 MiB 2.90k 1.0 GiB > 0 > 2.4 PiB > bst-ro-backup.rgw.control 26 32 0 B 8 0 B > 0 > 2.4 PiB > bst-ro-backup.rgw.meta 27 32 198 KiB 440 5.0 MiB > 0 > 2.4 PiB > .nfs 32 32 8.2 KiB 10 99 KiB > 0 > 2.4 PiB > > cephfs.arm-vol.meta pool seems to store 19GiB of data. > rados -p cephfs.arm-vol.meta | wc -l confirms that there are about > 2.02M > objects in that pool. > Our SSD OSDs are almost full > > ceph osd df ssd > ID CLASS WEIGHT REWEIGHT SIZE RAW USE DATA OMAP > META > AVAIL %USE VAR PGS STATUS > 807 ssd 0.43660 1.00000 447 GiB 384 GiB 382 GiB 395 MiB > 1.3 > GiB 64 GiB 85.78 1.00 85 up > 812 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 364 MiB > 2.0 > GiB 66 GiB 85.23 1.00 74 up > 569 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 347 MiB > 2.0 > GiB 66 GiB 85.24 1.00 72 up > 577 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 334 MiB > 1.5 > GiB 67 GiB 85.12 1.00 72 up > 571 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 369 MiB > 2.3 > GiB 66 GiB 85.30 1.00 86 up > 578 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 329 MiB > 1.8 > GiB 66 GiB 85.19 1.00 68 up > 1775 ssd 0.43660 1.00000 447 GiB 383 GiB 382 GiB 379 MiB > 1.2 > GiB 64 GiB 85.70 1.00 76 up > 1838 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 358 MiB > 2.3 > GiB 66 GiB 85.29 1.00 74 up > 1783 ssd 0.43660 1.00000 447 GiB 385 GiB 382 GiB 443 MiB > 2.5 > GiB 62 GiB 86.05 1.01 98 up > 1846 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 382 MiB > 1.7 > GiB 66 GiB 85.18 1.00 85 up > 1854 ssd 0.43660 1.00000 447 GiB 382 GiB 379 GiB 384 MiB > 2.4 > GiB 66 GiB 85.33 1.00 80 up > 1855 ssd 0.43660 1.00000 447 GiB 382 GiB 379 GiB 364 MiB > 2.6 > GiB 65 GiB 85.37 1.00 78 up > 1761 ssd 0.43660 1.00000 447 GiB 384 GiB 382 GiB 368 MiB > 1.7 > GiB 63 GiB 85.86 1.00 79 up > 1826 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 331 MiB > 2.2 > GiB 66 GiB 85.29 1.00 73 up > 1773 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 324 MiB > 2.0 > GiB 66 GiB 85.24 1.00 73 up > 1836 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 390 MiB > 2.3 > GiB 66 GiB 85.30 1.00 82 up > 1771 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 340 MiB > 2.3 > GiB 66 GiB 85.31 1.00 75 up > 1834 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 376 MiB > 2.1 > GiB 66 GiB 85.27 1.00 79 up > 2111 ssd 0.43660 1.00000 447 GiB 384 GiB 382 GiB 396 MiB > 2.0 > GiB 63 GiB 85.90 1.01 84 up > 2112 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 338 MiB > 2.2 > GiB 66 GiB 85.27 1.00 77 up > 2272 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 374 MiB > 2.0 > GiB 66 GiB 85.24 1.00 76 up > 2279 ssd 0.43660 1.00000 447 GiB 382 GiB 379 GiB 332 MiB > 2.5 > GiB 66 GiB 85.34 1.00 77 up > 2276 ssd 0.43660 1.00000 447 GiB 382 GiB 379 GiB 360 MiB > 2.4 > GiB 66 GiB 85.34 1.00 82 up > 2285 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 371 MiB > 2.2 > GiB 66 GiB 85.27 1.00 79 up > 2275 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 368 MiB > 2.3 > GiB 66 GiB 85.31 1.00 79 up > 2282 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 336 MiB > 2.0 > GiB 66 GiB 85.23 1.00 75 up > 2271 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 343 MiB > 1.6 > GiB 66 GiB 85.15 1.00 81 up > 2278 ssd 0.43660 1.00000 447 GiB 384 GiB 382 GiB 356 MiB > 1.7 > GiB 63 GiB 85.85 1.00 77 up > 2277 ssd 0.43660 1.00000 447 GiB 383 GiB 382 GiB 334 MiB > 1.3 > GiB 64 GiB 85.70 1.00 72 up > 2286 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 351 MiB > 2.3 > GiB 66 GiB 85.30 1.00 74 up > 2347 ssd 0.43660 1.00000 447 GiB 382 GiB 379 GiB 362 MiB > 2.6 > GiB 65 GiB 85.38 1.00 81 up > 2348 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 339 MiB > 2.0 > GiB 66 GiB 85.23 1.00 76 up > 573 ssd 0.43660 1.00000 447 GiB 382 GiB 379 GiB 404 MiB > 2.7 > GiB 65 GiB 85.40 1.00 85 up > 580 ssd 0.43660 1.00000 447 GiB 387 GiB 385 GiB 320 MiB > 2.3 > GiB 60 GiB 86.65 1.01 70 up > 169 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 415 MiB > 2.0 > GiB 66 GiB 85.24 1.00 88 up > 171 ssd 0.43660 1.00000 447 GiB 382 GiB 379 GiB 323 MiB > 2.5 > GiB 66 GiB 85.34 1.00 71 up > 1216 ssd 0.43660 1.00000 447 GiB 382 GiB 379 GiB 364 MiB > 2.5 > GiB 66 GiB 85.35 1.00 76 up > 1218 ssd 0.43660 1.00000 447 GiB 384 GiB 382 GiB 334 MiB > 1.9 > GiB 63 GiB 85.84 1.00 70 up > 811 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 377 MiB > 2.0 > GiB 66 GiB 85.24 1.00 80 up > 815 ssd 0.43660 1.00000 447 GiB 382 GiB 379 GiB 419 MiB > 2.6 > GiB 65 GiB 85.38 1.00 91 up > 810 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 312 MiB > 2.2 > GiB 66 GiB 85.27 1.00 67 up > 813 ssd 0.43660 1.00000 447 GiB 384 GiB 381 GiB 340 MiB > 2.4 > GiB 63 GiB 85.93 1.01 72 up > 1760 ssd 0.43660 1.00000 447 GiB 380 GiB 379 GiB 388 MiB > 974 > MiB 67 GiB 85.01 0.99 77 up > 1823 ssd 0.43660 1.00000 447 GiB 382 GiB 379 GiB 366 MiB > 2.5 > GiB 66 GiB 85.35 1.00 73 up > 1762 ssd 0.43660 1.00000 447 GiB 380 GiB 379 GiB 361 MiB > 1.4 > GiB 67 GiB 85.10 1.00 75 up > 1824 ssd 0.43660 1.00000 447 GiB 385 GiB 382 GiB 278 MiB > 2.6 > GiB 62 GiB 86.06 1.01 65 up > 1766 ssd 0.43660 1.00000 447 GiB 387 GiB 385 GiB 377 MiB > 1.9 > GiB 60 GiB 86.58 1.01 82 up > 1830 ssd 0.43660 1.00000 447 GiB 382 GiB 379 GiB 339 MiB > 2.6 > GiB 65 GiB 85.36 1.00 74 up > 1755 ssd 0.43660 1.00000 447 GiB 382 GiB 379 GiB 388 MiB > 2.5 > GiB 65 GiB 85.36 1.00 77 up > 1818 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 340 MiB > 2.3 > GiB 66 GiB 85.31 1.00 75 up > 1774 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 315 MiB > 2.2 > GiB 66 GiB 85.26 1.00 67 up > 1837 ssd 0.43660 1.00000 447 GiB 382 GiB 379 GiB 311 MiB > 2.5 > GiB 66 GiB 85.33 1.00 68 up > 1748 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 339 MiB > 2.4 > GiB 66 GiB 85.31 1.00 76 up > 1812 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 336 MiB > 2.2 > GiB 66 GiB 85.28 1.00 77 up > 1337 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 312 MiB > 2.3 > GiB 66 GiB 85.30 1.00 64 up > 1338 ssd 0.43660 1.00000 447 GiB 384 GiB 382 GiB 331 MiB > 1.9 > GiB 63 GiB 85.89 1.00 76 up > 1091 ssd 0.43660 1.00000 447 GiB 382 GiB 379 GiB 329 MiB > 2.5 > GiB 66 GiB 85.34 1.00 69 up > 1096 ssd 0.43660 1.00000 447 GiB 384 GiB 382 GiB 373 MiB > 1.6 > GiB 63 GiB 85.85 1.00 82 up > 1093 ssd 0.43660 1.00000 447 GiB 382 GiB 379 GiB 379 MiB > 2.6 > GiB 65 GiB 85.38 1.00 84 up > 1098 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 332 MiB > 2.3 > GiB 66 GiB 85.30 1.00 79 up > 1752 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 350 MiB > 1.5 > GiB 67 GiB 85.11 1.00 80 up > 1815 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 349 MiB > 2.3 > GiB 66 GiB 85.30 1.00 70 up > 1754 ssd 0.43660 1.00000 447 GiB 387 GiB 384 GiB 362 MiB > 2.0 > GiB 60 GiB 86.48 1.01 75 up > 1816 ssd 0.43660 1.00000 447 GiB 382 GiB 379 GiB 346 MiB > 2.5 > GiB 66 GiB 85.35 1.00 72 up > 1753 ssd 0.43660 1.00000 447 GiB 384 GiB 382 GiB 348 MiB > 1.6 > GiB 64 GiB 85.80 1.00 75 up > 1817 ssd 0.43660 1.00000 447 GiB 382 GiB 379 GiB 356 MiB > 2.4 > GiB 66 GiB 85.33 1.00 75 up > 1739 ssd 0.43660 1.00000 447 GiB 380 GiB 379 GiB 363 MiB > 1.3 > GiB 67 GiB 85.09 1.00 75 up > 1804 ssd 0.43660 1.00000 447 GiB 385 GiB 382 GiB 365 MiB > 2.6 > GiB 62 GiB 86.03 1.01 78 up > 1763 ssd 0.43660 1.00000 447 GiB 385 GiB 382 GiB 369 MiB > 2.6 > GiB 62 GiB 86.04 1.01 76 up > 1825 ssd 0.43660 1.00000 447 GiB 384 GiB 382 GiB 379 MiB > 2.2 > GiB 63 GiB 85.91 1.01 83 up > 1738 ssd 0.43660 1.00000 447 GiB 384 GiB 382 GiB 354 MiB > 1.9 > GiB 63 GiB 85.84 1.00 75 up > 1802 ssd 0.43660 1.00000 447 GiB 384 GiB 382 GiB 339 MiB > 1.6 > GiB 63 GiB 85.83 1.00 77 up > 1661 ssd 0.43660 1.00000 447 GiB 382 GiB 379 GiB 320 MiB > 2.4 > GiB 66 GiB 85.33 1.00 65 up > 1666 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 367 MiB > 2.3 > GiB 66 GiB 85.31 1.00 80 up > 1663 ssd 0.43660 1.00000 447 GiB 384 GiB 382 GiB 444 MiB > 1.9 > GiB 63 GiB 85.91 1.01 98 up > 1669 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 375 MiB > 2.2 > GiB 66 GiB 85.29 1.00 76 up > 1665 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 341 MiB > 2.1 > GiB 66 GiB 85.26 1.00 75 up > 1671 ssd 0.43660 1.00000 447 GiB 382 GiB 379 GiB 363 MiB > 2.4 > GiB 66 GiB 85.33 1.00 76 up > 1726 ssd 0.43660 1.00000 447 GiB 384 GiB 382 GiB 356 MiB > 1.7 > GiB 64 GiB 85.78 1.00 77 up > 1790 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 349 MiB > 2.3 > GiB 66 GiB 85.29 1.00 80 up > 1765 ssd 0.43660 1.00000 447 GiB 385 GiB 382 GiB 437 MiB > 2.5 > GiB 62 GiB 86.07 1.01 91 up > 1828 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 356 MiB > 2.3 > GiB 66 GiB 85.31 1.00 78 up > 1744 ssd 0.43660 1.00000 447 GiB 385 GiB 382 GiB 355 MiB > 2.5 > GiB 62 GiB 86.03 1.01 77 up > 1807 ssd 0.43660 1.00000 447 GiB 387 GiB 385 GiB 327 MiB > 1.9 > GiB 60 GiB 86.51 1.01 74 up > 1768 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 415 MiB > 2.2 > GiB 66 GiB 85.29 1.00 88 up > 1831 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 332 MiB > 2.0 > GiB 66 GiB 85.23 1.00 71 up > 1756 ssd 0.43660 1.00000 447 GiB 380 GiB 379 GiB 339 MiB > 1.3 > GiB 67 GiB 85.07 1.00 65 up > 1819 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 323 MiB > 2.3 > GiB 66 GiB 85.28 1.00 67 up > 1772 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 407 MiB > 1.8 > GiB 66 GiB 85.21 1.00 87 up > 1835 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 340 MiB > 1.5 > GiB 67 GiB 85.11 1.00 74 up > 1879 ssd 0.43660 1.00000 447 GiB 382 GiB 379 GiB 342 MiB > 2.5 > GiB 66 GiB 85.34 1.00 70 up > 1882 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 310 MiB > 2.2 > GiB 66 GiB 85.28 1.00 66 up > 1880 ssd 0.43660 1.00000 447 GiB 382 GiB 379 GiB 344 MiB > 2.6 > GiB 65 GiB 85.36 1.00 79 up > 1883 ssd 0.43660 1.00000 447 GiB 382 GiB 379 GiB 319 MiB > 2.6 > GiB 65 GiB 85.36 1.00 65 up > 1881 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 313 MiB > 2.1 > GiB 66 GiB 85.25 1.00 64 up > 1884 ssd 0.43660 1.00000 447 GiB 390 GiB 388 GiB 387 MiB > 2.1 > GiB 57 GiB 87.27 1.02 87 up > 1747 ssd 0.43660 1.00000 447 GiB 382 GiB 379 GiB 426 MiB > 2.6 > GiB 65 GiB 85.38 1.00 87 up > 1809 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 359 MiB > 1.6 > GiB 66 GiB 85.14 1.00 77 up > 1751 ssd 0.43660 1.00000 447 GiB 382 GiB 379 GiB 340 MiB > 2.6 > GiB 65 GiB 85.36 1.00 74 up > 1813 ssd 0.43660 1.00000 447 GiB 384 GiB 382 GiB 367 MiB > 2.2 > GiB 63 GiB 85.93 1.01 81 up > 1785 ssd 0.43660 1.00000 447 GiB 382 GiB 379 GiB 403 MiB > 2.5 > GiB 66 GiB 85.35 1.00 81 up > 1848 ssd 0.43660 1.00000 447 GiB 382 GiB 379 GiB 370 MiB > 2.5 > GiB 66 GiB 85.34 1.00 74 up > 1749 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 337 MiB > 1.5 > GiB 67 GiB 85.12 1.00 74 up > 1811 ssd 0.43660 1.00000 447 GiB 388 GiB 385 GiB 335 MiB > 2.5 > GiB 59 GiB 86.70 1.01 74 up > 1725 ssd 0.43660 1.00000 447 GiB 382 GiB 379 GiB 361 MiB > 2.5 > GiB 65 GiB 85.35 1.00 73 up > 1788 ssd 0.43660 1.00000 447 GiB 382 GiB 379 GiB 352 MiB > 2.6 > GiB 65 GiB 85.36 1.00 74 up > 1779 ssd 0.43660 1.00000 447 GiB 380 GiB 379 GiB 363 MiB > 1.1 > GiB 67 GiB 85.03 0.99 77 up > 1843 ssd 0.43660 1.00000 447 GiB 382 GiB 379 GiB 387 MiB > 2.4 > GiB 66 GiB 85.34 1.00 78 up > 1967 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 333 MiB > 2.2 > GiB 66 GiB 85.28 1.00 66 up > 1970 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 382 MiB > 1.9 > GiB 66 GiB 85.21 1.00 78 up > 1968 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 337 MiB > 1.9 > GiB 66 GiB 85.22 1.00 71 up > 1971 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 354 MiB > 2.1 > GiB 66 GiB 85.26 1.00 79 up > 1966 ssd 0.43660 1.00000 447 GiB 384 GiB 381 GiB 352 MiB > 1.8 > GiB 64 GiB 85.79 1.00 82 up > 1969 ssd 0.43660 1.00000 447 GiB 384 GiB 382 GiB 315 MiB > 2.3 > GiB 63 GiB 85.99 1.01 73 up > 1781 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 381 MiB > 1.8 > GiB 66 GiB 85.20 1.00 81 up > 1844 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 330 MiB > 2.1 > GiB 66 GiB 85.25 1.00 71 up > 1743 ssd 0.43660 1.00000 447 GiB 384 GiB 382 GiB 360 MiB > 2.1 > GiB 63 GiB 85.95 1.01 79 up > 1806 ssd 0.43660 1.00000 447 GiB 382 GiB 379 GiB 385 MiB > 2.4 > GiB 66 GiB 85.34 1.00 78 up > 1778 ssd 0.43660 1.00000 447 GiB 382 GiB 379 GiB 354 MiB > 2.5 > GiB 66 GiB 85.35 1.00 74 up > 1839 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 348 MiB > 1.6 > GiB 66 GiB 85.15 1.00 79 up > 1757 ssd 0.43660 1.00000 447 GiB 382 GiB 379 GiB 409 MiB > 2.5 > GiB 65 GiB 85.36 1.00 82 up > 1820 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 335 MiB > 2.1 > GiB 66 GiB 85.26 1.00 73 up > 1758 ssd 0.43660 1.00000 447 GiB 385 GiB 382 GiB 403 MiB > 2.5 > GiB 63 GiB 86.02 1.01 81 up > 1821 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 364 MiB > 2.1 > GiB 66 GiB 85.27 1.00 80 up > 1787 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 281 MiB > 2.1 > GiB 66 GiB 85.24 1.00 64 up > 1850 ssd 0.43660 1.00000 447 GiB 382 GiB 379 GiB 260 MiB > 2.6 > GiB 65 GiB 85.36 1.00 59 up > 2054 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 318 MiB > 1.6 > GiB 66 GiB 85.14 1.00 68 up > 2057 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 364 MiB > 2.3 > GiB 66 GiB 85.31 1.00 78 up > 2055 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 343 MiB > 2.1 > GiB 66 GiB 85.26 1.00 79 up > 2058 ssd 0.43660 1.00000 447 GiB 384 GiB 382 GiB 289 MiB > 2.5 > GiB 63 GiB 85.99 1.01 65 up > 2053 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 335 MiB > 2.0 > GiB 66 GiB 85.23 1.00 74 up > 2056 ssd 0.43660 1.00000 447 GiB 384 GiB 382 GiB 362 MiB > 2.3 > GiB 63 GiB 85.93 1.01 77 up > 1735 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 363 MiB > 1.8 > GiB 66 GiB 85.20 1.00 76 up > 1799 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 360 MiB > 2.1 > GiB 66 GiB 85.27 1.00 74 up > 1784 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 361 MiB > 1.8 > GiB 66 GiB 85.19 1.00 74 up > 1847 ssd 0.43660 1.00000 447 GiB 382 GiB 379 GiB 370 MiB > 2.4 > GiB 66 GiB 85.33 1.00 74 up > 1740 ssd 0.43660 1.00000 447 GiB 382 GiB 379 GiB 368 MiB > 2.4 > GiB 66 GiB 85.33 1.00 72 up > 1801 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 362 MiB > 2.1 > GiB 66 GiB 85.26 1.00 74 up > 1776 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 367 MiB > 2.1 > GiB 66 GiB 85.25 1.00 80 up > 1841 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 393 MiB > 2.1 > GiB 66 GiB 85.26 1.00 86 up > 1742 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 358 MiB > 1.6 > GiB 66 GiB 85.14 1.00 74 up > 1805 ssd 0.43660 1.00000 447 GiB 385 GiB 382 GiB 330 MiB > 2.6 > GiB 62 GiB 86.05 1.01 75 up > 1764 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 347 MiB > 2.4 > GiB 66 GiB 85.32 1.00 74 up > 1827 ssd 0.43660 1.00000 447 GiB 385 GiB 382 GiB 434 MiB > 2.3 > GiB 63 GiB 86.00 1.01 88 up > 2301 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 355 MiB > 2.3 > GiB 66 GiB 85.30 1.00 79 up > 2309 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 315 MiB > 1.7 > GiB 66 GiB 85.17 1.00 69 up > 2302 ssd 0.43660 1.00000 447 GiB 382 GiB 379 GiB 314 MiB > 2.5 > GiB 66 GiB 85.33 1.00 68 up > 2315 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 333 MiB > 2.3 > GiB 66 GiB 85.30 1.00 70 up > 2308 ssd 0.43660 1.00000 447 GiB 382 GiB 379 GiB 356 MiB > 2.4 > GiB 66 GiB 85.33 1.00 79 up > 2316 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 366 MiB > 2.3 > GiB 66 GiB 85.29 1.00 76 up > 1733 ssd 0.43660 1.00000 447 GiB 384 GiB 382 GiB 348 MiB > 1.9 > GiB 63 GiB 85.86 1.00 74 up > 1796 ssd 0.43660 1.00000 447 GiB 382 GiB 379 GiB 352 MiB > 2.6 > GiB 65 GiB 85.38 1.00 74 up > 1782 ssd 0.43660 1.00000 447 GiB 383 GiB 382 GiB 313 MiB > 1.4 > GiB 64 GiB 85.77 1.00 70 up > 1845 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 379 MiB > 2.2 > GiB 66 GiB 85.29 1.00 81 up > 1730 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 347 MiB > 2.2 > GiB 66 GiB 85.29 1.00 74 up > 1794 ssd 0.43660 1.00000 447 GiB 384 GiB 382 GiB 377 MiB > 2.1 > GiB 63 GiB 85.94 1.01 80 up > 1786 ssd 0.43660 1.00000 447 GiB 382 GiB 379 GiB 381 MiB > 2.6 > GiB 65 GiB 85.37 1.00 76 up > 1849 ssd 0.43660 1.00000 447 GiB 383 GiB 382 GiB 337 MiB > 963 > MiB 64 GiB 85.63 1.00 76 up > 1741 ssd 0.43660 1.00000 447 GiB 380 GiB 379 GiB 358 MiB > 1.4 > GiB 67 GiB 85.09 1.00 75 up > 1803 ssd 0.43660 1.00000 447 GiB 382 GiB 379 GiB 383 MiB > 2.7 > GiB 65 GiB 85.40 1.00 78 up > 1750 ssd 0.43660 1.00000 447 GiB 381 GiB 379 GiB 353 MiB > 2.1 > GiB 66 GiB 85.26 1.00 70 up > 1814 ssd 0.43660 1.00000 447 GiB 380 GiB 379 GiB 351 MiB > 772 > MiB 67 GiB 84.95 0.99 81 up > > Both ssd pools run with basic 3x replication and rack failure domain. > cephfs.arm-vol.data pool is EC pool on HDD OSDs. > I've checked few OSDs and pools are not overlapping over. > > Cluster runs on 19.2.0 and OSD nodes are ARM64. > In emergency I'm planning to just move these pool to HDDs OSD. > > Do you have any idea what could have filled these SSDs and how to > clean > it up? > > Today I've > > > Best regards > Adam Prycki > _______________________________________________ > ceph-users mailing list -- ceph-users@ceph.io > To unsubscribe send an email to ceph-users-le...@ceph.io -- Jörg Model System Engineer SysEleven GmbH Boxhagener Straße 80 10245 Berlin T +49 30 233 2012 - 0 F +49 30 616 7555 0 https://www.syseleven.de https://www.linkedin.com/company/syseleven-gmbh/ Aktueller System-Status unter: https://www.syseleven-status.net/ Firmensitz: Berlin Registergericht: AG Berlin Charlottenburg, HRB 108571 Berlin Geschäftsführer: Marc Korthaus, Jens Ihlenfeld, Andreas Hermann, Norbert Müller _______________________________________________ ceph-users mailing list -- ceph-users@ceph.io To unsubscribe send an email to ceph-users-le...@ceph.io
