ceph pg dump 或者ceph osd dump ceph pg dump osds

admin

2. 常用操作2.1 查看pg组映射信息$ ceph pg dump复制
) {' j* }9 `4 x2 g3 I; k2.2 查看一个PG的map$ ceph pg map 1.2f6osdmap e7768 pg 1.2f6 (1.2f6) -> up [6,14,25] acting [6,14,25]  #其中[6,14,25]代表存储在osd.6、osd.14、osd.25节点，osd.6代表主副本存储的位置复制
; y; d( K/ y5 W( ~- Z2.3 查看PG状态$ ceph pg stat5416 pgs: 5416 active+clean; 471 GB data, 1915 GB used, 154 TB / 156 TB avail复制
# q' {% I6 k9 J: ]% X2.4 查看pg详细信息$ ceph pg 1.2f6 query复制
) \  Y# h2 i6 i! \, Z2 A8 Z$ k2.5 查看pg中stuck状态$ ceph pg dump_stuck uncleanok $ ceph pg dump_stuck inactiveok $ ceph pg dump_stuck staleok复制
2.6 显示集群所有pg统计$ ceph pg dump --format plain复制
2.7 恢复一个丢失的pg$ ceph pg {pg-id} mark_unfound_lost revert复制
2.8 显示非正常状态的pg$ ceph pg dump_stuck inactive|unclean|stale
  y2 ]' G/ z; M# S( K* V" B

- m3 a4 Y5 @4 F, `% O
[root@controller1 ~]# ceph pg dump osdsdumped osdsOSD_STAT USED    AVAIL   USED_RAW TOTAL   HB_PEERS                                                                       PG_SUM PRIMARY_PG_SUM 31       582 GiB 6.7 TiB  584 GiB 7.3 TiB  [0,1,3,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,30]    294            133 30       533 GiB 6.8 TiB  535 GiB 7.3 TiB [0,2,4,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,31]    273            129 29       564 GiB 6.7 TiB  566 GiB 7.3 TiB    [1,3,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,30]    277            147 28       629 GiB 6.7 TiB  631 GiB 7.3 TiB    [0,2,4,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,27,29,30,31]    312            158 27       625 GiB 6.7 TiB  626 GiB 7.3 TiB [1,3,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,28,29,30,31]    308            169 26       511 GiB 6.8 TiB  513 GiB 7.3 TiB    [0,2,4,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,27,29,30,31]    271            127 25       558 GiB 6.7 TiB  560 GiB 7.3 TiB    [1,3,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,24,26,27,28,29,30,31]    287            152 24       568 GiB 6.7 TiB  570 GiB 7.3 TiB [0,2,4,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,25,26,27,28,29,30,31]    290            137 23       569 GiB 6.7 TiB  570 GiB 7.3 TiB    [1,3,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,24,26,27,28,29,30,31]    286            138 22       514 GiB 6.8 TiB  515 GiB 7.3 TiB    [0,2,4,6,7,8,9,10,11,12,13,14,15,16,17,18,19,21,23,24,25,26,27,28,29,30,31]    261            121 9         89 GiB 469 GiB   90 GiB 559 GiB                                    [1,3,5,6,7,8,10,11,12,13,14,17,21,23,26,29]    337            155 8         18 MiB 446 GiB  1.0 GiB 447 GiB                                    [0,2,4,6,7,9,10,11,12,13,16,19,20,25,28,31]      0              0 7         18 MiB 446 GiB  1.0 GiB 447 GiB                                    [1,3,5,6,8,9,10,11,12,13,15,18,22,24,27,30]      0              0 6         18 MiB 446 GiB  1.0 GiB 447 GiB                                  [0,2,4,5,7,8,9,10,11,12,13,14,17,21,23,26,29]      0              0 5        2.8 GiB 890 GiB  3.8 GiB 894 GiB                              [0,1,2,3,4,6,7,8,9,10,11,12,13,16,19,20,25,28,31]     46             28 4        2.6 GiB 891 GiB  3.6 GiB 894 GiB                              [0,1,2,3,5,6,7,8,9,10,11,12,13,15,18,22,24,27,30]     44             20 0        2.5 GiB 891 GiB  3.5 GiB 894 GiB                           [1,2,3,4,5,6,7,8,9,10,11,12,13,14,17,21,23,26,29,31]     42             21 1        2.1 GiB 891 GiB  3.1 GiB 894 GiB                              [0,2,3,4,5,6,7,8,9,10,11,12,13,15,18,22,24,27,30]     33             15 2        2.0 GiB 891 GiB  3.0 GiB 894 GiB                              [0,1,3,4,5,6,7,8,9,10,11,12,13,16,19,20,25,28,31]     33             16 3        3.7 GiB 890 GiB  4.7 GiB 894 GiB                              [0,1,2,4,5,6,7,8,9,10,11,12,13,14,17,21,23,26,29]     58             28 10        93 GiB 465 GiB   94 GiB 559 GiB                                     [0,2,4,6,7,8,9,11,12,13,15,18,22,24,27,30]    352            177 11        89 GiB 469 GiB   90 GiB 559 GiB                                     [1,3,5,6,7,8,9,10,12,13,16,19,20,25,28,31]    335            180 12       107 GiB 2.1 TiB  108 GiB 2.2 TiB                                     [0,2,4,6,7,8,9,10,11,13,14,17,21,23,26,29]    512            259 13       107 GiB 2.1 TiB  109 GiB 2.2 TiB                                  [1,3,5,6,7,8,9,10,11,12,14,16,18,22,24,27,30]    512            253 14       593 GiB 6.7 TiB  594 GiB 7.3 TiB    [0,2,4,6,7,8,9,10,11,12,13,15,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31]    291            142 15       555 GiB 6.7 TiB  556 GiB 7.3 TiB [1,3,5,6,7,8,9,10,11,12,13,14,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31]    288            142 16       527 GiB 6.8 TiB  529 GiB 7.3 TiB    [0,2,4,6,7,8,9,10,11,12,13,15,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31]    280            145 17       527 GiB 6.8 TiB  528 GiB 7.3 TiB    [1,3,5,6,7,8,9,10,11,12,13,14,15,16,18,20,21,22,23,24,25,26,27,28,29,30,31]    279            141 18       515 GiB 6.8 TiB  516 GiB 7.3 TiB [0,2,4,6,7,8,9,10,11,12,13,14,15,16,17,19,20,21,22,23,24,25,26,27,28,29,30,31]    266            126 19       530 GiB 6.8 TiB  532 GiB 7.3 TiB    [1,3,5,6,7,8,9,10,11,12,13,14,15,16,18,20,21,22,23,24,25,26,27,28,29,30,31]    271            146 20       611 GiB 6.7 TiB  613 GiB 7.3 TiB    [0,2,4,6,7,8,9,10,11,12,13,14,15,16,17,18,19,21,23,24,25,26,27,28,29,30,31]    305            160 21       557 GiB 6.7 TiB  559 GiB 7.3 TiB [1,3,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,22,23,24,25,26,27,28,29,30,31]    281            147 sum       10 TiB 133 TiB   10 TiB 144 TiB                                                                                                     
& |, \' K* c$ i: n
$ i% O5 L. f6 e& I) ^3 U


6 T4 r2 j( J2 h( c- |% O0 T, |0 t
% t+ T' `* \' B5 n5 K2 z$ @

admin

[root@controller1 ~]# ceph pg dump pgs_brief
! O8 v3 ?( U  d/ {0 D* {& [; C+ f[root@controller1 ~]# ceph df detail
RAW STORAGE:
    CLASS     SIZE        AVAIL       USED       RAW USED     %RAW USED
6 f  q- h3 k% g! c6 a* R6 G    hdd       137 TiB     127 TiB     10 TiB       10 TiB          7.55
    ssd       6.5 TiB     6.5 TiB     16 GiB       25 GiB          0.37
, D( H) A9 ~0 T+ V0 z0 p  J    TOTAL     144 TiB     133 TiB     10 TiB       10 TiB          7.22
, |8 @# K) t' H
POOLS:
+ o- ^- g6 V! m- ~7 j; ]" q    POOL                 ID     STORED      OBJECTS     USED        %USED     MAX AVAIL     QUOTA OBJECTS     QUOTA BYTES     DIRTY      USED COMPR     UNDER COMPR
    images                6      94 GiB      12.04k      94 GiB      0.08        57 TiB     N/A               N/A             12.04k            0 B             0 B
8 U+ E8 i* ]+ z$ y$ _6 d    ssd-volumes           7      49 GiB      12.80k      49 GiB      0.96       2.5 TiB     N/A               N/A             12.80k            0 B             0 B
* m' W# ~7 T" ^, _/ y+ G    hdd-2.4T-volumes      8     111 GiB      29.10k     111 GiB      2.67       2.0 TiB     N/A               N/A             29.10k            0 B             0 B
! Q' `: d% X9 B. N/ t5 r    hdd-0.6T-volumes      9     135 GiB      34.62k     135 GiB      9.33       656 GiB     N/A               N/A             34.62k            0 B             0 B
    backups              10     1.8 GiB         542     1.8 GiB         0        57 TiB     N/A               N/A                542            0 B             0 B
    hdd-8T-volumes       11     5.3 TiB       1.40M     5.3 TiB      4.47        57 TiB     N/A               N/A              1.40M            0 B             0 B
# A2 s/ A; a1 v6 E9 c) v7 g    nova-vms             12       144 B           4       144 B         0        57 TiB     N/A               N/A                  4            0 B             0 B