zhanguo1110 的BLOG
用户名：zhanguo1110
文章数：149
评论数：20
访问量：88274
注册日期：
阅读量：5863
阅读量：12276
阅读量：396011
阅读量：1086672
51CTO推荐博文
一、处理osd故障1、如果一个硬盘故障导致osd节点出现如下的down状态，且一直无法恢复（ reweight列等于0，表示osd已经out此集群）[root@os-node3 ~]# ceph osd tree&# id & &weight &type name & & & up/down reweight-1 & & &4 & & & root default-2 & & &1 & & & & & & & host os-node50 & & & 1 & & & & & & & & & & & osd.24 & down & &0通过命令获得down状态的osd的IDosd_id =` ceph osd tree | grep down | grep osd | awk '{print $3}' | awk -F . '{print $2}`1）、在集群中删除一个osd硬盘[root@PBS-OS-node155 ~]# ceph osd rm 24removed osd.242）、在集群中删除一个osd 硬盘 crush map[root@PBS-OS-node155 ~]# ceph osd crush rm osd.24removed item id 24 name 'osd.24' from crush map3）、删除此osd在ceph集群中的认证[root@PBS-OS-node155 ~]# ceph auth del osd.24updated4）、卸载osd所挂载的硬盘[root@PBS-OS-node155 ~]# umount /var/lib/ceph/osd/ceph-24摘掉osd的脚本如下osd_id=`ceph osd tree | grep down | grep osd | awk '{print $3}' | awk -F . '{print $2}'`ceph osd rm ${osd_id}ceph osd crush rm osd.${osd_id}ceph auth del osd.${osd_id}umount /var/lib/ceph/osd/ceph-${osd_id}本文出自 “” 博客，请务必保留此出处
了这篇文章
类别：┆阅读(0)┆评论(0)Ceph性能调优——Journal与tcmalloc_服务器应用_Linux公社-Linux系统门户网站
你好，游客
Ceph性能调优——Journal与tcmalloc
来源：Linux社区&
作者：hustcat
最近对Ceph做了一下简单的性能测试，发现Journal的性能与tcmalloc的版本对性能影响很大。
# rados -p tmppool -b 4096
bench 120 write
-t 32 --run-name test1
object sizebw(MB/s)lantency(s)pool sizejournaltcmalloc versionmax thread cache
可以看到：
（1)SSD journal带来了一倍的性能提升；
（2)使用tcmalloc 2.1，并调整max thread cache参数后，也带来了将近一倍的性能提升；
（3)副本数量对性能的影响也很大。
tcmalloc的问题
Ceph自带的tcmalloc为2.0，测试过程中发现CPU利用率很高，几乎90%：
Samples: 265K of event 'cycles', Event count (approx.):
libtcmalloc.so.4.1.0
tcmalloc::CentralFreeList::FetchFromSpans()
libtcmalloc.so.4.1.0
tcmalloc::ThreadCache::ReleaseToCentralCache(tcmalloc::ThreadCache::FreeList*,
unsigned long,
libtcmalloc.so.4.1.0
tcmalloc::CentralFreeList::ReleaseToSpans(void*)
[.] append_chain
libtcmalloc.so.4.1.0
tcmalloc::CentralFreeList::ReleaseListToSpans(void*)
libtcmalloc.so.4.1.0
tcmalloc::CentralFreeList::RemoveRange(void**, void**, int)
libtcmalloc.so.4.1.0
[.] 0x7e6f
libtcmalloc.so.4.1.0
tcmalloc::ThreadCache::IncreaseCacheLimitLocked()
libc-2.12.so
[.] memcpy
libtcmalloc.so.4.1.0
[.] operator delete(void*)
这是因为tcmalloc的TCMALLOC_MAX_TOTAL_THREAD_CACHE_BYTES默认值太小，导致线程竞争引起的。邮件列表已经很多讨论这个问题：
调整该参数后，性能大幅提升，同时CPU利用率大幅下降。
Samples: 280K of event 'cycles', Event count (approx.):
libtcmalloc.so.4.1.2
[.] tcmalloc::CentralFreeList::FetchFromSpans()
libtcmalloc.so.4.1.2
[.] tcmalloc::ThreadCache::ReleaseToCentralCache(tcmalloc::ThreadCache::FreeList*, unsigned long, i
libtcmalloc.so.4.1.2
[.] 0x7dcf
libc-2.12.so
[.] memcpy
libtcmalloc.so.4.1.2
[.] operator delete(void*)
libtcmalloc.so.4.1.2
[.] tcmalloc::CentralFreeList::ReleaseToSpans(void*)
[k] _raw_spin_lock
Journal相关
Journal大小
Journal大小的选择尊循下面的规则：
osd journal size = {2 * (expected throughput * filestore max sync interval)}
即osd journal的大小应该设置为(磁盘的带宽 * 同步时间) 的2倍。参考。
Journal存储介质
由于OSD先写日志，然后异步写数据，所以写journal的速度至关重要。Journal的存储介质的选择参考
SSD: Intel sG的结果：
# fio --filename=/data/fio.dat --size=5G --direct=1 --sync=1 --bs=4k
--iodepth=1 --numjobs=32 --thread
--rw=write --runtime=120 --group_reporting --time_base --name=test_write
write: io=3462.8MB, bw=29547KB/s, iops=7386 , runt=120005msec
clat (usec): min=99 , max=51201 , avg=4328.97, stdev=382.90
lat (usec): min=99 , max=51201 , avg=4329.26, stdev=382.86
在线调整journal
(1)set noout
# ceph osd set noout
cluster 4a680a44-623f-4f5c-83b3-4
health HEALTH_WARN noout flag(s) set
(2)stop all osd
# service ceph stop osd
(3)flush journal
# cat flush.sh
#!/bin/bash
end=`expr $i + $num`
while [ $i -lt $end ]
ceph-osd -i $i --flush-journal
i=$((i+1))
(4)change ceph.conf
增加如下内容：
[osd] osd journal = /data/ceph/osd$id/journal osd journal size = 5120
(5)create new journal
# cat mkjournal.sh
#!/bin/bash
end=`expr $i + $num`
while [ $i -lt $end ]
mkdir -p /data/ceph/osd$i
ceph-osd -i $i --mkjournal
#ceph-osd -i $i --mkjournal
i=$((i+1))
(6)start ceph-osd deamon
# service ceph start osd
(7)clear noout
# ceph osd unset noout
两个小问题
在ext3文件系统上，mkjournal会报下面的错误：
14:45:30.fc865b3a800 -1 journal FileJournal::open: disabling aio for non-block journal. Use journal_force_aio to force use of aio anyway
14:45:30.fc865b3a800 -1 journal FileJournal::open_file : unable to preallocation journal to
bytes: (22) Invalid argument
14:45:30.fc865b3a800 -1 filestore(/var/lib/ceph/osd/ceph-23) mkjournal error creating journal on /data/ceph/osd23/journal: (22) Invalid argument
14:45:30.fc865b3a800 -1 ** ERROR: error creating fresh journal /data/ceph/osd23/journal for object store /var/lib/ceph/osd/ceph-23: (22) Invalid argument
这是因为ext3不支持fallocate：
int FileJournal::_open_file(int64_t oldsize, blksize_t blksize,
bool create)
if (create && (oldsize & conf_journal_sz)) {
uint64_t newsize(g_conf-&osd_journal_size);
newsize &&= 20;
dout(10) && "_open extending to " && newsize && " bytes" &&
ret = ::ftruncate(fd, newsize);
if (ret & 0) {
derr && "FileJournal::_open_file : unable to extend journal to "
&& newsize && " bytes: " && cpp_strerror(err) &&
ret = ::posix_fallocate(fd, 0, newsize);
if (ret) {
derr && "FileJournal::_open_file : unable to preallocation journal to "
&& newsize && " bytes: " && cpp_strerror(ret) &&
max_size =
当journal为文件时，打开journal文件时，会输出下面的错误：
17:27:48.f -1 journal FileJournal::_open: disabling aio for non-block journal. Use journal_force_aio to force use of aio anyway
即ceph对于这种情况不会使用aio，为什么呢？？？
int FileJournal::_open(bool forwrite, bool create)
if (S_ISBLK(st.st_mode)) {
ret = _open_block_device();
if (aio && !force_aio) {
derr && "FileJournal::_open: disabling aio for non-block journal.
&& "journal_force_aio to force use of aio anyway" &&
aio = ///不使用aio
ret = _open_file(st.st_size, st.st_blksize, create);
7.1 上安装分布式存储系统 Ceph&
Ceph环境配置文档 PDF &
CentOS 6.3上部署Ceph &
Ceph的安装过程 &
HOWTO Install Ceph On FC12, FC上安装Ceph分布式文件系统 &
Ceph 文件系统安装 &
CentOS 6.2 64位上安装Ceph 0.47.2 &
12.04 Ceph分布式文件系统 &
14上安装 Ceph 0.24 &
Ceph 的详细介绍：Ceph 的下载地址：
本文永久更新链接地址：
相关资讯 & & &
& (03月03日)
& (02月15日)
& (03月03日)
& (02月17日)
& (02月15日)
　　　同意评论声明
　　　发表
尊重网上道德，遵守中华人民共和国的各项有关法律法规
承担一切因您的行为而直接或间接导致的民事或刑事法律责任
本站管理人员有权保留或删除其管辖留言中的任意内容
本站有权在网站内转载或引用您的评论
参与本评论即表明您已经阅读并接受上述条款shark_tear 的BLOG
用户名：shark_tear
文章数：13
访问量：1805
注册日期：
阅读量：5863
阅读量：12276
阅读量：396011
阅读量：1086672
51CTO推荐博文
& & & & ceph存储集群是建立在两台服务器上面，两台服务器各有4个OSD节点，上班的时候发现，两台服务器上其中一台服务器上4个OSD节点全部掉线，重启OSD节点后恢复正常。查看OSD节点日志后发现，整个故障过程如下：1.&单个OSD节点接收不到另外一台服务器节点上的所有OSD心跳信息，日志记录如下&17:43:42.f716e0a7700&-1&osd.0&70&heartbeat_check:&no&reply&from&osd.5&since&back&&17:43:22.233321&front&&17:43:41.335367&(cutoff&&17:43:22.426050)
&17:43:42.f716e0a7700&-1&osd.0&70&heartbeat_check:&no&reply&from&osd.6&since&back&&17:43:22.233321&front&&17:43:41.335367&(cutoff&&17:43:22.426050)
&17:43:42.f716e0a7700&-1&osd.0&70&heartbeat_check:&no&reply&from&osd.7&since&back&&17:43:22.233321&front&&17:43:41.335367&(cutoff&&17:43:22.426050)
&17:43:42.f716e0a7700&-1&osd.0&70&heartbeat_check:&no&reply&from&osd.8&since&back&&17:43:22.233321&front&&17:43:41.335367&(cutoff&&17:43:22.426050)2.&单个OSD节点接收不到相同服务器上其他节点的OSD心跳信息；&17:43:53.f716e0a7700&-1&osd.0&74&heartbeat_check:&no&reply&from&osd.1&since&back&&17:43:26.134353&front&&17:43:51.036748&(cutoff&&17:43:33.427873)
&17:43:53.f716e0a7700&-1&osd.0&74&heartbeat_check:&no&reply&from&osd.3&since&back&&17:43:26.134353&front&&17:43:51.036748&(cutoff&&17:43:33.427873)
&17:44:07.f&-1&osd.0&75&heartbeat_check:&no&reply&from&osd.2&ever&on&either&front&or&back,&first&ping&sent&&17:43:47.636418&(cutoff&&17:43:47.937950)3.&该OSD节点被map标记为down状态，日志提示是：map&wrongly&mark&me&down；&18:52:58.f&&0&log_channel(cluster)&log&[WRN]&:&map&e83&wrongly&marked&me&down4.&OSD节点无法绑定到网卡中任意一个端口；&18:52:58.f&-1&accepter.accepter.bind&unable&to&bind&to&192.168.10.210:7300&on&any&port&in&range&:&(99)&Cannot&assign&requested&address
&18:52:58.f&-1&accepter.accepter.bind&was&unable&to&bind.&Trying&again&in&5&seconds5.&OSD节点准备进入down状态，开始存储文件，进入down状态。&18:53:18.f&&0&osd.0&83&prepare_to_stop&starting&shutdown
&18:53:18.f&-1&osd.0&83&shutdown
&18:53:18.f&20&osd.0&83&&kicking&pg&4.76然后查看其他mds日志，mon日志均没有查到原因所在，于是去查看系统日志/var/log/messages，查看故障出现那个时间点的日志，这才找到原因所在，日志如下：Mar&21&17:43:23&cephadmin1&kernel:&e1000:&enp5s0&NIC&Link&is&Down
Mar&21&17:43:23&cephadmin1&NetworkManager[1021]:&&info&&&(enp5s0):&link&disconnected&(deferring&action&for&4&seconds)
Mar&21&17:43:28&cephadmin1&NetworkManager[1021]:&&info&&&(enp5s0):&link&disconnected&(calling&deferred&action)
Mar&21&17:43:28&cephadmin1&NetworkManager[1021]:&&info&&&(enp5s0):&device&state&change:&activated&-&&unavailable&(reason&'carrier-changed')&[100&20&40]
Mar&21&17:43:28&cephadmin1&NetworkManager[1021]:&&info&&&(enp5s0):&canceled&DHCP&transaction,&DHCP&client&pid&32494
Mar&21&17:43:28&cephadmin1&NetworkManager[1021]:&&info&&&(enp5s0):&DHCPv6&state&changed&bound&-&&done
Mar&21&17:43:28&cephadmin1&avahi-daemon[973]:&Withdrawing&address&record&for&192.168.10.210&on&enp5s0.
Mar&21&17:43:28&cephadmin1&avahi-daemon[973]:&Leaving&mDNS&multicast&group&on&interface&enp5s0.IPv4&with&address&192.168.10.210.
Mar&21&17:43:28&cephadmin1&avahi-daemon[973]:&Interface&enp5s0.IPv4&no&longer&relevant&for&mDNS.
Mar&21&17:43:28&cephadmin1&avahi-daemon[973]:&Withdrawing&address&record&for&b:34f:207:e9ff:fe08:51&on&enp5s0.
Mar&21&17:43:28&cephadmin1&avahi-daemon[973]:&Withdrawing&address&record&for&fd26:b3dd:d727:0:207:e9ff:fe08:51&on&enp5s0.Mar&21&17:43:28&cephadmin1&avahi-daemon[973]:&Withdrawing&address&record&for&fd26:b3dd:d727::863&on&enp5s0.
Mar&21&17:43:28&cephadmin1&NetworkManager[1021]:&&info&&&Policy&set&'enp3s0'&(enp3s0)&as&default&for&IPv6&routing&and&DNS.
Mar&21&17:43:28&cephadmin1&dbus-daemon:&dbus[987]:&[system]&Activating&via&systemd:&service&name='org.freedesktop.nm_dispatcher'&unit='dbus-org.freedesktop.nm-dispatcher.service'
Mar&21&17:43:28&cephadmin1&dbus[987]:&[system]&Activating&via&systemd:&service&name='org.freedesktop.nm_dispatcher'&unit='dbus-org.freedesktop.nm-dispatcher.service'
Mar&21&17:43:28&cephadmin1&systemd:&Starting&Network&Manager&Script&Dispatcher&Service...
Mar&21&17:43:28&cephadmin1&dbus[987]:&[system]&Successfully&activated&service&'org.freedesktop.nm_dispatcher'
Mar&21&17:43:28&cephadmin1&systemd:&Started&Network&Manager&Script&Dispatcher&Service.
Mar&21&17:43:28&cephadmin1&dbus-daemon:&dbus[987]:&[system]&Successfully&activated&service&'org.freedesktop.nm_dispatcher'
Mar&21&17:43:28&cephadmin1&nm-dispatcher:&Dispatching&action&'down'&for&enp5s0
Mar&21&17:43:41&cephadmin1&ceph-osd:&&17:43:41.efd2c5b4700&-1&osd.3&70&heartbeat_check:&no&reply&from&osd.5&since&back&&17:43:21.362339&front&&17:43:41.064144&(cutoff&&17:43:21.426080)
Mar&21&17:43:41&cephadmin1&ceph-osd:&&17:43:41.efd2c5b4700&-1&osd.3&70&heartbeat_check:&no&reply&from&osd.6&since&back&&17:43:21.362339&front&&17:43:41.064144&(cutoff&&17:43:21.426080)从日志中我们可以清楚地看到，这个时间点，ceph集群用来传输数据的网卡down掉了，然后NetworkManager开始处理网卡的一些信息并尝试重启网卡，但是重启失败。突然想起来以前在一篇文章中看到过，CentOS系统中自带的network程序会和GNOME桌面带的NetworManger冲突，导致网卡出现问题。这里应该也是相同的原因。于是关掉NetworkManger并关掉它的自启动程序。systemctl&stop&NetworkManger
systemctl&disable&NetworkManager过了两天每天观察，再没出现过单个服务器所有OSD节点全部down掉的故障，说明故障原因确实在这里。本文出自 “” 博客，请务必保留此出处
了这篇文章
类别：┆阅读(0)┆评论(0)中国领先的IT技术网站
51CTO旗下网站
IP改变引起的Ceph monitor异常及OSD盘崩溃的总结
公司搬家，所有服务器的ip改变。对ceph服务器配置好ip后启动，发现monitor进程启动失败，monitor进程总是试图绑定到以前的ip地址，那当然不可能成功了。
作者：壬癸甲乙来源：壬癸甲乙的博客| 10:06
公司搬家，所有服务器的ip改变。对ceph服务器配置好ip后启动，发现monitor进程启动失败，monitor进程总是试图绑定到以前的ip地址，那当然不可能成功了。开始以为服务器的ip设置有问题，在改变hostname、ceph.conf等方法无果后，逐步分析发现，是monmap中的ip地址还是以前的ip，ceph通过读取monmap来启动monitor进程，所以需要修改monmap。方法如下：
&&&&--add&osd2&192.168.32.4:6789&--fsid&61a520db-317b-41f1-9752-30cedc5ffb9a&\ &&&--clobber&monmap && &&&& &&&& &&&&&
再启动monitor，一切正常。
但出现了上一篇文章中描述的一块osd盘挂掉的情况。查了一圈，只搜到ceph的官网上说是ceph的一个bug。无力修复，于是删掉这块osd，再重装：
&&&&& &&&&&&&
完成后重启该osd，成功运行。ceph会自动平衡数据，最后的状态是：
[root@osd2&~]&&&&&cluster&61a520db-317b-41f1-9752-30cedc5ffb9a&&&&&&health&HEALTH_WARN&9&pgs&&9&pgs&stuck&&9&pgs&stuck&&3&requests&are&blocked&&&32&sec &&&&&&monmap&e3:&3&mons&at&{mon0=192.168.32.2:6789/0,osd1=192.168.32.3:6789/0,osd2=192.168.32.4:6789/0},&election&epoch&76,&quorum&0,1,2&mon0,osd1,osd2 &&&&&&osdmap&e689:&6&osds:&6&up,&6&in&&&&&&&pgmap&v189608:&704&pgs,&5&pools,&34983&MB&data,&8966&objects &&&&&&&&&&&&&69349&MB&used,&11104&GB&/&11172&GB&avail &&&&&&&&&&&&&&&&&&695&active+clean &&&&&&&&&&&&&&&&&&&&9&incomplete&
出现了9个pg的incomplete状态。
[root@osd2&~]&HEALTH_WARN&9&pgs&&9&pgs&stuck&&9&pgs&stuck&&3&requests&are&blocked&&&32&&1&osds&have&slow&requests &pg&5.95&is&stuck&inactive&for&721,&current&state&incomplete,&last&acting&[1,4] &pg&5.66&is&stuck&inactive&since&forever,&current&state&incomplete,&last&acting&[4,0] &pg&5.de&is&stuck&inactive&for&968,&current&state&incomplete,&last&acting&[0,4] &pg&5.f5&is&stuck&inactive&for&887,&current&state&incomplete,&last&acting&[0,4] &pg&5.11&is&stuck&inactive&since&forever,&current&state&incomplete,&last&acting&[4,1] &pg&5.30&is&stuck&inactive&for&403,&current&state&incomplete,&last&acting&[0,4] &pg&5.bc&is&stuck&inactive&since&forever,&current&state&incomplete,&last&acting&[4,1] &pg&5.a7&is&stuck&inactive&for&372,&current&state&incomplete,&last&acting&[1,4] &pg&5.22&is&stuck&inactive&for&204,&current&state&incomplete,&last&acting&[0,4] &pg&5.95&is&stuck&unclean&for&796,&current&state&incomplete,&last&acting&[1,4] &pg&5.66&is&stuck&unclean&since&forever,&current&state&incomplete,&last&acting&[4,0] &pg&5.de&is&stuck&unclean&for&039,&current&state&incomplete,&last&acting&[0,4] &pg&5.f5&is&stuck&unclean&for&958,&current&state&incomplete,&last&acting&[0,4] &pg&5.11&is&stuck&unclean&since&forever,&current&state&incomplete,&last&acting&[4,1] &pg&5.30&is&stuck&unclean&for&475,&current&state&incomplete,&last&acting&[0,4] &pg&5.bc&is&stuck&unclean&since&forever,&current&state&incomplete,&last&acting&[4,1] &pg&5.a7&is&stuck&unclean&for&443,&current&state&incomplete,&last&acting&[1,4] &pg&5.22&is&stuck&unclean&for&274,&current&state&incomplete,&last&acting&[0,4] &pg&5.de&is&incomplete,&acting&[0,4] &pg&5.bc&is&incomplete,&acting&[4,1] &pg&5.a7&is&incomplete,&acting&[1,4] &pg&5.95&is&incomplete,&acting&[1,4] &pg&5.66&is&incomplete,&acting&[4,0] &pg&5.30&is&incomplete,&acting&[0,4] &pg&5.22&is&incomplete,&acting&[0,4] &pg&5.11&is&incomplete,&acting&[4,1] &pg&5.f5&is&incomplete,&acting&[0,4] &2&ops&are&blocked&&&8388.61&sec &1&ops&are&blocked&&&4194.3&sec &2&ops&are&blocked&&&8388.61&sec&on&osd.0&1&ops&are&blocked&&&4194.3&sec&on&osd.0&1&osds&have&slow&requests&
查了一圈无果。一个有同样遭遇的人的一段话：
I&already&tried&&ceph&pg&repair&4.77&,&stop/start&OSDs,&&ceph&osd&lost&,&&ceph&pg&force_create_pg&4.77&. &Most&scary&thing&is&&force_create_pg&&does&not&work.&At&least&it&should&be&a&way&to&wipe&out&a&incomplete&PG &without&destroying&a&whole&pool.&
以上方法尝试了一下，都不行。暂时无法解决，感觉有点坑。
PS：常用pg操作
[root@osd2&~]&osdmap&e689&pg&5.de&(5.de)&-&&up&[0,4]&acting&[0,4] &[root@osd2&~]&[root@osd2&~]&instructing&pg&5.de&on&osd.0&to&scrub &[root@osd2&~]&pg&has&no&unfound&objects &&&&[root@osd2&~]&Error&EPERM:&are&you&SURE?&&this&might&mean&real,&permanent&data&loss.&&pass&--yes-i-really-mean-it&if&you&really&do. &[root@osd2&~]&[root@osd2&~]&osd.4&is&not&down&or&doesn't&exist &[root@osd2&~]&===&osd.4&===& &Stopping&Ceph&osd.4&on&osd2...kill&22287...kill&22287...done &[root@osd2&~]&marked&osd&lost&in&epoch&690&[root@osd1&mnt]&instructing&pg&5.de&on&osd.0&to&repair &[root@osd1&mnt]&instructing&pg&5.de&on&osd.0&to&repair&
本文出自：
【责任编辑： TEL：（010）】
大家都在看猜你喜欢
头条头条外电头条外电
24H热文一周话题本月最赞
讲师：0人学习过
讲师：0人学习过
讲师：5人学习过
精选博文论坛热帖下载排行
Linux出色的网络功能堪称当今操作系统中的佼佼者，无论在功能还是在支持能力上都有令人满意的表现。Linux内置的多个服务器，几乎包含了目前...
订阅51CTO邮刊温馨提示！由于新浪微博认证机制调整，您的新浪微博帐号绑定已过期，请重新绑定！&&|&&
PostgreSQL 高校实验室,企业,社区大联盟才是未来的方向.
LOFTER精选
网易考拉推荐
用微信&&“扫一扫”
将文章分享到朋友圈。
用易信&&“扫一扫”
将文章分享到朋友圈。
& & 本文将讲一下如何移除OSD daemon, 在移除osd之前, 请务必确保osd移除后, 集群中能放下所有的数据, 例如集群总共有100TB的空间, 已用90TB, 每个OSD daemon假设有1TB空间, 那么移除一个OSD后剩余99TB, 还能存下90T的数据. 所以这样是没有问题的,& & 移除OSD daemon的步骤分4步 :&& & 1. 冻结需要移除的OSDceph osd out {osd-num}& & 2. 观察自动迁移OSD中的内容到集群中的其他OSDceph -w你会观察到OSD的状态从"active+clean" to "active, some degraded objects", 最终回到 "active+clean"回到active+clean后, 说明OSD的数据已经重分布完成. 可以进行第三步了& & 3. 停需要移除的osd daemon服务/进程sudo /etc/init.d/ceph stop osd.{osd-num}或ps -ewf| kill it& & 4. 从集群中移除osd daemon信息: crush map, key, data, journal, 修改剩余OSD节点的configure.任意ceph osd/mon节点执行 :&ceph osd crush remove {name}ceph auth del osd.{osd-num}移除节点ceph osd rm {osd-num}& #for exampleceph osd rm 1修改剩余节点配置, 例如vi {cluster_name}.conf :&vim ceph.conf移除[osd.1]& & & & host = {hostname}[参考]1.&2.&
阅读(2782)|
用微信&&“扫一扫”
将文章分享到朋友圈。
用易信&&“扫一扫”
将文章分享到朋友圈。
历史上的今天
在LOFTER的更多文章
loftPermalink:'',
id:'fks_',
blogTitle:'ceph remove osd',
blogAbstract:'& & 前面讲了一下如何添加OSD daemon.'
{list a as x}
{if x.moveFrom=='wap'}
{elseif x.moveFrom=='iphone'}
{elseif x.moveFrom=='android'}
{elseif x.moveFrom=='mobile'}
${a.selfIntro|escape}{if great260}${suplement}{/if}
{list a as x}
推荐过这篇日志的人：
{list a as x}
{if !!b&&b.length>0}
他们还推荐了：
{list b as y}
转载记录：
{list d as x}
{list a as x}
{list a as x}
{list a as x}
{list a as x}
{if x_index>4}{break}{/if}
${fn2(x.publishTime,'yyyy-MM-dd HH:mm:ss')}
{list a as x}
{if !!(blogDetail.preBlogPermalink)}
{if !!(blogDetail.nextBlogPermalink)}
{list a as x}
{if defined('newslist')&&newslist.length>0}
{list newslist as x}
{if x_index>7}{break}{/if}
{list a as x}
{var first_option =}
{list x.voteDetailList as voteToOption}
{if voteToOption==1}
{if first_option==false},{/if}&&“${b[voteToOption_index]}”&&
{if (x.role!="-1") },“我是${c[x.role]}”&&{/if}
&&&&&&&&${fn1(x.voteTime)}
{if x.userName==''}{/if}
网易公司版权所有&&
{list x.l as y}
{if defined('wl')}
{list wl as x}{/list}