Centos7部署ceph-14.2.22(nautilus)版集群-文件存储

一、ceph的三种存储类型
1、块存储
典型设备：磁盘阵列，硬盘，主要是将裸磁盘空间映射给主机使用的。
优点：通过Raid与LVM等手段，对数据提供了保护。多块廉价的硬盘组合起来，提高容量。多块磁盘组合出来的逻辑盘，提升读写效率。
缺点：采用SAN架构组网时，光纤交换机，造价成本高。主机之间无法共享数据。
使用场景：docker容器、虚拟机磁盘存储分配。日志存储。文件存储。
2、文件存储
典型设备： FTP、NFS服务器，为了克服块存储文件无法共享的问题，所以有了文件存储。在服务器上架设FTP与NFS服务，就是文件存储。
优点：造价低，随便一台机器就可以了。方便文件共享。
缺点：读写速率低。传输速率慢。
使用场景：日志存储。有目录结构的文件存储。
3、对象存储
典型设备： 内置大容量硬盘的分布式服务器(swift, s3)，多台服务器内置大容量硬盘，安装上对象存储管理软件，对外提供读写访问功能。
优点：具备块存储的读写高速。具备文件存储的共享等特性。
使用场景： (适合更新变动较少的数据)图片存储；视频存储。
二、文件存储
1、创建mds

ceph-deploy mds create ceph1 ceph2 ceph3
ceph -s

2、一个ceph文件系统需要至少两个RADOS存储池，一个用于数据，一个用于元数据

ceph osd pool create cephfs_pool 128
ceph osd pool create cephfs_metadata 64
ceph osd pool ls |grep cephfs

3、创建ceph文件系统，并确认客户端访问的节点

ceph fs new cephfs cephfs_metadata cephfs_pool
ceph fs ls
ceph mds stat

4、在ceph1（上面查看是ceph1为up状态）上创建客户端挂载需要的验证key文件，并传给客户端ceph默认启用了cephx认证，要求客户端的挂载必须要用户名和密码验证

使用ceph-authtool验证工具产生密码key文件
ceph-authtool -p /etc/ceph/ceph.client.admin.keyring > /etc/ceph/admin.key
#拷贝至客户端
scp admin.key 192.168.112.110:/root

5、部署客户端

#配置免密登录
ssh-copy-id -i 192.168.112.110
ceph-deploy install 192.168.112.110
#同步文件至客户端
ceph-deploy --overwrite-conf admin 192.168.112.110

6、在客户端安装ceph-fuse,并使用ceph1产生的key文件进行挂载

yum install ceph-fuse -y
客户端挂载，192.168.112.130为ceph1的IP，/root/admin.key为密码key文件
mount -t ceph 192.168.112.130:6789:/ /mnt -o name=admin,secretfile=/root/admin.key
df -h|tail -1

7、客户端读写操作测试

echo haha >/mnt/123.txt
cat /mnt/123.txt

8、删除文件存储

1）客户端删除文件，取消挂载
rm -rf /mnt/*
#取消挂载
umount /mnt
2)停掉所有节点的mds(只有停掉mds才能删除文件存储)
systemctl stop ceph-mds.target