一、FastDFS介绍
1、软件简介
FastDFS是一个开源的分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。
FastDFS服务端有两个角色：跟踪器（tracker）和存储节点（storage）。跟踪器主要做调度工作，在访问上起负载均衡的作用。
存储节点存储文件，完成文件管理的所有功能：存储、同步和提供存取接口，FastDFS同时对文件的meta data进行管理。所谓文件的meta data就是文件的相关属性，以键值对（key value pair）方式表示，如：width=1024，其中的key为width，value为1024。文件meta data是文件属性列表，可以包含多个键值对。
2、FastDFS系统结构如下图所示：
![图片[1]众客华禹 – 网站运维分享-IT技术资源教程-运维成长之路-个人随笔-华禹个人博客网站Centos7部署FastDFS(V6.01)集群众客华禹 – 网站运维分享-IT技术资源教程-运维成长之路-个人随笔-华禹个人博客网站众客华禹](https://www.zhongkehuayu.com/wp-content/uploads/2021/08/fastdfs图1.jpg)
3、工作讲解
跟踪器和存储节点都可以由一台多台服务器构成。跟踪器和存储节点中的服务器均可以随时增加或下线而不会影响线上服务。其中跟踪器中的所有服务器都是对等的，可以根据服务器的压力情况随时增加或减少。
为了支持大容量，存储节点（服务器）采用了分卷（或分组）的组织方式。存储系统由一个或多个卷组成，卷与卷之间的文件是相互独立的，所有卷 的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成，一个卷下的存储服务器中的文件都是相同的，卷中的多台存储服务器起 到了冗余备份和负载均衡的作用。
在卷中增加服务器时，同步已有的文件由系统自动完成，同步完成后，系统自动将新增服务器切换到线上提供服务。
当存储空间不足或即将耗尽时，可以动态添加卷。只需要增加一台或多台服务器，并将它们配置为一个新的卷，这样就扩大了存储系统的容量。
FastDFS中的文件标识分为两个部分：卷名和文件名，二者缺一不可。
FastDFS file upload
4、上传文件交互过程
1）client询问tracker上传到的storage，不需要附加参数；
2）tracker返回一台可用的storage；
3）client直接和storage通讯完成文件上传。
FastDFS file download
5、下载文件交互过程
1）client询问tracker下载文件的storage，参数为文件标识（卷名和文件名）；
2）tracker返回一台可用的storage；
3) client直接和storage通讯完成文件下载。
需要说明的是，client为使用FastDFS服务的调用方，client也应该是一台服务器，它对tracker和storage的调用均为服务器间的调用。
二、安装部署
软件安装包下载：https://github.com/happyfish100/fastdfs/releases
![图片[4]众客华禹 – 网站运维分享-IT技术资源教程-运维成长之路-个人随笔-华禹个人博客网站Centos7部署FastDFS(V6.01)集群众客华禹 – 网站运维分享-IT技术资源教程-运维成长之路-个人随笔-华禹个人博客网站众客华禹](https://www.zhongkehuayu.com/wp-content/uploads/2021/08/fastdfs下载-1024x769.png)
如上图，由于FastDFS是纯C语言实现，只支持Linux、FreeBSD等UNIX系统，所以我们直接下载tar.gz的压缩包，同时FastDFS 5.0.5同以前版本相比将公共的一些函数等单独封装成了libfastcommon包，所以在安装FastDFS之前我们还必须安装libfastcommon，在余大的GitHub首页可以看到： https://github.com/happyfish100/libfastcommon/releases
![图片[5]众客华禹 – 网站运维分享-IT技术资源教程-运维成长之路-个人随笔-华禹个人博客网站Centos7部署FastDFS(V6.01)集群众客华禹 – 网站运维分享-IT技术资源教程-运维成长之路-个人随笔-华禹个人博客网站众客华禹](https://www.zhongkehuayu.com/wp-content/uploads/2021/08/libfastcommon下载-1024x694.png)
1、实验环境
IP地址 系统 安装组件 192.168.0.82 Centos7.5 nginx、tracker、storage 192.168.0.84 Centos7.5 nginx、tracker、storage 192.168.0.147 Centos7.5 nginx、tracker、storage
2、部署依赖公共组件
yum install -y gcc gcc-c++ perl pcre pcre-devel zlib zlib-devel openssl openssl-devel libnl libnl-devel
3、部署libfastcommon-master
wget -O libfastcommon-master.zip https://codeload.github.com/happyfish100/libfastcommon/zip/master unzip libfastcommon-master.zip cd libfastcommon-master ./make.sh ./make.sh install ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so #检查下这个目录下有软连接没，没有则创建，正常安装成功是自动创建的
4、部署FastDFS-V6.01版
wget -O fastdfs-master.zip https://codeload.github.com/happyfish100/fastdfs/zip/master unzip fastdfs-master.zip cd fastdfs-master ./make.sh ./make.sh install
三、配置FastDFS
1、三个节点配置tracker
#创建tracker数据存储目录 mkdir /data1/fdfs/tracker -p #ip地址根据实际修改 mv /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf sed -i 's/bind_addr=/bind_addr=192.168.0.82/g' /etc/fdfs/tracker.conf #修改base_path sed -i 's:base_path=/home/yuqing/fastdfs:base_path=/data1/fdfs/tracker:g' /etc/fdfs/tracker.conf #其他要修改的参数自行根据实际调整
2、三个节点配置storage
#创建storage数据存储目录 mkdir /data1/fdfs/storage -p mkdir /data1/fdfs/storage -p #ip地址根据实际修改 mv /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf sed -i 's/bind_addr=/bind_addr=192.168.0.82/g' /etc/fdfs/storage.conf #修改base_path sed -i 's:base_path=/home/yuqing/fastdfs:base_path=/data1/fdfs/storage:g' /etc/fdfs/storage.conf #修改文件存储目录 sed -i 's:store_path0=/home/yuqing/fastdfs:store_path0=/data1/fdfs/storage/data:g' /etc/fdfs/storage.conf #修改tracker地址 sed -i 's/tracker_server=192.168.209.121:22122/tracker_server=192.168.0.82:22122/g' /etc/fdfs/storage.conf 集群有多少个就填多少个 sed -i '/^tracker_server/atracker_server=192.168.0.84:22122' /etc/fdfs/storage.conf sed -i '/^tracker_server/atracker_server=192.168.0.147:22122' /etc/fdfs/storage.conf #若有n个存储数据目录(数据盘)，需要增加store_path1,2,3,(n-1)，并修改store_path_count=n
3、启动服务
fdfs_trackerd /etc/fdfs/tracker.conf start fdfs_storaged /etc/fdfs/storage.conf start
四、测试验证
1、查看集群状态
mv /etc/fdfs/client.conf.sample /etc/fdfs/client.conf mkdir /data1/fdfs/client -p #修改base_path sed -i 's:base_path=/home/yuqing/fastdfs:base_path=/data1/fdfs/client:g' /etc/fdfs/client.conf #修改tracker地址 sed -i 's/tracker_server=192.168.0.197:22122/tracker_server=192.168.0.82:22122/g' /etc/fdfs/client.conf #查看监控信息、查看storage的状态是否为ACTIVE fdfs_monitor /etc/fdfs/client.conf
2、验证上传\下载\删除cd
#上传后会返回一个以gropu开头的ID fdfs_upload_file /etc/fdfs/client.conf xxx.txt group1/M00/00/00/ChxS9l2gL5KAPQExAAAABKV9Avc785.txt #下载时指定ID，并可以指定下载后的文件名，例如：xxx1.txt fdfs_download_file /etc/fdfs/client.conf group1/M00/00/00/ChxS9l2gL5KAPQExAAAABKV9Avc785.txt xxx1.txt #删除时指定ID fdfs_delete_file /etc/fdfs/client.conf group1/M00/00/00/ChxS9l2gL5KAPQExAAAABKV9Avc785.txt
注意：**若是通过程序直接读写文件，到此FastDFS集群部署完成。若是程序只负责写，需要通过Nginx以域名的方式访问文件，需要继续执行以下步骤。
五、FastDFS与Nginx整合
1、下载并修改fastdfs-nginx-module
wget -O fastdfs-nginx-module-master.zip https://codeload.github.com/happyfish100/fastdfs-nginx-module/zip/master unzip fastdfs-nginx-module-master.zip sed -i 's:/usr/local/include:/usr/include/fastdfs /usr/include/fastcommon:g' fastdfs-nginx-module-master/src/config
2. 下载Nginx源码包并编译
wget http://nginx.org/download/nginx-1.20.1.tar.gz tar xf nginx-1.20.1.tar.gz mkdir /usr/local/nginx #安装nginx依赖 yum install zlib pcre pcre-devel openssl openssl-devel gd-devel -y #编译nginx ./configure --prefix=/usr/local/nginx --with-http_realip_module \ --with-http_sub_module --with-http_stub_status_module \ --with-http_gzip_static_module --with-http_image_filter_module \ --with-http_ssl_module --add-module=/usr/local/nginx/fastdfs-nginx-module-1.20/src/ make -j 4 make install 如果报错 修改/root/fastdfs-nginx-module-master/src/common.c第1245行 把（pContext-> range_count> 1 &&！g_http_params.support_multi_range））最后面的条件 去掉了改成（pContext-> range_count > 1）） 重新make就好了
3、配置mod_fastdfs
#复制mod_fastdfs.conf cp fastdfs-nginx-module-master/src/mod_fastdfs.conf /etc/fdfs/ cp fastdfs-master/conf/mime.types /etc/fdfs/ cp fastdfs-master/conf/http.conf /etc/fdfs/ #修改mod_fastdfs.conf配置 mkdir /data1/fdfs/mod -p #修改base_path sed -i 's:base_path=/tmp:base_path=/data1/fdfs/mod:g' /etc/fdfs/mod_fastdfs.conf #修改tracker地址 sed -i 's/tracker_server=tracker:22122/tracker_server=192.168.0.82:22122/g' /etc/fdfs/mod_fastdfs.conf sed -i '/^tracker_server/atracker_server=192.168.0.84:22122' /etc/fdfs/mod_fastdfs.conf #修改文件存储目录 sed -i 's:store_path0=/home/yuqing/fastdfs:store_path0=/data1/fdfs/storage/data:g' /etc/fdfs/mod_fastdfs.conf #若有n个存储数据目录(数据盘)，需要增加store_path1,2,3,(n-1)，并修改store_path_count=n #若被访问的url中要包括上传文件后返回ID中的group,例如group0/M0/00/xx,则需要修改url_have_group_name = true sed -i 's/url_have_group_name = false/url_have_group_name = true/g' /etc/fdfs/mod_fastdfs.conf #当整个集群有多个group时（横向扩展时使用），需要修改group_count=n,n为group个数，并增加group对应的信息。例如： #[group1] #group_name=group1 #storage_server_port=23000 #store_path_count=2 #store_path0=/home/yuqing/fastdfs #store_path1=/home/yuqing/fastdfs1
4、创建nginx配置文件
cat fdfs.conf
server {
listen 8888;
server_name localhost;
location ~/group([1-9])/M0([0-9])/{
ngx_fastdfs_module;
}
}
5、验证
curl localhost:8888/group1/M00/00/00/ChxS9l2gL5KAPQExAAAABKV9Avc785.txt
6、配置域名反向代理到三个节点的nginx模块
upstream fdfsfile {
server 192.168.0.82:8888 weight=1 max_fails=2 fail_timeout=10s;
server 192.168.0.84:8888 weight=1 max_fails=2 fail_timeout=10s;
server 192.168.0.147:8888 backup;
}
server {
listen 443 ssl;
server_name file.xxxx.com;
ssl_certificate /usr/local/nginx/conf/ssl/xxxx.com.pem;
ssl_certificate_key /usr/local/nginx/conf/ssl/xxxx.com.key;
ssl_session_timeout 5m;
ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
ssl_ciphers ALL:!DH:!EXPORT:!RC4:+HIGH:+MEDIUM:!LOW:!aNULL:!eNULL;
ssl_prefer_server_ciphers on;
location / {
valid_referers *.xxxx.com;
if ($invalid_referer) {
return 403;
}
proxy_pass http://fdfsfile;
proxy_redirect off;
proxy_set_header HOST $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
client_max_body_size 100m;
client_body_buffer_size 1024k;
proxy_connect_timeout 90;
proxy_send_timeout 90;
proxy_read_timeout 90;
proxy_buffer_size 32k;
proxy_buffers 4 32k;
proxy_busy_buffers_size 64k;
proxy_temp_file_write_size 64k;
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
- 最新
- 最热
只看作者