FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。国开发源的
作用:费用便宜、重要资源掌握在自己手里、访问速度购买CDN
OSS存储:第三方存储服务。优点:实现技术简单,不需要搭建服务,只调用服务提供方的api即可。缺点:你的数据在第三方手上,费用高。创业型(早期成本低,快速实现)
FastDFS|MinIO:优点:数据保存企业自己手里,费用低;缺点:搭建成本、运维,访问速度(购买cdn),使用复杂 。(中大型)坚守与降低成本
FastDFS为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。
FastDFS 架构包括 Tracker server 和 Storage server。客户端请求 Tracker server 进行文件上传、下载,通过Tracker server 调度最终由 Storage server 完成文件上传和下载。
Tracker server 作用是负载均衡和调度,通过 Tracker server 在文件上传时可以根据一些策略找到Storage server 提供文件上传服务。可以将 tracker 称为追踪服务器或调度服务器。Storage server 作用是文件存储,客户端上传的文件最终存储在 Storage 服务器上,Storageserver 没有实现自己的文件系统而是利用操作系统的文件系统来管理文件。可以将storage称为存储服务器。
客户端上传文件后存储服务器将文件 ID 返回给客户端,此文件 ID 用于以后访问该文件的索引信息。文件索引信息包括:组名,虚拟磁盘路径,数据两级目录,文件名。
组名(也可以叫: 卷):文件上传后所在的 storage 组名称,在文件上传成功后有storage 服务器返回,需要客户端自行保存。
虚拟磁盘路径:storage 配置的虚拟路径,与磁盘选项store_path*对应。如果配置了
store_path0 则是 M00,如果配置了 store_path1 则是 M01,以此类推。在Nginx中可以看到。
数据两级目录:storage 服务器在每个虚拟磁盘路径下创建的两级目录,用于存储数据文件。
文件名:与文件上传时不同。是由存储服务器根据特定信息生成,文件名包含:源存储
服务器 IP 地址、文件创建时间戳、文件大小、随机数和文件拓展名等信息。
(1)虚拟机中拉取镜像
docker pull morunchang/fastdfs
(2)运行tracker
docker run -d --name tracker --restart=always --net=host morunchang/fastdfs sh tracker.sh
(3)运行storage
docker volume create fdfs-data
docker run -d --name storage --net=host -e TRACKER_IP=192.168.211.128:22122 -e GROUP_NAME=group1 -v fdfs-data:/data/fast_data morunchang/fastdfs sh storage.sh
说明:
使用的网络模式是–net=host, 192.168.211.128是宿主机的IP
group1是组名,即storage的组
如果想要增加新的storage服务器,再次运行该命令,注意更换 新组名
查询storage是否启动成功:
docker logs -f storage
有以下Successfully connect to tracker server …
设置开启自启动
docker update --restart=always tracker
(4)修改nginx
Nginx在这里主要提供对FastDFS图片访问的支持,Docker容器中已经集成了Nginx,我们需要修改nginx的配置,进入storage的容器内部,修改nginx.conf
(4.1)进入容器
docker exec -it storage /bin/bash
(4.2)修改配置
vi /etc/nginx/conf/nginx.conf
修改访问端口
(4.3) 重启storage
docker restart storage
(1)新建项目:fastdfs-demo 用作测试
(2)pom文件
4.0.0 com.mingye fastdfs-demo 1.0-SNAPSHOT org.springframework.boot spring-boot-starter-parent 2.3.8.RELEASE com.github.tobato fastdfs-client 1.26.5 org.springframework.boot spring-boot-starter-test test org.junit.vintage junit-vintage-engine
(3)编写启动类
package com.mingye;import com.github.tobato.fastdfs.FdfsClientConfig;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.context.annotation.Import;/*** @version 1.0* @description 标题* @package com.mingye*/
@SpringBootApplication
public class FastdfsApplication {public static void main(String[] args) {SpringApplication.run(FastdfsApplication.class,args);}
}
(5)yml中
fdfs:so-timeout: 1501connect-timeout: 601thumb-image: #缩略图生成参数width: 150height: 150tracker-list: #TrackerList参数,支持多个- 192.168.211.128:22122web-server-url: http://192.168.211.128/
编写测试类test下创建如下类 com.mingye.FastadfsTest:
package com.mingye;import com.github.tobato.fastdfs.domain.fdfs.StorePath;
import com.github.tobato.fastdfs.domain.proto.storage.DownloadCallback;
import com.github.tobato.fastdfs.service.FastFileStorageClient;
import org.apache.commons.io.IOUtils;
import org.junit.jupiter.api.Test;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.util.StringUtils;import java.io.*;/*** @version 1.0* @description 标题* @package com.mingye*/@SpringBootTest
public class FastadfsTest {@Autowiredprivate FastFileStorageClient storageClient;//上传图片@Testpublic void uploadFile() throws IOException {//创建流对象File file = new File("E:\\Users\\admin\\Pictures\\45.png");FileInputStream inputStream = new FileInputStream(file);long length = file.length();//获取文件的扩展名不带点String extName = StringUtils.getFilenameExtension(file.getName());//上传图片StorePath storePath = storageClient.uploadFile(inputStream,length,extName,null);System.out.println(storePath);System.out.println(storePath.getFullPath());}//删除图片//@Testpublic void deleteFile() {//group + pathstorageClient.deleteFile("group1/M00/00/00/wKjTiF_BIUqAMwDrAAAl8vdCW2Y127.png");}//下载图片@Testpublic void download() throws Exception{byte[] group1s = storageClient.downloadFile("group1", "M00/00/00/wKjTiF_BIrCAAn9IAAAl8vdCW2Y205.png", new DownloadCallback() {@Overridepublic byte[] recv(InputStream ins) throws IOException {//获取字节数组byte[] bytes = IOUtils.toByteArray(ins);return bytes;}});//下载FileOutputStream fileOutputStream = new FileOutputStream(new File("e:/abc.png"));fileOutputStream.write(group1s);fileOutputStream.close();}}