FastDFS
admin
2024-05-08 19:42:39
0

1 FastDFS

1.1 FastDFS介绍

FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。国开发源的

作用:费用便宜、重要资源掌握在自己手里、访问速度购买CDN

OSS存储:第三方存储服务。优点:实现技术简单,不需要搭建服务,只调用服务提供方的api即可。缺点:你的数据在第三方手上,费用高。创业型(早期成本低,快速实现)

FastDFS|MinIO:优点:数据保存企业自己手里,费用低;缺点:搭建成本、运维,访问速度(购买cdn),使用复杂 。(中大型)坚守与降低成本

FastDFS为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

FastDFS 架构包括 Tracker server 和 Storage server。客户端请求 Tracker server 进行文件上传、下载,通过Tracker server 调度最终由 Storage server 完成文件上传和下载。

Tracker server 作用是负载均衡和调度,通过 Tracker server 在文件上传时可以根据一些策略找到Storage server 提供文件上传服务。可以将 tracker 称为追踪服务器或调度服务器。Storage server 作用是文件存储,客户端上传的文件最终存储在 Storage 服务器上,Storageserver 没有实现自己的文件系统而是利用操作系统的文件系统来管理文件。可以将storage称为存储服务器。

1.2 文件上传流程

客户端上传文件后存储服务器将文件 ID 返回给客户端,此文件 ID 用于以后访问该文件的索引信息。文件索引信息包括:组名,虚拟磁盘路径,数据两级目录,文件名。

组名(也可以叫: 卷):文件上传后所在的 storage 组名称,在文件上传成功后有storage 服务器返回,需要客户端自行保存。

虚拟磁盘路径:storage 配置的虚拟路径,与磁盘选项store_path*对应。如果配置了

store_path0 则是 M00,如果配置了 store_path1 则是 M01,以此类推。在Nginx中可以看到。

数据两级目录:storage 服务器在每个虚拟磁盘路径下创建的两级目录,用于存储数据文件。

文件名:与文件上传时不同。是由存储服务器根据特定信息生成,文件名包含:源存储

服务器 IP 地址、文件创建时间戳、文件大小、随机数和文件拓展名等信息。

1.3 FastDFS服务端搭建

(1)虚拟机中拉取镜像

docker pull morunchang/fastdfs

(2)运行tracker

docker run -d --name tracker --restart=always --net=host morunchang/fastdfs sh tracker.sh

(3)运行storage

docker volume create fdfs-data
docker run -d --name storage --net=host -e TRACKER_IP=192.168.211.128:22122 -e GROUP_NAME=group1 -v fdfs-data:/data/fast_data morunchang/fastdfs sh storage.sh

说明:

使用的网络模式是–net=host, 192.168.211.128是宿主机的IP
group1是组名,即storage的组
如果想要增加新的storage服务器,再次运行该命令,注意更换 新组名

查询storage是否启动成功:

docker logs -f storage

有以下Successfully connect to tracker server …

设置开启自启动

docker update --restart=always tracker

(4)修改nginx

Nginx在这里主要提供对FastDFS图片访问的支持,Docker容器中已经集成了Nginx,我们需要修改nginx的配置,进入storage的容器内部,修改nginx.conf

(4.1)进入容器

docker exec -it storage /bin/bash

(4.2)修改配置

vi /etc/nginx/conf/nginx.conf

修改访问端口

(4.3) 重启storage

docker restart storage

1.4 文件操作

1.4.1 环境搭建

(1)新建项目:fastdfs-demo 用作测试

(2)pom文件


4.0.0com.mingyefastdfs-demo1.0-SNAPSHOTorg.springframework.bootspring-boot-starter-parent2.3.8.RELEASEcom.github.tobatofastdfs-client1.26.5org.springframework.bootspring-boot-starter-testtestorg.junit.vintagejunit-vintage-engine

(3)编写启动类

package com.mingye;import com.github.tobato.fastdfs.FdfsClientConfig;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.context.annotation.Import;/*** @version 1.0* @description 标题* @package com.mingye*/
@SpringBootApplication
public class FastdfsApplication {public static void main(String[] args) {SpringApplication.run(FastdfsApplication.class,args);}
}

(5)yml中

fdfs:so-timeout: 1501connect-timeout: 601thumb-image:             #缩略图生成参数width: 150height: 150tracker-list:            #TrackerList参数,支持多个- 192.168.211.128:22122web-server-url: http://192.168.211.128/

1.4.2 编写测试实现文件的基本操作

编写测试类test下创建如下类 com.mingye.FastadfsTest:

package com.mingye;import com.github.tobato.fastdfs.domain.fdfs.StorePath;
import com.github.tobato.fastdfs.domain.proto.storage.DownloadCallback;
import com.github.tobato.fastdfs.service.FastFileStorageClient;
import org.apache.commons.io.IOUtils;
import org.junit.jupiter.api.Test;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.util.StringUtils;import java.io.*;/*** @version 1.0* @description 标题* @package com.mingye*/@SpringBootTest
public class FastadfsTest {@Autowiredprivate FastFileStorageClient storageClient;//上传图片@Testpublic void uploadFile() throws IOException {//创建流对象File file = new File("E:\\Users\\admin\\Pictures\\45.png");FileInputStream inputStream = new FileInputStream(file);long length = file.length();//获取文件的扩展名不带点String extName = StringUtils.getFilenameExtension(file.getName());//上传图片StorePath storePath = storageClient.uploadFile(inputStream,length,extName,null);System.out.println(storePath);System.out.println(storePath.getFullPath());}//删除图片//@Testpublic void deleteFile() {//group + pathstorageClient.deleteFile("group1/M00/00/00/wKjTiF_BIUqAMwDrAAAl8vdCW2Y127.png");}//下载图片@Testpublic void download() throws Exception{byte[] group1s = storageClient.downloadFile("group1", "M00/00/00/wKjTiF_BIrCAAn9IAAAl8vdCW2Y205.png", new DownloadCallback() {@Overridepublic byte[] recv(InputStream ins) throws IOException {//获取字节数组byte[] bytes = IOUtils.toByteArray(ins);return bytes;}});//下载FileOutputStream fileOutputStream = new FileOutputStream(new File("e:/abc.png"));fileOutputStream.write(group1s);fileOutputStream.close();}}

相关内容

热门资讯

财经调查丨大众点评给刷好评“开... (央视财经《财经调查》)不光是网络水军在暗中操作牟利,个别正规平台为了整体流量和利益,也在暗中撮合刷...
中国石化董事长8月将产生,去年... 【高管】接任中国石化集团董事长的侯启军,被提名为中国石化(600028)董事候选人,不出意外,将在股...
零食店一员工给顾客下跪道歉?多... 新京报记者 刘锦涵 制作 葛佳丹 7月6日,一段“好想来”品牌零食店内,店员给顾客下跪的视频引关注。...
投资椰子水上市大赚,首富又回来... 订阅 快刀财经 ▲ 做您的私人商学院左手椰子水,右手美容针,钟睒睒的新棋局。作者:知夏来源:快速消费...
又至经济半年中 又至经济半年中... 【预见经济:柒月】半年已多纷扰,半年又将如何?海外方面,随着暂缓期的结束,美对各方关税的中枢面临再度...
人人乐正式退市摘牌,业绩多年亏... 红星资本局7月6日消息,7月4日,根据人人乐(002336.SZ)连锁商业集团股份有限公司关于公司股...
射杀邻居两只猫!两男子,被拘留 近日,重庆一名网友发帖称,有人用不明工具射杀了自己的两只幼猫,引发关注。 7月6日,南都记者从重庆市...
合锻智能:合肥建投拟减持不超过... 新京报贝壳财经讯 7月6日,合锻智能发布公告称,公司持股5%以上股东合肥市建设投资控股(集团)有限公...
道通科技:上半年归母净利润同比... 新京报贝壳财经讯 7月6日,道通科技发布业绩预告称,预计2025年上半年实现归属于母公司所有者的净利...
最后3天:智本社 X 财新,双... 在信息混杂、焦躁不安时代,如何获得有价值的信息?如何保持安静的思考?智本社为各位社友带来一份礼物——...