FastDFS
admin
2024-05-08 19:42:39
0

1 FastDFS

1.1 FastDFS介绍

FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。国开发源的

作用:费用便宜、重要资源掌握在自己手里、访问速度购买CDN

OSS存储:第三方存储服务。优点:实现技术简单,不需要搭建服务,只调用服务提供方的api即可。缺点:你的数据在第三方手上,费用高。创业型(早期成本低,快速实现)

FastDFS|MinIO:优点:数据保存企业自己手里,费用低;缺点:搭建成本、运维,访问速度(购买cdn),使用复杂 。(中大型)坚守与降低成本

FastDFS为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

FastDFS 架构包括 Tracker server 和 Storage server。客户端请求 Tracker server 进行文件上传、下载,通过Tracker server 调度最终由 Storage server 完成文件上传和下载。

Tracker server 作用是负载均衡和调度,通过 Tracker server 在文件上传时可以根据一些策略找到Storage server 提供文件上传服务。可以将 tracker 称为追踪服务器或调度服务器。Storage server 作用是文件存储,客户端上传的文件最终存储在 Storage 服务器上,Storageserver 没有实现自己的文件系统而是利用操作系统的文件系统来管理文件。可以将storage称为存储服务器。

1.2 文件上传流程

客户端上传文件后存储服务器将文件 ID 返回给客户端,此文件 ID 用于以后访问该文件的索引信息。文件索引信息包括:组名,虚拟磁盘路径,数据两级目录,文件名。

组名(也可以叫: 卷):文件上传后所在的 storage 组名称,在文件上传成功后有storage 服务器返回,需要客户端自行保存。

虚拟磁盘路径:storage 配置的虚拟路径,与磁盘选项store_path*对应。如果配置了

store_path0 则是 M00,如果配置了 store_path1 则是 M01,以此类推。在Nginx中可以看到。

数据两级目录:storage 服务器在每个虚拟磁盘路径下创建的两级目录,用于存储数据文件。

文件名:与文件上传时不同。是由存储服务器根据特定信息生成,文件名包含:源存储

服务器 IP 地址、文件创建时间戳、文件大小、随机数和文件拓展名等信息。

1.3 FastDFS服务端搭建

(1)虚拟机中拉取镜像

docker pull morunchang/fastdfs

(2)运行tracker

docker run -d --name tracker --restart=always --net=host morunchang/fastdfs sh tracker.sh

(3)运行storage

docker volume create fdfs-data
docker run -d --name storage --net=host -e TRACKER_IP=192.168.211.128:22122 -e GROUP_NAME=group1 -v fdfs-data:/data/fast_data morunchang/fastdfs sh storage.sh

说明:

使用的网络模式是–net=host, 192.168.211.128是宿主机的IP
group1是组名,即storage的组
如果想要增加新的storage服务器,再次运行该命令,注意更换 新组名

查询storage是否启动成功:

docker logs -f storage

有以下Successfully connect to tracker server …

设置开启自启动

docker update --restart=always tracker

(4)修改nginx

Nginx在这里主要提供对FastDFS图片访问的支持,Docker容器中已经集成了Nginx,我们需要修改nginx的配置,进入storage的容器内部,修改nginx.conf

(4.1)进入容器

docker exec -it storage /bin/bash

(4.2)修改配置

vi /etc/nginx/conf/nginx.conf

修改访问端口

(4.3) 重启storage

docker restart storage

1.4 文件操作

1.4.1 环境搭建

(1)新建项目:fastdfs-demo 用作测试

(2)pom文件


4.0.0com.mingyefastdfs-demo1.0-SNAPSHOTorg.springframework.bootspring-boot-starter-parent2.3.8.RELEASEcom.github.tobatofastdfs-client1.26.5org.springframework.bootspring-boot-starter-testtestorg.junit.vintagejunit-vintage-engine

(3)编写启动类

package com.mingye;import com.github.tobato.fastdfs.FdfsClientConfig;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.context.annotation.Import;/*** @version 1.0* @description 标题* @package com.mingye*/
@SpringBootApplication
public class FastdfsApplication {public static void main(String[] args) {SpringApplication.run(FastdfsApplication.class,args);}
}

(5)yml中

fdfs:so-timeout: 1501connect-timeout: 601thumb-image:             #缩略图生成参数width: 150height: 150tracker-list:            #TrackerList参数,支持多个- 192.168.211.128:22122web-server-url: http://192.168.211.128/

1.4.2 编写测试实现文件的基本操作

编写测试类test下创建如下类 com.mingye.FastadfsTest:

package com.mingye;import com.github.tobato.fastdfs.domain.fdfs.StorePath;
import com.github.tobato.fastdfs.domain.proto.storage.DownloadCallback;
import com.github.tobato.fastdfs.service.FastFileStorageClient;
import org.apache.commons.io.IOUtils;
import org.junit.jupiter.api.Test;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.util.StringUtils;import java.io.*;/*** @version 1.0* @description 标题* @package com.mingye*/@SpringBootTest
public class FastadfsTest {@Autowiredprivate FastFileStorageClient storageClient;//上传图片@Testpublic void uploadFile() throws IOException {//创建流对象File file = new File("E:\\Users\\admin\\Pictures\\45.png");FileInputStream inputStream = new FileInputStream(file);long length = file.length();//获取文件的扩展名不带点String extName = StringUtils.getFilenameExtension(file.getName());//上传图片StorePath storePath = storageClient.uploadFile(inputStream,length,extName,null);System.out.println(storePath);System.out.println(storePath.getFullPath());}//删除图片//@Testpublic void deleteFile() {//group + pathstorageClient.deleteFile("group1/M00/00/00/wKjTiF_BIUqAMwDrAAAl8vdCW2Y127.png");}//下载图片@Testpublic void download() throws Exception{byte[] group1s = storageClient.downloadFile("group1", "M00/00/00/wKjTiF_BIrCAAn9IAAAl8vdCW2Y205.png", new DownloadCallback() {@Overridepublic byte[] recv(InputStream ins) throws IOException {//获取字节数组byte[] bytes = IOUtils.toByteArray(ins);return bytes;}});//下载FileOutputStream fileOutputStream = new FileOutputStream(new File("e:/abc.png"));fileOutputStream.write(group1s);fileOutputStream.close();}}

相关内容

热门资讯

保护投资者合法权益 严打财务造... 中国商报(记者 王彤旭)自去年7月5日国务院办公厅转发中国证监会等部门《关于进一步做好资本市场财务造...
7年亏空10亿,海保人寿流动性... 2018年,作为海南首家全国性保险法人机构,海保人寿在政策东风与地域优势下扬帆起航,试图开辟一片属于...
绿城中国:1-6月总合同销售金... 新京报贝壳财经讯 7月7日晚间,绿城中国控股有限公司(简称“绿城中国”)发布截至2025年6月30日...
IPO长跑六年后退场,佛山一银... 历经六年漫长等待,顺德农商银行的IPO之路按下了暂停键。深交所官网最新信息显示,因广东顺德农村商业银...
马斯克与特朗普矛盾升级引市场担... 据新华社纽约7月7日电 由于特斯拉公司首席执行官埃隆·马斯克宣布成立新政党导致其与美国总统特朗普的矛...
累计亏损超千亿,蔚来能翻盘吗?... 原创 韬略哥当一家车企累计亏损超过1000亿元人民币时,意味着什么?对于吃瓜群众来说,可能就单纯觉得...
特朗普对14国威胁征税!美国股...   【宅男财经|首席面对面】当地时间7日,美国总统特朗普发信函给日韩及南非等14国威胁征税,随后,他...
股市,突发!刚刚,重磅利好来袭... 股市突迎利好!刚刚,A50直线拉升,港股市场集体大涨,A股三大指数集体发力。截至午盘,创业板指涨超2...
审计风暴中的ST新潮:非标意见... 审计风暴中的ST新潮:非标意见背后的资本暗战刺眼的“无法表示意见”审计报告,如同冰冷的判决书,措辞激...
月薪8千财务挪用公款近1700... 54岁的徐女士凭借一腔热情白手起家,创立了一家鲜花园艺服务公司。6年来,公司看似订单不断,却始终在收...