lustre学习

Ethereal Lv4
  2024-12-02 00:12:48 2024-12-02 00:12 Created   2024-12-02 00:57:06 2024-12-02 00:57 Updated  

1. 特点

  1. lustre分布式文件系统支持ldiskfs和zfs两种文件系统，ldiskfs是基于ext4文件系统定制优化而来（需要修改内核）；zfs则是采用openzfs的项目。
    modb_20220725_a84a3924-0bf6-11ed-8f79-fa163eb4f6be

2. lustre核心组件

modb_20220725_a876799e-0bf6-11ed-8f79-fa163eb4f6be

  1. MGS(Management Server) :提供整个文件系统的配置信息与崩溃恢复

  2. MGT(Management Target):MGT是MGS用于存储lustre文件系统配置信息的块设备，MGT的容量最大需要100MB。

  3. MDS(Meta Server):MDS负责管理文件系统统一的命名空间，同时提供文件系统的元数据访问服务

  4. MDT(Metadata Target):MDS存储元数据信息的后端块设备。

  5. OSS(Object Storage Server)：OSS负责管理文件对象数据，对lustre客户端提供完整文件数据的访问。

  6. OST(Object Storage Target):OSS使用的存储文件对象数据的块设备。

  7. LMV(Logical Metadata Voliume）：访问MDC(Metadata client)的抽象层

  8. LOV(Logical Object Volume)：针对OSC(Object Storage Client)的抽象层

  9. Lustre Client：负责挂载lustre文件系统

  10. Lustre Network：lustre的网络协议，支持RDMA

  11. LIBCFS：提供基础的进程管理和调试 API。libcfs 被大量使用在 LNet、Lustre 的相关工具上。

3. 布局

  1. 正常(normal)文件布局

文件的每个stripe按照round-robin方式轮询当前集群中每个ost来放置数据分片对象。

modb_20220725_aa646f72-0bf6-11ed-8f79-fa163eb4f6be

  1. 复合布局

modb_20220725_ad890140-0bf6-11ed-8f79-fa163eb4f6be

  1. 需要注意后面的部分会空出前面配置的空间大小

4. 访问流程

modb_20220725_b1b190a2-0bf6-11ed-8f79-fa163eb4f6be

参考

深入理解Lustre分布式文件系统之Lustre架构 - 墨天轮

深入理解 Lustre 系列六：LIBCFS - 知乎

HPC高性能计算知识：深度解析Lustre体系结构 - 腾讯云开发者社区-腾讯云

  • Title: lustre学习
  • Author: Ethereal
  • Created at: 2024-12-02 00:12:48
  • Updated at: 2024-12-02 00:57:06
  • Link: https://ethereal-o.github.io/2024/12/02/lustre学习/
  • License: This work is licensed under CC BY-NC-SA 4.0.
 Comments
On this page
lustre学习
  1. 1. 特点
  2. 2. lustre核心组件
  3. 3. 布局
  4. 4. 访问流程
  5. 参考