lustre学习

1. 特点

lustre分布式文件系统支持ldiskfs和zfs两种文件系统，ldiskfs是基于ext4文件系统定制优化而来（需要修改内核）；zfs则是采用openzfs的项目。

文件的每个stripe按照round-robin方式轮询当前集群中每个ost来放置数据分片对象。

lustre客户端stack中，一个文件处理需要vvp_object、lov_object、lovsub_object、osc_object。每一层的对象都会包含通用的对象层cl_object.vvp_object是vfs-vm-posix层的对象，这个包含了操作文件的inode和cl_object的客户端通用对象;lov_object是为了处理来自vvp_object的封装的数据，其中也包含了cl_object，这一层是逻辑对象层，比如文件被stripe后，在lov_object会包含多个sripe的对象，这些对象封装成对象lovsub_object,每一个lovsub_object对应一个osc_object对象。最后osc_object通过自己这一层的device的接口层，数据到mds或者oss.
cio_submit和cio_commit的区别在于cio_submit用于紧急请求。
wakeup all cache waiters->spin_unlock(&cli->cl_loi_list_lock);

read: ll_file_operations_flock->ll_file_read->(init_sync_kiocb)ll_file_aio_read->ll_file_read_iter->(do_loop_readv_writev)do_file_read_iter->pcc_file_read_iter/ll_do_fast_read/ll_file_io_generic->(vvp_env_new_io/cl_io_rw_init/range_lock_init)cl_io_loop->(cl_io_lock)cl_io_start->vvp_io_ops/lov_io_ops/mdc_io_ops/osc_io_ops(类型在do_file_read_iter赋值为CIT_READ=1，全局由cl_io_slice_add与lov_io_init_composite赋值为lov_io_ops)->lov_io_start->lov_io_call->cl_io_start(调用子请求)—–>osc_io_read_start
submit:lov_io_submit->cl_io_submit_rw->cio_submit->osc_io_submit->osc_page_submit/osc_queue_sync_pages->(osc_extent_lookup/osc_extent_alloc)list_add_tail/osc_update_pending
commit: lov_io_commit_async->cl_io_commit_async->cio_commit_async->osc_io_commit_async->osc_page_cache_add->osc_queue_async_io->osc_enter_cache->cli_unlock_and_unplug->osc_io_unplug_async->osc_io_unplug0->osc_check_rpcs/ptlrpcd_queue_work（异步）->(osc_send_write_rpc->osc_build_rpc->)ptlrpcd_add_req
seek: ll_file_seek->cl_sync_file_range->cl_io_loop