scalebox/dockerfiles/cluster-dir-list
kaichao 407aba52b4 add pull action in Makefile. 2023-11-08 22:26:36 +08:00
..
test update list-dir. 2023-10-24 16:15:00 +08:00
Dockerfile add pull action in Makefile. 2023-11-08 22:26:36 +08:00
Makefile add pull action in Makefile. 2023-11-08 22:26:36 +08:00
README.md /local-based path for symlink;fix bug for bash map 2023-10-30 21:10:24 +08:00
list-files.sh /local-based path for symlink;fix bug for bash map 2023-10-30 21:10:24 +08:00
run.sh update list-dir. 2023-10-24 16:15:00 +08:00

README.md

cluster-dir-list

一、模块介绍

集群内目录的文件列表远端目录基于rsync-over-ssh实现

二、环境变量

  • SOURCE_CLUSTER: 若为空,则再由消息体确定
  • JUMP_SERVER_OPTION: "source"通过source端的头节点作为跳板
  • REGEX_FILTER:
  • REGEX_2D_DATASET:
  • INDEX_2D_DATASET:

三、输入消息格式

[<SOURCE_CLUSTER>]~<RELATIVE_PATH>#<local_dir>

  • 若环境变量为空,则以输入消息中的<SOURCE_CLUSTER>来替代
  • RELATIVE_PATH相对CLUSTER_DATA_ROOT的相对根目录不包含在产生的消息体中
  • local_dir本地路径包含在产生的消息体中

四、用户应用的退出码

  • 0 : OK

五、输出消息格式

5.1 数据集元数据消息

示例如下:

{
		"datasetID":"datasetID",
		"horizontalWidth": 24,
		"verticalStart": 1,
		"verticalHeight": 855
}
  • datasetID为<RELATIVE_PATH>#<local_dir>。
  • horizontalWidth为二维表的水平宽度
  • verticalStart、verticalHeight则为垂直方向的起始值、高度。

5.2 文件实体消息

针对目录下文件,生成一条消息,消息格式为: 从起的相对路径。

5.3 目录扫描完成的控制消息

  • 若退出码为0则输出与输入消息相同的消息
  • 退出码非0则不输出该消息