davidzollo commented on code in PR #8833: URL: https://github.com/apache/seatunnel/pull/8833#discussion_r1970980680
########## docs/zh/connector-v2/sink/OssJindoFile.md: ########## @@ -0,0 +1,309 @@ +# OssJindoFile + +> OssJindo file sink 连接器 + +## 描述 + +使用jindo-api将数据输出到oss文件系统。 + +:::提示 + +您需要下载[jindosdk-4.6.1.tar.gz](https://jindodata-binary.oss-cn-shanghai.aliyuncs.com/release/4.6.1/jindosdk-4.6.1.tar.gz) +然后解压缩，将jindo-sdk-4.6.1.jar和jindo-core-4.6.1.jar从lib复制到${SEATUNNEL_HOME}/lib。 + +如果你使用spark/flink，为了使用这个连接器，你必须确保你的spark/flilk集群已经集成了hadoop。测试的hadoop版本是2.x。 + +如果你使用SeaTunnel引擎，当你下载并安装SeaTunnel引擎时，它会自动集成hadoop jar。您可以在${SEATUNNEL_HOME}/lib下检查jar包以确认这一点。 + +为了支持更多的文件类型，我们进行了一些权衡，因此我们使用HDFS协议对OSS进行内部访问，而这个连接器需要一些hadoop依赖。它只支持hadoop版本**2.9.X+**。 + +::: + +## 关键特性 + +- [x] [精准一次](../../concept/connector-v2-features.md) + +默认情况下，我们使用2PC commit来确保“精准一次” + +- [x] 文件格式类型 + - [x] text + - [x] csv + - [x] parquet + - [x] orc + - [x] json + - [x] excel + - [x] xml + - [x] binary + +## 选项 + +| 名称 | 类型 | 必需 | 默认值 | 描述 | +|---------------------------------------|---------|----------|--------------------------------------------|------------------------------------------------------------------------------------------------------------------------------------------------------------------------| +| path | string | 是 | - | | +| tmp_path | string | 否 | /tmp/seatunnel | 结果文件将首先写入tmp路径，然后使用`mv`将tmp-dir提交到目标目录。需要一个OSS 目录。 | +| bucket | string | 是 | - | | +| access_key | string | 是 | - | | +| access_secret | string | 是 | - | | +| endpoint | string | 是 | - | | +| custom_filename | boolean | 否 | false | 是否需要自定义文件名 | +| file_name_expression | string | 否 | "${transactionId}" | 仅在custom_filename为true时使用 | +| filename_time_format | string | 否 | "yyyy.MM.dd" | 仅在custom_filename为true时使用 | +| file_format_type | string | 否 | "csv" | | +| field_delimiter | string | 否 | '\001' | 仅当file_format_type为text时使用 | +| row_delimiter | string | 否 | "\n" | 仅当file_format_type为text时使用 | +| have_partition | boolean | 否 | false | 是否需要处理分区。 | +| partition_by | array | 否 | - | 只有在have_partition为true时才使用 | +| partition_dir_expression | string | 否 | "${k0}=${v0}/${k1}=${v1}/.../${kn}=${vn}/" | 只有在have_partition为true时才使用 | +| is_partition_field_write_in_file | boolean | 否 | false | 只有在have_partition为true时才使用 | +| sink_columns | array | 否 | | 当此参数为空时，所有字段都是Sink列 | +| is_enable_transaction | boolean | 否 | true | | +| batch_size | int | 否 | 1000000 | | +| compress_codec | string | 否 | none | | +| common-options | object | 否 | - | | +| max_rows_in_memory | int | 否 | - | 仅当file_format_type为excel时使用。 | +| sheet_name | string | 否 | Sheet${Random number} | 仅当file_format_type为excel时使用。 | +| csv_string_quote_mode | enum | 否 | MINIMAL | 仅在file_format为csv时使用。 | +| xml_root_tag | string | 否 | RECORDS | 仅在file_format为xml时使用。 | +| xml_row_tag | string | 否 | RECORD | 仅在file_format为xml时使用。 | +| xml_use_attr_format | boolean | 否 | - | 仅在file_format为xml时使用。 | +| single_file_mode | boolean | 否 | false | 每个并行处理只会输出一个文件。启用此参数后，batch_size将不会生效。输出文件名没有文件块后缀。 | +| create_empty_file_when_no_data | boolean | 否 | false | 当上游没有数据同步时，仍然会生成相应的数据文件。 | +| parquet_avro_write_timestamp_as_int96 | boolean | 否 | false | 仅在file_format为parquet时使用。 | +| parquet_avro_write_fixed_as_int96 | array | 否 | - | 仅在file_format为parquet时使用。 | +| encoding | string | 否 | "UTF-8" | 仅当file_format_type为json、text、csv、xml时使用。 | + +### path [string] + +目标目录路径是必需的。 + +### bucket [string] + +oss文件系统的bucket地址，例如：`oss://tyrantlucifer-image-bed` + +### access_key [string] + +访问oss文件系统key + +### access_secret [string] + +oss文件系统的访问密钥 + +### endpoint [string] + +oss文件系统的端点。 + +### custom_filename [boolean] + +是否自定义文件名 + +### file_name_expression [string] + +仅在“custom_filename”为“true”时使用 + +`file_name_expression描述了将在`path`中创建的文件表达式。我们可以在“file_name_expression”中添加变量“${now}”或“${uuid}”，类似于“test”_${uuid}_${now}`，`${now}`表示当前时间，其格式可以通过指定选项`filename_time_format`来定义。 + +请注意，如果`is_enable_transaction`为`true`，我们将自动添加`${transactionId}_`在文件的开头。 + +### filename_time_format [string] + +仅在“custom_filename”为“true”时使用 + +当`file_name_expression`参数中的格式为`xxxx-${now}时，`filename_time_format`可以指定路径的时间格式，默认值为`yyyy.MM.dd。常用的时间格式如下： + +| Symbol | Description | +|--------|--------------------| +| y | Year | +| M | Month | +| d | Day of month | +| H | Hour in day (0-23) | +| m | Minute in hour | +| s | Second in minute | + +### file_format_type [string] + +我们支持以下文件类型： + +`text` `csv` `parquet` `orc` `json` `excel` `xml` `binary` + +请注意，最终文件名将以file_format_type的后缀结尾，文本文件的后缀为“txt”。 + +### field_delimiter [string] + +数据行中列之间的分隔符。只需要“text”文件格式。 + +### row_delimiter [string] + +文件中行之间的分隔符。只需要“text”文件格式。 + +### have_partition [boolean] + +是否需要处理分区。 + +### partition_by [array] + +仅在“have_partition”为“true”时使用。 + +根据所选字段对数据进行分区。 + +### partition_dir_expression [string] + +仅在“have_partition”为“true”时使用。 + +如果指定了`partition_by`，我们将根据分区信息生成相应的分区目录，并将最终文件放置在分区目录中。 + +默认的`partition_dir_expression`是`${k0}=${v0}/${k1}=${1v1}//${kn}=${vn}/``k0是第一个分区字段，v0是第一个划分字段的值。 + +### is_partition_field_write_in_file [boolean] + +仅在“have_partition”为“true”时使用。 + +如果`is_partition_field_write_in_file`为`true`，则分区字段及其值将写入数据文件。 + +例如，如果你想写一个Hive数据文件，它的值应该是“false”。 + +### sink_columns [array] + +哪些列需要写入文件，默认值是从“Transform”或“Source”获取的所有列。 + +字段的顺序决定了文件实际写入的顺序。 + +### is_enable_transaction [boolean] + +如果`is_enable_transaction`为true，我们将确保数据在写入目标目录时不会丢失或重复。 + +请注意，如果`is_enable_transaction`为`true`，我们将自动添加`${transactionId}_`在文件的开头。 + +现在只支持“true”。 + +### batch_size [int] + +文件中的最大行数。对于SeaTunnel引擎，文件中的行数由“batch_size”和“checkpoint.interval”共同决定。如果“checkpoint.interval”的值足够大，sink writer将在文件中写入行，直到文件中的行大于“batch_size”。如果“checkpoint.interval”较小，则接收器写入程序将在新的检查点触发时创建一个新文件。 + +### compress_codec [string] + +文件的压缩编解码器和支持的详细信息如下所示： + +- txt: `lzo` `none` +- json: `lzo` `none` +- csv: `lzo` `none` +- orc: `lzo` `snappy` `lz4` `zlib` `none` +- parquet: `lzo` `snappy` `lz4` `gzip` `brotli` `zstd` `none` + +提示：excel类型不支持任何压缩格式 + +### common options + +Sink插件常用参数，请参考[Sink common Options]（../Sink common Options.md）了解详细信息。 Review Comment: ```suggestion Sink插件常用参数，请参考[Sink common Options]（../sink-common-options.md）了解详细信息。 ``` -- This is an automated message from the Apache Git Service. To respond to the message, please log on to GitHub and use the URL above to go to the specific comment. To unsubscribe, e-mail: commits-unsubscr...@seatunnel.apache.org For queries about this service, please contact Infrastructure at: us...@infra.apache.org
