davidzollo commented on code in PR #8833: URL: https://github.com/apache/seatunnel/pull/8833#discussion_r1970979600
########## docs/zh/connector-v2/sink/OssJindoFile.md: ########## @@ -0,0 +1,309 @@ +# OssJindoFile + +> OssJindo file sink 连接器 + +## 描述 + +使用jindo-api将数据输出到oss文件系统。 + +:::提示 + +您需要下载[jindosdk-4.6.1.tar.gz](https://jindodata-binary.oss-cn-shanghai.aliyuncs.com/release/4.6.1/jindosdk-4.6.1.tar.gz) +然后解压缩，将jindo-sdk-4.6.1.jar和jindo-core-4.6.1.jar从lib复制到${SEATUNNEL_HOME}/lib。 + +如果你使用spark/flink，为了使用这个连接器，你必须确保你的spark/flilk集群已经集成了hadoop。测试的hadoop版本是2.x。 + +如果你使用SeaTunnel引擎，当你下载并安装SeaTunnel引擎时，它会自动集成hadoop jar。您可以在${SEATUNNEL_HOME}/lib下检查jar包以确认这一点。 + +为了支持更多的文件类型，我们进行了一些权衡，因此我们使用HDFS协议对OSS进行内部访问，而这个连接器需要一些hadoop依赖。它只支持hadoop版本**2.9.X+**。 + +::: + +## 关键特性 + +- [x] [精准一次](../../concept/connector-v2-features.md) + +默认情况下，我们使用2PC commit来确保“精准一次” + +- [x] 文件格式类型 + - [x] text + - [x] csv + - [x] parquet + - [x] orc + - [x] json + - [x] excel + - [x] xml + - [x] binary + +## 选项 + +| 名称 | 类型 | 必需 | 默认值 | 描述 | +|---------------------------------------|---------|----------|--------------------------------------------|------------------------------------------------------------------------------------------------------------------------------------------------------------------------| +| path | string | 是 | - | | +| tmp_path | string | 否 | /tmp/seatunnel | 结果文件将首先写入tmp路径，然后使用`mv`将tmp-dir提交到目标目录。需要一个OSS 目录。 | +| bucket | string | 是 | - | | +| access_key | string | 是 | - | | +| access_secret | string | 是 | - | | +| endpoint | string | 是 | - | | +| custom_filename | boolean | 否 | false | 是否需要自定义文件名 | +| file_name_expression | string | 否 | "${transactionId}" | 仅在custom_filename为true时使用 | +| filename_time_format | string | 否 | "yyyy.MM.dd" | 仅在custom_filename为true时使用 | +| file_format_type | string | 否 | "csv" | | +| field_delimiter | string | 否 | '\001' | 仅当file_format_type为text时使用 | +| row_delimiter | string | 否 | "\n" | 仅当file_format_type为text时使用 | +| have_partition | boolean | 否 | false | 是否需要处理分区。 | +| partition_by | array | 否 | - | 只有在have_partition为true时才使用 | +| partition_dir_expression | string | 否 | "${k0}=${v0}/${k1}=${v1}/.../${kn}=${vn}/" | 只有在have_partition为true时才使用 | +| is_partition_field_write_in_file | boolean | 否 | false | 只有在have_partition为true时才使用 | +| sink_columns | array | 否 | | 当此参数为空时，所有字段都是Sink列 | +| is_enable_transaction | boolean | 否 | true | | +| batch_size | int | 否 | 1000000 | | +| compress_codec | string | 否 | none | | +| common-options | object | 否 | - | | +| max_rows_in_memory | int | 否 | - | 仅当file_format_type为excel时使用。 | +| sheet_name | string | 否 | Sheet${Random number} | 仅当file_format_type为excel时使用。 | +| csv_string_quote_mode | enum | 否 | MINIMAL | 仅在file_format为csv时使用。 | +| xml_root_tag | string | 否 | RECORDS | 仅在file_format为xml时使用。 | +| xml_row_tag | string | 否 | RECORD | 仅在file_format为xml时使用。 | +| xml_use_attr_format | boolean | 否 | - | 仅在file_format为xml时使用。 | +| single_file_mode | boolean | 否 | false | 每个并行处理只会输出一个文件。启用此参数后，batch_size将不会生效。输出文件名没有文件块后缀。 | +| create_empty_file_when_no_data | boolean | 否 | false | 当上游没有数据同步时，仍然会生成相应的数据文件。 | +| parquet_avro_write_timestamp_as_int96 | boolean | 否 | false | 仅在file_format为parquet时使用。 | +| parquet_avro_write_fixed_as_int96 | array | 否 | - | 仅在file_format为parquet时使用。 | +| encoding | string | 否 | "UTF-8" | 仅当file_format_type为json、text、csv、xml时使用。 | + +### path [string] + +目标目录路径是必需的。 + +### bucket [string] + +oss文件系统的bucket地址，例如：`oss://tyrantlucifer-image-bed` + +### access_key [string] + +访问oss文件系统key + +### access_secret [string] + +oss文件系统的访问密钥 Review Comment: ```suggestion oss文件系统的access_secret ``` -- This is an automated message from the Apache Git Service. To respond to the message, please log on to GitHub and use the URL above to go to the specific comment. To unsubscribe, e-mail: commits-unsubscr...@seatunnel.apache.org For queries about this service, please contact Infrastructure at: us...@infra.apache.org
