This is an automated email from the ASF dual-hosted git repository.
morningman pushed a commit to branch master
in repository https://gitbox.apache.org/repos/asf/doris-website.git
The following commit(s) were added to refs/heads/master by this push:
new 4c905331440 docs(i18n): machine Japanese translation candidates (#4647)
4c905331440 is described below
commit 4c9053314409c37916d842cd4c438805eb0781fa
Author: Mingyu Chen (Rayner) <[email protected]>
AuthorDate: Wed Nov 18 15:37:54 2026 +0800
docs(i18n): machine Japanese translation candidates (#4647)
## Japanese translation candidate
Source commit: `a3630231339a95694e946147eb1601a336951094`
Master moved to `52a91a95e0603218b7576d2df352f39be6f2839e` during
generation; none of its 181 changed files affect this batch.
Model: `gpt-6-sol`; glossary: `1`
Review status: machine. Japanese proofreading and the normal PR checks
are still required.
| Action | Version | English source | SHA-256 prefix | Generation |
| --- | --- | --- | --- | --- |
| update | current |
[`community/source-install/compilation-with-docker.md`](https://github.com/apache/doris-website/blob/a3630231339a95694e946147eb1601a336951094/community/source-install/compilation-with-docker.md)
| `814fc6b4b5dd` | full (chinese-reference-changed) |
| translate_new | current |
[`docs/lakehouse/best-practices/lance-hybrid-search.mdx`](https://github.com/apache/doris-website/blob/a3630231339a95694e946147eb1601a336951094/docs/lakehouse/best-practices/lance-hybrid-search.mdx)
| `666e0b3238d9` | full (no-previous-translation) |
| translate_new | current |
[`docs/lakehouse/best-practices/lance-query-profile.md`](https://github.com/apache/doris-website/blob/a3630231339a95694e946147eb1601a336951094/docs/lakehouse/best-practices/lance-query-profile.md)
| `c0d80a3593fe` | full (no-previous-translation) |
| translate_new | current |
[`docs/lakehouse/catalogs/hive-catalog/doris-type-mapping.md`](https://github.com/apache/doris-website/blob/a3630231339a95694e946147eb1601a336951094/docs/lakehouse/catalogs/hive-catalog/doris-type-mapping.md)
| `cf102ddfeaf2` | full (no-previous-translation) |
| translate_new | 4.x |
[`versioned_docs/version-4.x/lakehouse/catalogs/hive-catalog/doris-type-mapping.md`](https://github.com/apache/doris-website/blob/a3630231339a95694e946147eb1601a336951094/versioned_docs/version-4.x/lakehouse/catalogs/hive-catalog/doris-type-mapping.md)
| `cf102ddfeaf2` | copied from `T06-DEV-026530959565699` |
| translate_new | current |
[`docs/lakehouse/catalogs/iceberg-catalog/doris-type-mapping.md`](https://github.com/apache/doris-website/blob/a3630231339a95694e946147eb1601a336951094/docs/lakehouse/catalogs/iceberg-catalog/doris-type-mapping.md)
| `822e48f9d0df` | full (no-previous-translation) |
| translate_new | 4.x |
[`versioned_docs/version-4.x/lakehouse/catalogs/iceberg-catalog/doris-type-mapping.md`](https://github.com/apache/doris-website/blob/a3630231339a95694e946147eb1601a336951094/versioned_docs/version-4.x/lakehouse/catalogs/iceberg-catalog/doris-type-mapping.md)
| `822e48f9d0df` | copied from `T06-DEV-115355989931667` |
| translate_new | current |
[`docs/lakehouse/catalogs/lance-catalog/doris-type-mapping.md`](https://github.com/apache/doris-website/blob/a3630231339a95694e946147eb1601a336951094/docs/lakehouse/catalogs/lance-catalog/doris-type-mapping.md)
| `353814c70055` | full (no-previous-translation) |
| translate_new | current |
[`docs/lakehouse/catalogs/paimon-catalog/doris-type-mapping.md`](https://github.com/apache/doris-website/blob/a3630231339a95694e946147eb1601a336951094/docs/lakehouse/catalogs/paimon-catalog/doris-type-mapping.md)
| `603230759e63` | full (no-previous-translation) |
| translate_new | 4.x |
[`versioned_docs/version-4.x/lakehouse/catalogs/paimon-catalog/doris-type-mapping.md`](https://github.com/apache/doris-website/blob/a3630231339a95694e946147eb1601a336951094/versioned_docs/version-4.x/lakehouse/catalogs/paimon-catalog/doris-type-mapping.md)
| `603230759e63` | copied from `T06-DEV-171446944919544` |
## Failed or skipped tasks
- `T06-COURSE-221435306617515`
(course/101/01-apache-doris-overview.mdx): Protected content changed
(code, links, numbers, MDX, anchors, or metadata)
+ actual - expected
+ '65d3e055528f601f068f379bc8a01595e126e138a702059f98ec26234ca1f577'
- 'd13817c685aa8aeaa88fe9b3511dec4203b324e809b8d69e54fecdad2306cf88'
- `T06-COURSE-046952371284127`
(course/101/02-apache-doris-installation-guide.mdx): Protected content
changed (code, links, numbers, MDX, anchors, or metadata)
+ actual - expected
+ '50cf5c122e2fa896cd44f1ac27248f10c8a1e9f0e64f82cb496e460d374107d3'
- '55e64ec3c6de9a309807312c952968a411812ecd1d427f742a80503c4de7df07'
- `T06-COURSE-083717791790995`
(course/101/04-apache-doris-data-operations-guide.mdx): Protected
content changed (code, links, numbers, MDX, anchors, or metadata)
+ actual - expected
+ '68ea2b30eab7858963d910991853332963b5725d23d62640ebf97179f8a6c70b'
- '565fd46c2ef1d411a099a0e47c277f53557acfa904d45f04fcd3911c93a6ac19'
- `T06-COURSE-242829378749115`
(course/101/05-apache-doris-query-data-guide.mdx): Glossary product term
changed: SQL
- `T06-COURSE-249521753370444`
(course/101/06-apache-doris-lakehouse-guide.mdx): Protected content
changed (code, links, numbers, MDX, anchors, or metadata)
+ actual - expected
+ 'ff34c7594a2f2fb21569c1eb5c5209d08de67353f0cba7203dbc40611661ae4e'
- '0cea80fcfd90942f1e4ba0a5bfb5f522e87e8fa0d8d896425e1518421e4dbd63'
- `T06-DEV-118410413390592` (docs/lakehouse/catalogs/lance-catalog.mdx):
No usable document after three attempts: Codex translation failed:
ETIMEDOUT
## Candidates retained with warnings
None.
## Validation
Updates at or below 30% translate only changed Markdown/MDX blocks and
preserve other target blocks.
Change size is the sum of max(removed, added) non-empty English lines
per diff hunk, divided by the larger old/new line count.
New documents, larger updates, glossary changes or baselines that cannot
be aligned use full translation.
Generation uses at most three attempts per document. Deletions and
code-only updates may need no model call.
Each retry receives the earlier validation errors. Third-attempt content
issues are retained as warnings above.
Full attempt history and diagnostics are in generation.json and the page
state records.
Committed source hashes, managed paths and target/state hashes are
checked before applying candidates.
Master is checked before each model call and before publishing:
unrelated merges are allowed, a page changed on master is dropped, and a
translation configuration or tooling change discards the batch.
The publisher runs the shared PR translation-state, syntax and
internal-link checks before pushing.
The normal PR build and human proofreading are still required before
merging.
<!-- japanese-translation-automation:v1
bot-head=475e6cb4ddb701a051ef726b2a00c92e0a6d4579 -->
Shared PR admission checks: passed (translation state, syntax, internal
links).
Master was at `52a91a95e0603218b7576d2df352f39be6f2839e` when
publishing; none of its 181 changed files since the source commit affect
this batch.
Co-authored-by: morningman <[email protected]>
---
.../source-install/compilation-with-docker.md | 183 ++++++++++---------
.../best-practices/lance-hybrid-search.mdx | 199 +++++++++++++++++++++
.../best-practices/lance-query-profile.md | 157 ++++++++++++++++
.../catalogs/hive-catalog/doris-type-mapping.md | 39 ++++
.../catalogs/iceberg-catalog/doris-type-mapping.md | 45 +++++
.../catalogs/lance-catalog/doris-type-mapping.md | 73 ++++++++
.../catalogs/paimon-catalog/doris-type-mapping.md | 42 +++++
.../catalogs/hive-catalog/doris-type-mapping.md | 39 ++++
.../catalogs/iceberg-catalog/doris-type-mapping.md | 45 +++++
.../catalogs/paimon-catalog/doris-type-mapping.md | 42 +++++
.../source-install/compilation-with-docker.json | 47 ++++-
.../catalogs/hive-catalog/doris-type-mapping.json | 46 +++++
.../iceberg-catalog/doris-type-mapping.json | 46 +++++
.../paimon-catalog/doris-type-mapping.json | 64 +++++++
.../best-practices/lance-hybrid-search.json | 64 +++++++
.../best-practices/lance-query-profile.json | 64 +++++++
.../catalogs/hive-catalog/doris-type-mapping.json | 46 +++++
.../iceberg-catalog/doris-type-mapping.json | 46 +++++
.../catalogs/lance-catalog/doris-type-mapping.json | 46 +++++
.../paimon-catalog/doris-type-mapping.json | 64 +++++++
20 files changed, 1305 insertions(+), 92 deletions(-)
diff --git
a/i18n/ja/docusaurus-plugin-content-docs-community/current/source-install/compilation-with-docker.md
b/i18n/ja/docusaurus-plugin-content-docs-community/current/source-install/compilation-with-docker.md
index 1fb4265d3cc..8a042338c93 100644
---
a/i18n/ja/docusaurus-plugin-content-docs-community/current/source-install/compilation-with-docker.md
+++
b/i18n/ja/docusaurus-plugin-content-docs-community/current/source-install/compilation-with-docker.md
@@ -1,7 +1,7 @@
---
title: Docker イメージを使用した Apache Doris のコンパイル
language: ja
-description: 公式 Docker イメージを使用して Apache Doris のソースコードをコンパイルします。thirdparty
やツールチェーンを手動で設定する必要はありません。
+description: 公式 Docker イメージを使用して Apache Doris のソースコードをコンパイルします。thirdparty や
toolchain を手動で設定する必要はありません。
keywords:
- Docker によるコンパイル
- Apache Doris
@@ -34,25 +34,25 @@ under the License.
<!-- Knowledge type: Procedure -->
<!-- Applicable scenario: First-time compilation / Environment validation -->
-このドキュメントでは、Apache Doris の公式ビルドイメージを使用して Doris
のソースコードをコンパイルする方法を説明します。このイメージはコミュニティが管理し、依存関係の更新を速やかに反映するため、ツールチェーンやサードパーティ製ライブラリを手動でインストールする必要がありません。**最も推奨される**コンパイル方法です。
+このドキュメントでは、Apache Doris の公式ビルドイメージを使用して Doris
のソースコードをコンパイルする方法を説明します。このイメージはコミュニティが保守し、依存ライブラリの更新に合わせて速やかに更新しているため、toolchain
やサードパーティーライブラリを手動でインストールする必要がありません。**最も推奨される**コンパイル方法です。
:::tip
Docker イメージを使用する方法は、ストレージとコンピュートを分離したモードでのコンパイルとデプロイにはまだ対応していません。
:::
-## 対象読者、長所と短所
+## 対象者とメリット・デメリット {#target-audience-pros-and-cons}
| 項目 | 説明 |
| ---- | ---- |
-| 対象読者 | 依存関係を手動で設定せずに、ビルド環境をすばやく構築したい開発者 |
-| 長所 | イメージに thirdparty、ツールチェーン、JDK があらかじめインストールされており、すぐに使用できる |
-| 短所 | ローカルマシンで Docker が動作する必要があり、イメージのサイズが比較的大きい(約 3.3 GB) |
+| 対象者 | 依存関係を手動で設定せずに、ビルド環境をすばやく構築したい開発者 |
+| メリット | thirdparty、toolchain、JDK がイメージにプリインストールされており、すぐに使用できる |
+| デメリット | ローカルマシンで Docker が動作する必要がある。イメージのサイズが比較的大きい(約 3.3 GB) |
-マシンで Docker を使用できない場合は、代わりに [LDB
ツールチェーンを使用したコンパイル](./compilation-with-ldb-toolchain)を参照してください。
+マシンで Docker を使用できない場合は、代わりに [LDB Toolchain
を使用したコンパイル](./compilation-with-ldb-toolchain)を行ってください。
-## 1. Docker をインストールする
+## 1. Docker のインストール {#1-install-docker}
-CentOS では、パッケージマネージャーから直接インストールします。
+CentOS では、パッケージマネージャーから直接インストールできます。
```bash
yum install docker
@@ -60,11 +60,11 @@ yum install docker
その他のディストリビューションについては、[Docker
の公式インストールガイド](https://docs.docker.com/engine/install/)を参照してください。
-## 2. ビルドイメージを選択してダウンロードする
+## 2. ビルドイメージの選択とダウンロード {#2-choose-and-download-the-build-image}
<!-- Knowledge type: Configuration parameters -->
-Doris のバージョンごとに対応するビルドイメージが異なります。`apache/doris:build-env-ldb-toolchain-latest`
は master ブランチのコードをコンパイルするためのイメージで、開発の進行に合わせて継続的に更新されます。
+Doris
のバージョンごとに、対応するビルドイメージが異なります。`apache/doris:build-env-ldb-toolchain-latest` は
master ブランチのコードをコンパイルするためのイメージで、開発の進行に合わせて継続的に更新されます。
| イメージタグ | 対応する Doris のバージョン | 備考 |
| -------- | --------------- | ---- |
@@ -76,104 +76,73 @@ Doris のバージョンごとに対応するビルドイメージが異なり
| `apache/doris:build-env-for-3.0-no-avx2` | 3.0.x | AVX2 に対応していない CPU でも使用可能 |
| `apache/doris:build-env-for-3.1` | 3.1.x | AVX2 命令セットに対応 |
| `apache/doris:build-env-for-3.1-no-avx2` | 3.1.x | AVX2 に対応していない CPU でも使用可能 |
-| `apache/doris:build-env-ldb-toolchain-latest` | master | 開発ブランチに追従 |
+| `apache/doris:build-env-ldb-toolchain-latest` | master | 開発ブランチの更新に追随 |
| `apache/doris:build-env-ldb-toolchain-no-avx2-latest` | master | AVX2
に対応していない CPU でも使用可能 |
-Doris 2.0 のコンパイルを例に、イメージをダウンロードして確認します。
+以下のコマンドはホスト上で実行します。この例では `master`
をビルドします。リリースブランチをビルドする場合は、上の表に従ってブランチとイメージの両方を変更してください。これらの変数を引き続き使用できるよう、以降のホスト上のコマンドは同じシェルで実行してください。ARM64
と JDK の選択については、[イメージ選択時の注意事項](#notes-on-image-selection)を参照してください。
```bash
-# You can also use docker.io/apache/doris:build-env-for-2.0
-docker pull apache/doris:build-env-for-2.0
+DORIS_BRANCH=master
+DORIS_BUILD_IMAGE=apache/doris:build-env-ldb-toolchain-latest
+DORIS_SOURCE_DIR="$PWD/doris"
-# Confirm that the image has been downloaded successfully
-docker images
-# REPOSITORY TAG IMAGE ID CREATED SIZE
-# apache/doris build-env-for-2.0 f29cf1979dba 3 days ago 3.3GB
+docker pull "$DORIS_BUILD_IMAGE"
```
-### イメージ選択時の注意事項
-
-- イメージタグは Doris のバージョンと一対一で対応します。対象ブランチに合うイメージを選び、異なるバージョンの組み合わせでコンパイルしないでください。
-- `no-avx2` イメージ内のサードパーティ製ライブラリは、AVX2 に対応していない CPU
でも動作します。このイメージを使用する場合は、`USE_AVX2=0` オプションを指定してコンパイルする必要があります。
-- イメージの変更履歴については、[thirdparty の
CHANGELOG](https://github.com/apache/doris/blob/master/thirdparty/CHANGELOG.md)を参照してください。
-- 最新の `apache/doris:build-env-ldb-toolchain-latest`(現時点では x86_64
アーキテクチャのみ対応)には、JDK 8 と JDK 17 の両方が含まれています。バージョン 2.1 以前には JDK 8 を、バージョン 3.0
以降または master ブランチには JDK 17 を使用してください。
-- ARM64 アーキテクチャで Docker を使用してコンパイルする場合は、まず ARM64 に対応した Linux ベースイメージ(Ubuntu
22.04.5 LTS に対応する `apache/doris:base-latest` など)をダウンロードします。その後、[Linux
での直接コンパイル](./compilation-linux)と [ARM
プラットフォームでのコンパイル](./compilation-arm)を参照して、依存関係をインストールし、コンパイルしてください。
-
-コンテナ内では、環境変数を使用して JDK を切り替えます。
-
-```bash
-# Switch to JDK 8
-export JAVA_HOME=/usr/lib/jvm/java-1.8.0
-export PATH=$JAVA_HOME/bin/:$PATH
-
-# Switch to JDK 17
-export JAVA_HOME=/usr/lib/jvm/jdk-17.0.2/
-export PATH=$JAVA_HOME/bin/:$PATH
-```
-
-## 3. Doris をコンパイルする
+## 3. Doris のコンパイル {#3-compile-doris}
<!-- Knowledge type: Procedure -->
-### 3.1 Doris のソースコードをダウンロードする
+### 3.1 Doris のソースコードのダウンロード {#31-download-the-doris-source-code}
-ホストマシンで対象ブランチのコードを取得します(以下は branch-2.0 の例です)。
+ホスト上で、選択したブランチを上で設定したディレクトリにクローンします。
```bash
-git clone -b branch-2.0 https://github.com/apache/doris.git
+git clone --branch "$DORIS_BRANCH" https://github.com/apache/doris.git
"$DORIS_SOURCE_DIR"
```
-ソースディレクトリを `~/doris-branch-2.0` と仮定します。
-
-### 3.2 ビルドコンテナを起動する
+### 3.2 ビルドコンテナの起動 {#32-start-the-build-container}
```bash
-# Prepare the maven .m2 directory on the host in advance so that Java
dependencies can be reused across multiple builds
-mkdir ~/.m2
+mkdir -p "$HOME/.m2"
-# Mount the source code and the .m2 directory, then start the build image
docker run -it --network=host \
- --name mydocker \
- -v ~/.m2:/root/.m2 \
- -v ~/doris-branch-2.0:/root/doris-branch-2.0/ \
- apache/doris:build-env-for-2.0
-
-# After the command runs successfully, it enters the container automatically
+ --name doris-build \
+ -v "$HOME/.m2:/root/.m2" \
+ -v "$DORIS_SOURCE_DIR:/root/doris" \
+ --workdir /root/doris \
+ "$DORIS_BUILD_IMAGE"
```
-主な `docker run` パラメーターの説明は次のとおりです。
+このコマンドを実行すると、マウントしたソースディレクトリ `/root/doris` を作業ディレクトリとして、コンテナ内で Bash が開きます。
+
+`docker run` の主なパラメーターは次のとおりです。
| パラメーター | 用途 |
| ---- | ---- |
-| `-v` | ホストのディレクトリをコンテナ内にマウントし、ソースコードと依存関係を保持する |
+| `-v` | ホストのディレクトリをコンテナにマウントし、ソースコードや依存ライブラリを永続化する |
| `--name` | 後で管理しやすいようにコンテナ名を指定する |
-| `--network` | コンテナのネットワークモードを設定する。`host` はホストとネットワークスタックを共有し、ポートのマッピングは不要 |
+| `--workdir` | マウントしたソースディレクトリでシェルを起動する |
+| `--network` | コンテナのネットワークモードを設定する。`host` はホストとネットワークスタックを共有するため、ポートマッピングは不要 |
推奨事項:
-- ビルド成果物がホストに残り、コンテナの終了時に失われないよう、Doris のソースディレクトリを必ずマウントしてください。
-- コンテナを起動するたびに Maven の依存関係を再ダウンロードしなくて済むよう、`.m2` ディレクトリをマウントしてください。
-- コンテナ内でサードパーティ製ライブラリをダウンロードするには、インターネット接続が必要です。`--network=host` モードを推奨します。
+- ビルド成果物をホスト上に残し、コンテナ終了時に失われないように、Doris のソースディレクトリは必ずマウントしてください。
+- コンテナを起動するたびに Maven の依存ライブラリをダウンロードし直さなくて済むよう、`.m2` ディレクトリをマウントしてください。
+- コンテナ内でサードパーティーライブラリをダウンロードするには、インターネットへのアクセスが必要です。`--network=host` モードを推奨します。
-### 3.3 ビルドを実行する
+### 3.3 ビルドの実行 {#33-run-the-build}
-コンテナ内のソースディレクトリに移動した後、以下を実行します。
+コンテナ内でデフォルトのビルドを実行します。
```bash
-# By default, compile artifacts that support AVX2
-sh build.sh
-
-# When the CPU does not support AVX2, append USE_AVX2=0
-USE_AVX2=0 sh build.sh
-
-# Compile the Debug version of BE
-BUILD_TYPE=Debug sh build.sh
+bash build.sh
```
-ビルドが完了すると、成果物はソースディレクトリ内の `output/` に配置されます。
+ビルドが完了すると、成果物はソースディレクトリ内の `output/` に生成されます。
:::tip
-**マシンが AVX2 命令セットに対応しているか確認するには?**
+**マシンが AVX2 命令セットに対応しているか確認する方法**
```bash
cat /proc/cpuinfo | grep avx2
@@ -182,30 +151,72 @@ cat /proc/cpuinfo | grep avx2
出力が空でなければ、AVX2 に対応しています。
:::
-## 4. 独自の開発用イメージをビルドする
+### その他のビルドオプション {#other-build-options}
-ベースイメージをカスタマイズする場合(別のベースディストリビューションへの変更やデバッグツールの追加など)は、ソースコード内の
`docker/README.md` を参照してください。
+必要に応じて、デフォルトのビルドコマンドの代わりに次のいずれかを実行してください。
-## FAQ
+```bash
+# For CPUs without AVX2
+USE_AVX2=0 bash build.sh
-### Q1: イメージのバージョンと Doris のバージョンが一致しない場合はどうなりますか?
+# Build the Debug version of BE
+BUILD_TYPE=Debug bash build.sh
+```
-イメージ内の thirdparty ライブラリとツールチェーンは、Doris
のソースコードと密接に結び付いています。バージョンが異なる組み合わせでは、コンパイル中に `undefined reference` や
`incompatible library` などのリンカーエラーが発生する可能性が非常に高くなります。必ず表に従って選択してください。
+### イメージ選択時の注意事項 {#notes-on-image-selection}
-### Q2: ビルド時に `AVX2 not supported` と表示される場合は?
+- イメージタグと Doris
のバージョンは一対一で対応しています。対象ブランチに合うイメージを選び、異なるバージョンの組み合わせでコンパイルしないでください。
+- `no-avx2` イメージに含まれるサードパーティーライブラリは、AVX2 に対応していない CPU
でも動作します。このイメージを使用する場合は、`USE_AVX2=0` オプションを指定してコンパイルする必要があります。
+- イメージの変更履歴については、[thirdparty
CHANGELOG](https://github.com/apache/doris/blob/master/thirdparty/CHANGELOG.md)を参照してください。
+- 最新の `apache/doris:build-env-ldb-toolchain-latest`(現在は x86_64
アーキテクチャのみに対応)には、JDK 8 と JDK 17 の両方が含まれています。バージョン 2.1 以前には JDK 8、バージョン 3.0 以降または
master ブランチには JDK 17 を使用してください。
+- ARM64 アーキテクチャ上で Docker を使用してコンパイルする場合は、まず ARM64 対応の Linux ベースイメージ(Ubuntu
22.04.5 LTS に対応する `apache/doris:base-latest` など)をダウンロードしてください。その後、[Linux
での直接コンパイル](./compilation-linux)と[ARM
プラットフォームでのコンパイル](./compilation-arm)のドキュメントを参照して、依存ライブラリをインストールし、コンパイルしてください。
-ホストまたは実行先のマシンの CPU が AVX2 命令セットに対応していません。`no-avx2` サフィックスが付いたイメージに切り替え、ビルド時に
`USE_AVX2=0` を設定してください。
+コンテナ内では、環境変数を使って JDK を切り替えます。
-### Q3: `docker pull` でのイメージ取得が遅すぎる場合は?
+```bash
+# Switch to JDK 8
+export JAVA_HOME=/usr/lib/jvm/java-1.8.0
+export PATH=$JAVA_HOME/bin/:$PATH
+
+# Switch to JDK 17
+export JAVA_HOME=/usr/lib/jvm/jdk-17.0.2/
+export PATH=$JAVA_HOME/bin/:$PATH
+```
+
+## 4. 独自の開発用イメージのビルド {#4-build-your-own-development-image}
+
+ベースイメージをカスタマイズする場合(ベースとなるディストリビューションの変更やデバッグツールの追加など)は、ソースコード内の
`docker/README.md` を参照してください。
+
+## よくある質問 {#faq}
+
+### Q1: イメージのバージョンと Doris のバージョンが一致しない場合はどうなりますか?
{#q1-what-happens-if-the-image-version-does-not-match-the-doris-version}
-Docker のイメージミラーアクセラレーターを設定するか、完全なパス `docker.io/apache/doris:...` を使用してください。
+イメージ内の thirdparty ライブラリと toolchain は、Doris
のソースコードと密接に結び付いています。異なるバージョンを組み合わせると、コンパイル中に `undefined reference` や
`incompatible library` などのリンクエラーが発生する可能性が非常に高くなります。必ず表に従って選択してください。
-### Q4: コンテナ内で Java ライブラリのダウンロードに失敗する場合は?
+### Q2: ビルド時に `AVX2 not supported` と表示される場合は?
{#q2-the-build-reports-avx2-not-supported}
+
+ホストまたは実行先のマシンの CPU が AVX2 命令セットに対応していません。`no-avx2` 接尾辞が付いたイメージに切り替え、ビルド時に
`USE_AVX2=0` を設定してください。
+
+### Q3: `docker pull` でのイメージ取得が遅すぎる場合は?
{#q3-docker-pull-is-too-slow-to-pull-the-image}
+
+Docker イメージのミラーアクセラレーターを設定するか、完全なパス `docker.io/apache/doris:...` を使用してください。
+
+### Q4: コンテナ内で Java ライブラリのダウンロードに失敗する場合は?
{#q4-java-library-downloads-fail-inside-the-container}
+
+コンテナが `--network=host` を指定して起動されていること、および `~/.m2`
ディレクトリがコンテナにマウントされていることを確認してください。プロキシやネットワークの分離によって Maven Central
リポジトリにアクセスできなくなる場合があります。
+
+### Q5: Git で `detected dubious ownership in repository` と表示される場合は?
{#q5-git-reports-detected-dubious-ownership-in-repository}
+
+マウントしたソースディレクトリの所有者が、ホスト上の別のユーザーである可能性があります。ソースリポジトリを信頼できることを確認したうえで、コンテナ内でマウント先のパスを例外として追加してください。
+
+```bash
+git config --global --add safe.directory /root/doris
+```
-プロキシやネットワークの分離によって Maven Central リポジトリに接続できなくならないよう、コンテナが `--network=host`
で起動されていることと、`~/.m2` ディレクトリがコンテナ内にマウントされていることを確認してください。
+コンテナ内のマウント先を変更した場合は、`/root/doris` をそのパスに置き換えてください。
-## 関連ドキュメント
+## 関連ドキュメント {#related-documents}
-- [LDB ツールチェーンを使用したコンパイル](./compilation-with-ldb-toolchain)
+- [LDB Toolchain を使用したコンパイル](./compilation-with-ldb-toolchain)
- [Linux での直接コンパイル](./compilation-linux)
- [ARM プラットフォームでのコンパイル](./compilation-arm)
diff --git
a/i18n/ja/docusaurus-plugin-content-docs/current/lakehouse/best-practices/lance-hybrid-search.mdx
b/i18n/ja/docusaurus-plugin-content-docs/current/lakehouse/best-practices/lance-hybrid-search.mdx
new file mode 100644
index 00000000000..7f4ec54e1bd
--- /dev/null
+++
b/i18n/ja/docusaurus-plugin-content-docs/current/lakehouse/best-practices/lance-hybrid-search.mdx
@@ -0,0 +1,199 @@
+---
+{
+ "title": "Lance ハイブリッド検索の性能最適化のベストプラクティス",
+ "language": "ja",
+ "description": "Apache Doris で Lance
のフィルタ付きベクトル検索と全文検索を調整するために、インデックスのカバレッジを揃え、セグメントのサイズを決め、共有キャッシュを配分し、クエリ Profile
を診断します。"
+}
+---
+
+Lance
でのベクトル検索や全文検索にスカラー条件を組み合わせる場合に、このガイドを使用してください。フィルタの配置、インデックスセグメントの構成、フィルタ処理の重複を見つける方法を説明します。ここでいうハイブリッド検索は、検索とスカラーフィルタリングの組み合わせを指します。ベクトル検索と全文検索の
TVF を別々に呼び出しても、両者のランキングが自動的に統合されるわけではありません。
+
+:::note
+Lance Catalog は実験的な機能で、Apache Doris 4.2 以降でサポートされています。まず [Lance
Catalog](../catalogs/lance-catalog.mdx)
を参照してアクセスを設定し、リーダーとライターの互換性要件を確認してください。Doris は既存の Lance
インデックスを読み取ります。インデックスの構築と保守には、互換性のある Lance ツールを使用してください。最新の Lance SDK
やアップストリームの提案にある機能が、使用中の Doris ビルドに同梱されたリーダーでサポートされるとは限りません。
+:::
+
+## 1. 候補生成に必要なフィルタを検索の内部に配置する {#candidate-filters}
+
+整数の `id`、文字列の `category` と `content`、四次元ベクトルの `embedding`
を含む設定済みのテーブルでは、候補生成に影響させる必要がある条件を TVF の `filter`
パラメータに指定します。ベクトルインデックスは次元数と距離尺度が一致している必要があり、テキスト列にはコミット済みの FTS インデックスが必要です。
+
+```sql
+SELECT id, _distance
+FROM vector_search(
+ "table" = "lance_catalog.default.items",
+ "column" = "embedding",
+ "query_vector" = "[0.1,0.2,0.3,0.4]",
+ "metric" = "l2",
+ "top_k" = "20",
+ "filter" = "category = 'book'",
+ "use_index" = "true"
+)
+ORDER BY _distance ASC, id;
+```
+
+このクエリは、条件に一致する行から最大 20 件の近傍を検索します。これは近似検索であり、20
行が返っても再現率が保証されるわけではありません。フィルタ付きの全文検索は次のとおりです。
+
+```sql
+SELECT id, _score
+FROM full_text_search(
+ "table" = "lance_catalog.default.items",
+ "column" = "content",
+ "query" = "storage engine",
+ "query_type" = "match",
+ "operator" = "and",
+ "top_k" = "20",
+ "filter" = "category = 'book'",
+ "coverage_mode" = "strict"
+)
+ORDER BY _score DESC, id;
+```
+
+このクエリは、一致する文書を BM25 の順位に従って最大 20 件返します。外側の `WHERE category = 'book'`
は意味が異なります。Doris は、Lance が生成した候補をグローバル TopN
の前にフィルタリングします。除外された候補は自動的には補充されません。`EXPLAIN` で条件が Doris Scan
オペレーターの内部に表示される場合でも、検索後に適用する意図がある条件だけを TVF の外側に配置してください。
+
+## 2. 並列処理の単位を理解する {#execution-and-splits}
+
+```text
+Query snapshot
+ -> FE plans physical search-index segment splits
+ -> Each split: scalar Prefilter -> vector or full-text candidates
+ -> Doris residual filtering -> local TopN -> global TopN
+ -> Optional deferred fetch of output columns
+```
+
+| クエリの経路 | Split の基準 | 影響 |
+|---|---|---|
+| インデックスを使うベクトル検索 | 選択された物理ベクトルインデックスのセグメント。カバーされない Fragment には Flat Search の
Split が割り当てられる | スカラーインデックスのセグメントが、ベクトルクエリの Split
数を独立に決めることはありません。インデックスのないデータがレイテンシーを左右する場合があります。 |
+| 全文検索 | 選択された物理 FTS インデックスのセグメント | デフォルトの `strict` カバレッジでは、カバーされない Fragment
があるとクエリを拒否します。`index_only` ではそれらを除外します。全文検索には Flat Search へのフォールバックがありません。 |
+| 通常のスカラースキャン | 独自のスキャン計画。スカラーインデックスのセグメントや Fragment のグループを使う場合がある |
スカラー条件だけのクエリ計画から、フィルタ付きベクトルクエリの並列度を推測しないでください。 |
+
+`lance_fragments_per_split` が制御するのは通常の Fragment
スキャンのグループ分けであり、物理ベクトルインデックスのセグメント数ではありません。Pipeline インスタンスや Scanner
の同時実行数を増やしても、プランナーが生成した数を超えるベクトルセグメントの Split は作れません。Lance Scanner
は内部でも処理を並列実行できるため、Doris Scanner 一つが CPU スレッド一つに相当するわけでもありません。
+
+検索 Split が `S` 個ある場合、それぞれが返せる候補は最大 `top_k + offset` 件です。したがって、残余フィルタリングとグローバル
TopN の前の候補数の上限は `S * (top_k + offset)`
です。セグメントを増やすと処理を分散しやすくなる一方、セグメントごとの初期化、フィルタリング、候補のマージ、同時実行時のメモリ需要も増えます。
+
+## 3. セグメント数ではなく Fragment のカバレッジを揃える {#fragment-alignment}
+
+Fragment はデータの単位です。インデックスセグメントは、一組の Fragment
をカバーする独立したインデックスです。論理インデックスは、一つのインデックス名の下に物理セグメントをまとめます。IVF パーティション、BTree
ページ、FTS の Posting ブロックはインデックス内部の単位であり、いずれも Doris の検索 Split を定義しません。
+
+次の例では、八つのデータ Fragment を使用します。
+
+| レイアウト | ベクトルのカバレッジ | スカラーのカバレッジ | Fragment 単位で読み取るスカラーリーダーにおけるフィルタリングへの影響 |
+|---|---|---|---|
+| 境界が一致 | `V0={0,1,2,3}`, `V1={4,5,6,7}` | `B0={0,1,2,3}`, `B1={4,5,6,7}` |
各ベクトル Split に必要なのは、対応するスカラーセグメントだけです。 |
+| スカラー側が細かい | 上と同じ | Fragment ごとに一つ、計八つのセグメント | 各 Split
は四つのスカラーセグメントを選択します。ベクトル側の境界をまたぐセグメントはありません。 |
+| スカラー側が粗い | 上と同じ | `B0={0,1,2,3,4,5,6,7}` | 両方のベクトル Split
が同じスカラーセグメントを検索する可能性があります。 |
+| 数は同じでも境界が交差 | 上と同じ | `B0={0,1,4,5}`, `B1={2,3,6,7}` | 両方のスカラーセグメントが、両方のベクトル
Split と重なります。数が同じでも境界が揃うとは限りません。 |
+
+Fragment 単位のプルーニングでは、重なりのないスカラーセグメントをスキップします。一部でも重なれば、そのセグメントは残ります。述語の評価前に小さな
BTree を自動で再構築したり、すべての Posting
リストを切り分けたりはしません。繰り返しのクエリではキャッシュ済みのインデックス内容を再利用できても、検索と行 ID
集合の構築は繰り返される場合があります。残された BTree
セグメントへのルックアップが、そのすべてのページをスキャンするとは限りません。コストは述語と一致件数によって変わります。
+
+:::important
+この効果は実際のリーダー経路に依存します。Fragment 単位でスカラーインデックスを読み込む Lance の V2 filtered-read
経路では、無関係なスカラーセグメントを検索前に除外できます。従来の V1 データファイル経路では、論理スカラーインデックスをより広い範囲で評価してから行 ID
を制限する場合があります。ここでの V1/V2 は **データファイル形式** を指し、Doris
のリリースやベクトルインデックスの種類ではありません。すべてのリーダーバージョンや FTS
経路で同じプルーニングが行われると仮定せず、クエリの種類ごとに計画と Profile を確認してください。
+:::
+
+頻繁に組み合わせて使う列については、ベクトル、スカラー、FTS インデックスの構築に同じ Fragment
グループを使用します。スカラーセグメントは、それが対応する検索セグメントの内側に収まるなら、さらに細かくできます。ベクトルと FTS
で異なるセグメントサイズが必要な場合は、共通の基本グループをそれぞれまとめ、スカラーセグメントが双方の境界をまたがないようにすることを検討してください。これは重なりを減らすためのレイアウト方針であり、すべての実行経路がその利点を利用する保証はありません。
+
+### 初期の粒度を選ぶ {#choose-a-starting-granularity}
+
+セグメントあたりの行数やバイト数に、普遍的な最適値はありません。ワークロードを実行できる BE の数を起点に、再現率と目標の同時実行数を固定して、BE
あたり均等な検索セグメントを一つ置く構成と、少数のセグメントを置く構成を比較してください。これらは実験の出発点であり、必須の比率ではありません。
+
+| ワークロード | 構築時の優先事項 | 測定すべき主なトレードオフ |
+|---|---|---|
+| 低レイテンシーが必要なフィルタ付きベクトル検索 | 均等なベクトルグループと、その内側に収まるスカラーのカバレッジ | 最も遅い Split
と、重複するフィルタリングや候補の増加によるコスト |
+| 同時実行数の多い検索 | クエリごとの Split を増やしすぎず、再利用できるパーティションを維持する | QPS、P95 レイテンシー、CPU
キュー、ピークメモリを併せて測る |
+| 広範囲のスカラーフィルタや頻出する FTS 用語 | 一致件数、テキスト長、Posting のサイズを考慮してグループを均等にする |
行数が等しくても、フィルタリングや検索のコストは等しくならない場合がある |
+| 頻繁なデータ追加 | 同じ新規 Fragment グループに対して、関連するインデックスをすべて構築する |
新しいデータのカバレッジと、小さなセグメントの蓄積 |
+| 個々の Fragment が非常に大きい | インデックス構築前にデータファイルのサイズを設計する | Fragment 単位のカバレッジでは、一つの
Fragment を互いに重ならない複数のカバレッジグループに分割できない |
+
+行数に加えて、エンコード後のベクトルとグラフのサイズ、スカラー値の分布、テキストと Posting
のサイズも測定してください。各ベクトルセグメントには、その IVF/PQ 設定の学習に十分なデータを確保します。`nlist`(IVF
パーティション数)と物理セグメント数は別々に決める項目です。一方を変更しても、他方は自動的には調整されません。
+
+## 4. 共通のグループ分け計画から関連インデックスを構築する {#build-aligned-indexes}
+
+Doris には、列間でインデックスを自動的に揃えるパラメータはありません。互換性のある SDK がサポートする場合は、Lance の分散構築 API
を使用してください。次の例は処理を調整するためのパターンであり、そのまま実行できるデータセット生成器やベンチマーク設定ではありません。
+
+```python
+# ds is an existing LanceDataset at the chosen build snapshot.
+# groups contains non-empty, disjoint lists of actual fragment IDs.
+# vector_params and fts_params are validated for the schema and SDK version.
+# Keep writes and compaction paused for this simple coordinator example.
+visible = {fragment.fragment_id for fragment in ds.get_fragments()}
+assigned = [fragment_id for group in groups for fragment_id in group]
+assert groups and all(groups)
+assert len(assigned) == len(set(assigned))
+assert set(assigned) == visible
+
+specs = [
+ ("embedding_idx", "embedding", "IVF_PQ", vector_params),
+ ("category_idx", "category", "BTREE", {}),
+ ("content_idx", "content", "INVERTED", fts_params),
+]
+segments = {name: [] for name, _, _, _ in specs}
+for fragment_ids in groups:
+ for name, column, index_type, params in specs:
+ segment = ds.create_index_uncommitted(
+ column,
+ index_type,
+ name=name,
+ fragment_ids=fragment_ids,
+ **params,
+ )
+ segments[name].append(segment)
+
+# These are three separate commits, not an atomic multi-index publication.
+for name, column, _, _ in specs:
+ ds.commit_existing_index_segments(name, column, segments[name])
+```
+
+入力は次の手順で準備し、検証します。
+
+1. **構築計画を固定する。** 一つのスナップショットから実際の Fragment ID を列挙します。ID
は連続しているとは限りません。行数と推定インデックスサイズに基づいてグループを均等にし、関連するすべての列でそのグループを正確に再利用します。分散ワーカーはすべて同じ構築バージョンを開く必要があります。
+2. **互換性のある設定を選ぶ。** IVF_PQ
には、ベクトルの次元数とサンプルサイズに適した距離尺度、`num_partitions`、`num_sub_vectors`
を指定します。同じ論理インデックス内では設定を統一します。FTS ではアナライザーとトークナイザーの設定を統一し、フレーズ検索が必要な場合は
`with_position` を有効にします。
+3. **ベクトルモデルの方針を決める。**
サポートされている複数セグメントの構築では、セグメントごとに独立して学習できます。後で物理セグメントをマージする際にモデルの共有が必要なら、各ワーカーに同じ
IVF セントロイドと PQ コードブックを渡します。独立して学習したセグメントを無条件にマージしたり、マージ後も HNSW
グラフが保持されると仮定したりせず、SDK がサポートする手順を確認してください。
+4. **構築してから公開する。** 構築ごとに固有の UUID
を持つ物理セグメントが返されます。成功した出力を集め、カバレッジと互換性を確認してから、各論理インデックスをコミットします。異なる列やワーカーの出力に同じ物理
UUID
を割り当てないでください。この例は新しい論理インデックス名を前提としています。置き換え、再試行、失敗時のクリーンアップには、別途コーディネーターの方針が必要です。
+5. **完成した Manifest を確認する。** 各インデックスについて、セグメントから Fragment
への実際のカバレッジを計画したグループと比較し、欠落や重複がないか確認します。セグメント数が一致するだけでは不十分です。Lance
のインデックスメタデータを使用してください。Filesystem Catalog のテーブルに対する Doris の `SHOW INDEX`
は、論理インデックス名、種類、フィールドの確認には役立ちますが、このカバレッジ監査の代わりにはなりません。
+
+共通のグループ分け計画を使っても、すべてのワーカーの出力を一つのセグメントにマージする必要はありません。マージすると、維持したかった境界が失われます。構築とコミットの
API、およびサポートされるマージ手順については、[Lance
の分散インデックス構築](https://lance.org/guide/distributed_indexing/) を参照してください。
+
+### 保守中も境界を揃える {#preserve-alignment-during-maintenance}
+
+- 同じ新規 Fragment グループに対し、関連するベクトル、スカラー、FTS
のセグメントを追加します。公開のたびに、クエリで使用するスナップショットのカバレッジを確認してください。データの追加からインデックスの公開が完了するまでの間、FTS
の `strict` モードではクエリが拒否される場合があります。
+-
コンパクション、データの書き換え、インデックスの最適化はレイアウト変更として扱います。操作やリーダーバージョンによって、インデックスが再マッピングまたは再構築される場合があります。以前の境界が維持されると仮定せず、処理後のカバレッジを確認してください。
+-
一つのレイアウト計画に従って小さなグループを統合します。混合クエリの性能が境界の一致に依存する場合、インデックスごとに無関係なグループへ独立して最適化しないでください。
+-
オンライン保守では、スナップショットと競合の処理、および復旧に対応するコーディネーターを使用します。インデックスごとの個別のコミットでは、すべての列を原子的に切り替えることはできません。TVF
は最新の `main` スナップショットを読み取ります。`table` 引数で過去のバージョンやタグを選ぶことはできません。
+
+### 論理インデックスとアップストリームの計画 {#logical-indexes-and-upstream-planning}
+
+Lance
の[インデックス形式](https://lance.org/format/index/)は、論理インデックスと物理セグメントを定義しています。[分散インデックスに関する追跡
Issue](https://github.com/lance-format/lance/issues/6309)
では、インデックスの種類をまたぐ共通のセグメントライフサイクルが追跡されています。このモデルは、異なる列に**同一の Fragment
境界を要求しません**。列間のグループ分けと保守は引き続きオーケストレーション側の責任です。アップストリームの計画を、Doris
に自動的な境界合わせ機能があるという意味に捉えないでください。
+
+## 5. フィルタとメモリを併せて調整する {#workload-tuning}
+
+| 観測結果 | 次に試すこと | 正確性またはリソース上の制約 |
+|---|---|---|
+| 選択性の非常に高いフィルタで、ベクトル検索の結果が少ない、または再現率が低い | フィルタの配置とインデックスのカバレッジを確認し、Probe
の設定と、範囲を限定したデータセットでの厳密検索による基準値を比較する | レイテンシーを下げるために Probe
を減らすと、再現率が低下する場合があります。Probe を増やしても、フィルタに一致しない行は結果に含められません。 |
+| 広範囲のフィルタで大きな Prefilter 集合が生じる | 境界を揃えたレイアウトと、スカラー述語の実際の選択性を比較する |
インデックスを使っても、多数の一致する行 ID を具体化するコストはなくなりません。 |
+| ベクトル Split の増加に伴い、スカラー処理が繰り返される | セグメントのカバレッジの交差とリーダー経路を比較する |
キャッシュが温まっていても、Split を増やすとフィルタリングが増幅する場合があります。 |
+| キャッシュが冷えた状態のクエリが遅い | 代表的なベクトルと用語を使い、コールド実行とウォーム実行の Profile を比較する |
一つのクエリをウォームアップしても、本番のワーキングセット全体はカバーできません。 |
+| キャッシュが温まった状態で、混合トラフィックが遅くなる | 目標の同時実行数で共有キャッシュのミスと CPU キューを測定する | 同じ BE
上で、スカラー、ベクトル、FTS のインデックス内容が同一の Session インデックスキャッシュ容量を奪い合う場合があります。 |
+| `top_k` が大きい、`offset` が深い、または出力が広い | 意味を変えずに済む範囲で要求候補数を減らし、遅延取得を調べる |
候補ヒープ、行 ID マスク、結果の精緻化、取得バッファにもクエリメモリが必要です。 |
+
+再利用するインデックスのワーキングセットを**全種類合わせて**見積もり、同時実行するクエリのメモリに余裕を残してください。キャッシュ容量はプロセスメモリの上限ではなく、メタデータキャッシュを増やしてもインデックスキャッシュは増えません。インデックス別のデータ量の計算式、HNSW
グラフのコスト、キャッシュの適用範囲、Doris BE の設定例については、[Lance クエリのベストプラクティス](doris-lance.mdx)
を参照してください。
+
+## 6. 計画と Profile で検証する {#validation}
+
+同じクエリ群、データセットのスナップショット、インデックスの種類と設定、`top_k`、再現率の目標を使って比較します。一度に変更するレイアウトまたはパラメータは一つにしてください。選択性の高いフィルタと広範囲のフィルタ、多様なベクトルや用語、コールド実行とウォーム実行、想定する同時実行数を含めます。P50/P95、スループット、結果件数、再現率、BE
ごとのピークメモリを記録してください。
+
+| 段階 | 確認する情報 | 解釈 |
+|---|---|---|
+| FE のメタデータと計画 | `Execution Summary` → `Lance Metadata Metrics` の
`MetadataReadTime`、`IndexMetadataReadTime`、`SplitPlanningTime` と、対応する `Calls` |
Catalog メタデータへのアクセスと Split の計画を、BE での検索と区別します。メタデータの合計時間には内訳の処理時間が含まれます。 |
+| 計画とカバレッジ | `EXPLAIN` の
`lanceSearchIndexSegments`、`lanceSearchIndexFragments`、`lanceSearchUnindexedFragments`。`LanceSearchPlan`
の
`LancePlannedIndexSegmentCount`、`LancePlannedIndexedFragmentCount`、`LancePlannedFlatSearchFragmentCount`
| これらは計画または割り当てられた検索処理を示し、完了した検索を示すものではありません。Flat Search の件数はベクトルクエリに適用され、FTS
には適用されません。 |
+| リーダーの初期化とバッチ読み取り | `LanceTiming` の
`LanceDatasetOpenTime`、`LanceScannerConfigureTime`、`LanceScannerNextTime`、`LanceArrowToDorisBlockTime`
| オープンと設定、Lance による読み取り、Doris 形式への変換を区別します。バッチ読み取り時間には内部の検索、I/O、デコード、待機が含まれます。
|
+| 行 ID Prefilter | `LanceScan` の
`RowIdPrefilterLoads`、`RowIdPrefilterInputRows`、`RowIdPrefilterInputBatches`、`RowIdPrefilterIds`、`RowIdPrefilterLoadTime`、`RowIdPrefilterInputTime`、`RowIdPrefilterBuildTime`
| 入力待機と読み取り、マスクの構築は、総ロード時間の一部です。これらは行 ID
ローダーを表し、すべてのスカラー述語や最終的な候補集合を表すものではありません。 |
+| スカラーセグメントの経路 | `LanceScalarIndex` の
`LanceScalarIndexSegmentsRequested`、`LanceScalarIndexSegmentsSearched`、`LanceScalarIndexSegmentFallbacks`、`LanceScalarIndexCandidateRows`、`LanceScalarIndexCandidateEvaluationTime`、`LanceScalarIndexSegmentSearchTime`
| 候補評価時間にはセグメント検索時間が含まれます。候補数は Fragment
による制限と完全なフィルタリングの前に数えられます。繰り返されたタスクで候補が再度数えられる場合があり、件数を取得できないとゼロのままになる場合もあります。 |
+| インデックスの再利用と I/O | `LanceIndex` の
`LanceIndexCacheHits`、`LanceIndexCacheMisses`、`LanceIndexObjectLoads`、`LanceIndexComponentsLoaded`、`LanceIndexComparisons`。`LanceIO`
の `LanceIOReadBytes`、`LanceIOReadOps`、`LanceIOReadRequests` |
オブジェクトやコンポーネントの読み込み、キャッシュ参照、検索処理を区別します。読み込み回数はキャッシュミスの回数ではなく、実行時の I/O
もリモート通信量の全体を表すものではありません。 |
+| ベクトルパーティションの選択と検索 |
`LanceIVFPartitionsConsidered`、`LanceIVFPartitionSelectionTime`、`LanceIndexPartitionsSearched`、`LanceVectorIndexDeltasSearched`、`LanceIndexPartitionLoadTime`、`LanceIndexSearchTime`、`LanceIndexDistanceTopKTime`
| パーティションの選択と実際の検索を区別します。距離計算と Top-K の時間にはフィルタリングやヒープ操作が含まれ、検索時間とも重なります。FTS
でも検索したパーティション数が報告されます。 |
+| 待機と同時実行 |
`LanceIndexPrefilterWaitTime`、`LanceIndexCpuQueueWaitTime`、`LanceScanTaskWaitTime`
| インデックスの Prefilter 待機、CPU タスクキューの待機、FilteredRead タスクの待機を区別します。いずれも I/O 待機全体や
Doris のスケジューリング時間全体を表しません。 |
+| 出力列の取得 | Row ID Fetch/Materialization の情報である
`LanceRowIdFetchCalls`、`LanceRowIdFetchRows`、`LanceRowIdFetchTotalTime`、`LanceRowIdTakeReadTime`、`LanceArrowToDorisBlockTime`
と、データキャッシュのバイト数カウンター |
取得時間の合計には読み取りと変換の内訳が含まれ、別の統計経路を使用します。エクスポートされた同じ値を、独立した処理時間として再度加算しないでください。 |
+| クエリ全体のレイテンシー | 最も遅い Scanner、依存関係の待機、FE の待機・取得・書き込み、クライアントで測定した経過時間 |
重なりのあるオペレーターや並列 Scanner すべての時間を足してクエリのレイテンシーとしないでください。 |
+
+指標の定義と適用範囲については [Lance Query Profile のリファレンス](lance-query-profile.md)、Dataset
のデータキャッシュのバイト数と BE 全体の Session 指標については
[キャッシュの有効性の確認](../catalogs/lance-catalog.mdx#checking-cache-effectiveness)
を参照してください。クエリ単位のインデックスキャッシュカウンターは、Session の合計値の差分ではありません。
+
+Profile の詳細度は、稼働中の FE/BE と同梱された Lance の計測機能に依存します。Scanner
の指標は事前に登録されているため、値がゼロでも、ネイティブ経路からその指標が報告されなかっただけの可能性があります。また、実行時のコールバックにはストリームの完了が必要です。失敗、キャンセル、早期終了したスキャンでは、件数が不完全になる場合があります。値が欠けている、またはゼロであることだけを根拠に、インデックスやフィルタが使われなかったと判断しないでください。`LanceScannerNextTime`
は内部検索や待機の計測時間と重なります。この値が大きいだけでは、ストレージがボトルネックとは判断できません。これらの指標で読み取り区間を説明できない場合は、残りの時間をストレージに起因すると判断する前に
CPU/I/O �
�レースを取得してください。
+
+フィルタのないベクトルクエリでは、セグメント単位の最適化を備えたリーダーを使用し、選択されたインデックスセグメントがスキャン対象の Fragment
範囲に完全に収まる場合、すべての行 ID
の列挙を回避できます。実際のスカラー述語は引き続き評価が必要で、削除や可視性の処理も残る場合があります。境界を揃えることで不要な処理は減らせますが、フィルタ付き検索で
Prefilter のコストがゼロになるとは限りません。
diff --git
a/i18n/ja/docusaurus-plugin-content-docs/current/lakehouse/best-practices/lance-query-profile.md
b/i18n/ja/docusaurus-plugin-content-docs/current/lakehouse/best-practices/lance-query-profile.md
new file mode 100644
index 00000000000..c5395bdb716
--- /dev/null
+++
b/i18n/ja/docusaurus-plugin-content-docs/current/lakehouse/best-practices/lance-query-profile.md
@@ -0,0 +1,157 @@
+---
+{
+ "title": "Lance クエリ Profile リファレンス",
+ "sidebar_label": "Lance クエリ Profile",
+ "language": "ja",
+ "description": "Apache Doris の Lance クエリ Profile を読み解くためのリファレンス。FE
のメタデータとプランニング、BE のインデックスとスキャンの指標、キャッシュ統計、計測時間の範囲、第二段階の Row ID による行取得を説明します。",
+ "keywords": [
+ "Lance",
+ "Query Profile",
+ "パフォーマンス分析",
+ "ベクトル検索",
+ "インデックスキャッシュ"
+ ]
+}
+---
+
+このリファレンスでは、通常の Lance スキャン、ベクトル検索、全文検索、第二段階の Row ID による行取得に関する Profile
指標を説明します。Profile の収集と表示、および一般的なオペレーターの分析については、[Query Profile
分析ガイド](../../query-acceleration/query-profile.md)を参照してください。Lance へのアクセスは、[Lance
Catalog](../catalogs/lance-catalog.mdx)を使用して設定します。
+
+:::note
+Lance Catalog は実験的な機能で、Apache Doris 4.2 以降でサポートされます。以下の指標は、稼働中の FE/BE
とバンドルされている Lance のバージョンによって異なります。
+:::
+
+Lance クエリを実行する前に、クエリの Profile を有効にします。
+
+```sql
+SET enable_profile = true;
+```
+
+以下の名前は、現在の Lance の計測項目を表します。
+
+## FE のメタデータとプランニング {#fe-metadata-and-planning}
+
+通常のスキャン、`COUNT`、ベクトル検索、全文検索を含む Catalog クエリでは、`Lance Metadata Metrics` を
`Execution Summary` の下で確認します。
+
+| タイマー | 意味 |
+|---|---|
+| `MetadataReadTime` | Catalog のメタデータ読み取りにかかった合計時間。テーブルアクセスの解決、Dataset
へのアクセス、リソースのクリーンアップを含みます。 |
+| `TableAccessResolveTime` | Namespace
へのアクセス、認証情報、ストレージオプションを含む、テーブルアクセスの解決にかかった時間。 |
+| `DatasetOpenTime` | FE で Dataset を開く時間。過去のスナップショットを参照するクエリでは、複数回開くことがあります。 |
+| `VersionResolveTime` | 必要に応じて、指定された過去のスナップショットを解決する時間。 |
+| `SchemaReadTime` | Arrow スキーマを読み取る時間。 |
+| `FragmentMetadataReadTime` | Fragment のメタデータを読み取り、行数の記述情報を作成する時間。 |
+| `FieldIdsReadTime` | Lance のフィールド ID を読み取り、対応付ける時間。 |
+| `IndexMetadataReadTime` | 論理インデックスを検出し、インデックスセグメントのメタデータを読み取る時間。 |
+| `SplitPlanningTime` | 通常のスキャン、メタデータを使った行数カウント、ベクトル検索、全文検索の Split を計画する時間。 |
+
+実行された操作やステップには、`Calls` に対応するカウンターもあり、たとえば `DatasetOpenCalls`
が該当します。`MetadataReadFailures` と `SplitPlanningFailures`
は、失敗した操作を、その経過時間も含めて計測します。失敗した SQL
ステートメントの数ではありません。実行されなかったメタデータ処理にはカウンターが作成されません。このグループには、同じ SQL
ステートメント内での複数テーブルに対する処理や繰り返しの読み取りを含む Catalog の処理が累積されます。単独のファイル TVF と `SHOW
INDEX` は、このグループの指標を記録しません。
+
+`MetadataReadTime` にはメタデータ処理の各ステップが含まれます。`SplitPlanningTime` は別に計測されます。汎用指標の
`External Table Get Table Meta Time`、`External Table Get File Scan Tasks
Time`、`External Table Meta Time` には対応する処理が含まれているため、それらを Lance
の詳細タイマーや、それらを包含する分析・プランニング時間に重ねて加算しないでください。FE の `DatasetOpenTime` と BE の
`LanceDatasetOpenTime` は、異なるプロセスでの処理を表します。
+
+## BE のグループと統計の計測範囲 {#be-groups-and-statistics-boundaries}
+
+スキャンの Profile では、`TableReader` → `LanceReader`
を確認します。その配下のグループはラベルであり、タイマーではありません。階層構造は、子項目の時間を加算できることを意味しません。
+
+| グループ | 内容 |
+|---|---|
+| `LanceTiming` | Dataset を開く処理、Scanner の設定と読み取り、Runtime Filter の変換、Arrow
の変換、Row ID による行取得。 |
+| `LanceIO` | 計測対象の実行ストリームにおける読み取り操作数、リクエスト数、バイト数。 |
+| `LanceIndex` |
インデックスオブジェクトとコンポーネントの読み込み、キャッシュの参照、比較、インデックスを開く処理、検索したパーティション。 |
+| `LanceVectorIndex` | IVF パーティションの選択、ベクトルインデックスの delta、ANN の各段階、ベクトル距離の計算。 |
+| `LanceScalarIndex` | スカラーインデックスの評価、セグメント検索、候補、フォールバック、結果のシリアライズ。 |
+| `LanceExecutionPlan` | Lance 実行プランにおけるソート、マージ、Take の処理。 |
+| `LanceScan` | Fragment、行範囲、行のスキャン、スキャンタスクの待機、Row ID Prefilter の構築。 |
+| `LanceSearchPlan` | リーダーに割り当てられた検索セグメントと Fragment の数。 |
+| `LanceDataCache` | Dataset ハンドルに対するデータファイルのキャッシュと、元のストレージへのリクエストのバイト数。 |
+
+Doris のタイマーは、対象の呼び出しを計測する際に更新されます。Lance の実行カウンターは、ストリームが EOF
に達した後、統計コールバックから累積されます。失敗、キャンセル、早期終了が発生すると、実行統計が不完全になる場合があります。Scanner
の指標は、オプションのネイティブ指標を含めて事前登録されます。値がゼロでも、ネイティブの処理経路からその指標が報告されなかっただけの場合があります。指標が存在しない、またはゼロであることだけでは、インデックス、フィルター、I/O
の処理経路が使われなかったとは判断できません。メタデータのみを使用する `COUNT` と Row ID による行取得は、通常の Scanner
コールバック経路を使用しません。
+
+時間は呼び出しと並列タスクにわたって累積されるため、SQL の実経過時間を超えることがあります。最も遅い Scanner
を、スケジューリング、依存処理の待機、FE での結果処理、クライアント側の遅延と合わせて確認してください。クエリのレイテンシーを再現するために、すべての
Scanner や入れ子になったタイマーを合算しないでください。
+
+## リーダーの処理時間 {#reader-timing}
+
+| タイマー | 意味 |
+|---|---|
+| `LanceDatasetOpenTime` | BE の共有 Session を通じて Dataset
を開く時間。必要なメタデータへのアクセスを含みます。リーダーですでに開いている Dataset を再利用する場合、開く処理は追加で計測されません。 |
+| `LanceScannerConfigureTime` | Scanner、プロジェクション、フィルター、コールバック、Split
や検索のオプションを設定する時間。読み取りまで延期される処理は、後で計測されます。 |
+| `LanceRuntimeFilterSqlTranslationTime` | 変換キャッシュの参照を含め、Doris の Runtime
Filter を Lance SQL に変換・結合する時間。フィルターの実行時間ではありません。 |
+| `LanceScannerNextTime` |
バッチ読み取りの呼び出しにかかった累積時間。初期準備、インデックス計算、I/O、デコード、待機を含みます。後続の Arrow から Doris
への変換は含みません。 |
+| `LanceArrowToDorisBlockTime` | 返された Arrow バッチを Doris Block に変換する時間。スキャンと Row
ID による行取得の両方に適用されます。 |
+
+`LanceScannerNextTime`
は、以下に示す内部のインデックス、スキャン、実行プランのタイマーと重複します。この値が大きいだけでは、ストレージがボトルネックだとは判断できません。
+
+## I/O、インデックスの読み込み、キャッシュの参照 {#io-index-loading-and-cache-lookups}
+
+| カウンター | 意味 |
+|---|---|
+| `LanceIOReadOps` | 計測対象の読み取り操作数。秒あたりの操作数でも、HTTP リクエスト数でもありません。 |
+| `LanceIOReadRequests` | 計測対象のストレージ読み取りリクエスト数。範囲の結合や分割により、`LanceIOReadOps`
とは異なる場合があります。 |
+| `LanceIOReadBytes` |
実行プランが報告する読み取りバイト数。計測対象のデータとインデックスの処理経路を含みます。キャッシュから提供された読み取りが含まれる場合もあり、実測したリモート通信量やデコード後のメモリサイズではありません。
|
+| `LanceIndexObjectLoads` |
読み込まれた最上位のインデックスオブジェクト数。セグメント数でも、内部ページの読み込み回数でもありません。 |
+| `LanceIndexComponentsLoaded` |
ページ、パーティション、ポスティングなど、読み込まれたインデックス内部のコンポーネント数。インデックスキャッシュのミス数ではありません。読み込みやマージの動作、および計測方法によって、両者の数は異なる場合があります。
|
+| `LanceIndexCacheHits`, `LanceIndexCacheMisses` |
計測対象のインデックス処理経路が、この実行について報告するキャッシュ参照の結果。BE 全体の Session
のヒット数・ミス数とは異なります。ストリーミング処理経路の中には、読み込んだ内容を保持しないものがあるため、ミスが続くだけではキャッシュ容量の不足を証明できません。
|
+| `LanceIndexComparisons` | 各インデックス実装が定義する比較や参照の処理量。候補行数でも、インデックスの種類をまたいで共通の
CPU コスト単位でもありません。 |
+
+これらのカウンターは、計測対象のベクトル、スカラー、全文の各インデックス処理経路に適用されます。インデックスオブジェクトがキャッシュに残っていても、そのページやパーティションの読み込みが必要な場合があります。容量を増やす前に、キャッシュ使用量、再現可能なコールドキャッシュとウォームキャッシュのワークロード、I/O
を合わせて確認してください。別系統のディスクデータキャッシュと BE
全体の指標については、[キャッシュの効果を確認する](../catalogs/lance-catalog.mdx#checking-cache-effectiveness)を参照してください。
+
+## Row ID Prefilter とスカラーインデックスの処理 {#row-id-prefilter-and-scalar-index-work}
+
+Row ID Prefilter の指標は、Row ID を取り込み、許可する行のマスクを構築するローダーについてのものです。すべての TVF
`filter` やスカラーインデックスの参照を計測するものでも、最終的な ANN/FTS の結果数を表すものでもありません。
+
+| カウンターまたはタイマー | 意味 |
+|---|---|
+| `RowIdPrefilterLoads` | Row ID
ローダーが実際に実行された回数。クエリノードが繰り返されると、読み込みも繰り返される場合があります。 |
+| `RowIdPrefilterInputRows`, `RowIdPrefilterInputBatches` | ローダーが取り込んだ、null
でない Row ID の数とバッチ数。 |
+| `RowIdPrefilterIds` | 構築されたマスクに保持された、許可される Row ID
の数。ローダー間で累積され、クエリ全体で重複排除された数ではありません。 |
+| `RowIdPrefilterLoadTime` | 入力のポーリングとマスクの構築を含む、ローダーの合計時間。 |
+| `RowIdPrefilterInputTime`, `RowIdPrefilterBuildTime` |
入力ストリームの待機・読み取り時間と、マスクの構築時間。どちらも `RowIdPrefilterLoadTime`
に含まれるため、合計値と内訳を足し合わせないでください。 |
+| `LanceScalarIndexQueryTime` | スカラーインデックス式の評価時間。複数回のインデックス検索や集合演算を含む場合があります。 |
+| `LanceScalarIndexResultSerializationTime` | スカラーインデックスの結果を後続の Lance
ノード向けにシリアライズする時間。ネットワーク向けのシリアライズや、Arrow から Doris への変換ではありません。 |
+| `LanceScalarIndexSegmentsRequested`, `LanceScalarIndexSegmentsSearched` |
明示的なスカラーセグメント経路へのリクエスト数と、完了したセグメント評価の回数。実行回数であり、テーブル内の異なるセグメントの数ではありません。 |
+| `LanceScalarIndexSegmentFallbacks` | 明示的なスカラーセグメントの高速化処理が、割り当てられた Fragment
の範囲内で完全なフィルタースキャンにフォールバックした回数。検索済みのセグメントでもフォールバックする場合があります。 |
+| `LanceScalarIndexCandidateRows` | 行数が分かる場合の候補マスクのサイズ。リーダーが Fragment
の範囲と完全な述語を適用する前の値です。SQL の結果行数ではなく、ゼロは行数を取得できなかったことを示す場合もあります。 |
+| `LanceScalarIndexCandidateEvaluationTime` |
スカラーセグメントの候補を準備、評価、設定する時間。インデックスを開く処理や検索、フォールバックの準備を含みます。後続のデータスキャンは含みません。 |
+| `LanceScalarIndexSegmentSearchTime` |
選択されたセグメントのインデックス式を評価する時間。読み込みと集合演算を含み、`LanceScalarIndexCandidateEvaluationTime`
に含まれます。 |
+
+セグメントは、単一タスクが読み取る範囲より多くの Fragment
をカバーする場合があり、繰り返し実行されるタスクが同じ候補を再度数えることもあります。`CandidateRows`
をタスク内で一致した行数として解釈しないでください。通常のスカラー式の処理経路と明示的なセグメントの処理経路ではタイマーが異なり、同じ値を報告するとは限りません。キャッシュがウォーム状態でも、大きなマスクや繰り返しのセグメント評価は
CPU とメモリを消費する場合があります。
+
+## ベクトルと実行プランの処理 {#vector-and-execution-plan-work}
+
+| カウンターまたはタイマー | 意味 |
+|---|---|
+| `LanceIVFPartitionsConsidered` | 選択時に検討された IVF パーティションの総数。選択されたインデックス delta
にわたって累積されます。実行されたプローブの数ではありません。 |
+| `LanceIVFPartitionSelectionTime` | クエリに使用する IVF
パーティションを選択する時間。その外側でインデックスを開く処理は含みません。 |
+| `LanceIndexPartitionsSearched` | インデックスの実行によって実際に報告されたパーティション検索数。FTS
もこの指標を報告するため、`LanceSearchType` と合わせて解釈してください。クエリ全体で重複排除されたパーティション数ではありません。 |
+| `LanceVectorIndexDeltasSearched` | ANN のパーティション処理経路に投入されたベクトルインデックス delta
の数。すべての delta で検索が完了したことを示すものではありません。 |
+| `LanceIndexOpenTime` | キャッシュ参照とメタデータアクセスを含め、インデックスハンドルを開く時間。 |
+| `LanceIndexPartitionLoadTime`, `LanceIndexPartitionPrepareTime` |
パーティションの読み込みには、キャッシュ参照、キャッシュへの格納を待つ時間、ミス時の読み込みとデコードが含まれます。パーティションの準備には、読み込みとフィルターの準備が含まれます。これらのタイマーは重複します。
|
+| `LanceIndexPrefilterWaitTime` | インデックスの Prefilter の準備が整うまで待つ時間。Row ID
マスクを構築する時間とは異なります。 |
+| `LanceIndexCpuQueueWaitTime` | パーティション検索タスクの投入から、その CPU 処理の開始までの待機時間。 |
+| `LanceIndexSearchTime` | 準備済みパーティションの CPU 検索時間。クエリの準備と結果の構築を含みます。 |
+| `LanceIndexQueryPrepareTime` | 距離計算器とクエリ用のルックアップテーブルを構築する時間。 |
+| `LanceIndexDistanceTopKTime` | 候補のフィルタリング、距離の評価、Top-K
ヒープの更新を一体で行う時間。純粋な距離計算や再評価だけの時間ではありません。 |
+| `LanceIndexResultMaterializeTime` | 検索結果のヒープを Arrow 配列やバッチに変換する時間。Doris
による第二段階の出力行取得ではありません。 |
+| `LanceANNPartitionExecTime`, `LanceANNSubIndexExecTime`,
`LanceANNBatchExecTime` | 計測対象の ANN 実行ノードにおける計算時間。詳細なインデックスタイマーと重複する場合があります。 |
+| `LanceVectorDistanceComputeTime` |
ベクトル距離の実行ノードが報告する計算時間。インデックス内のすべての距離計算を含むわけではありません。 |
+| `LanceSortComputeTime`, `LanceSortMergeComputeTime`, `LanceTakeExecTime` |
Lance 実行ノードでのソート、マージ、Take の計算時間。Doris TopN の時間でも、第二段階の行取得全体の時間でもありません。 |
+
+パーティションの処理は並行して実行され、タイマーは入れ子になったり重複したりします。`LanceIndexSearchTime`
に、その内訳であるクエリ準備、距離計算・Top-K、結果構築の時間を加算しないでください。`nprobes`、`ef`、`refine_factor`
を変更する前に、プローブ数、CPU キューでの待機、Prefilter の待機、I/O を比較し、レイテンシーとともに再現率も測定してください。
+
+## 計画された処理、スキャン行数、出力行の取得 {#planned-work-scanned-rows-and-output-fetch}
+
+| カウンターまたはタイマー | 意味 |
+|---|---|
+| `LancePlannedIndexSegmentCount` | リーダーに割り当てられた検索インデックスセグメントの数。Split
の設定時に累積されます。検索が完了したことを示すものではありません。 |
+| `LancePlannedIndexedFragmentCount` | インデックスを使用するベクトル検索または全文検索の Split
に割り当てられた Fragment の数。 |
+| `LancePlannedFlatSearchFragmentCount` | ベクトルの Flat Search Split に割り当てられた
Fragment の数。FTS ではこのカウンターは登録されません。 |
+| `LanceFragmentsScanned`, `LanceRowOffsetRangesScanned`, `LanceRowsScanned` |
FilteredRead の処理経路が報告する
Fragment、行オフセット範囲、行の数。すべての読み取り経路で記録されるわけではなく、テーブル全体で重複排除された数や最終的な SQL
の結果行数ではありません。 |
+| `LanceScanTaskWaitTime` | FilteredRead のコンシューマーが読み取りタスクを待つ時間。Doris Scanner
のスケジューリング時間でも、I/O 待機時間の全体でもありません。 |
+| `LanceRowIdFetchCalls`, `LanceRowIdFetchRows` | 第二段階の `take_rows`
の呼び出し回数と取得された行数。 |
+| `LanceRowIdTakeReadTime` | Row ID の Take
ストリームを作成して消費する時間。遅延して実行される読み取りを含み、Arrow から Doris への変換は含みません。 |
+| `LanceRowIdFetchTotalTime` | 空でない Row ID による行取得の合計処理時間。Dataset を開く処理、Take
の読み取り、変換、結果の確認を含みます。前述の各処理が含まれますが、RPC/Materialization の処理全体に伴うオーバーヘッドは含みません。 |
+
+検索のプランニングについては、`EXPLAIN` のフィールドである
`lanceSearchIndexSegments`、`lanceSearchIndexFragments`、`lanceSearchUnindexedFragments`
と、`LanceSearchPlan`
のカウンターを比較してください。通常のスカラーセグメントスキャンでは、`lanceGroupingIndexSegments`、`lanceGroupingIndexedFragments`、`lanceGroupingUnindexedFragments`
を使用します。これらは FE のプランフィールドであり、BE の Profile カウンターではありません。Fragment
の数はタスクごとに累積され、重複排除されるとは限りません。
+
+二段階の行取得では別のリーダーを使用し、Scanner の実行統計コールバックは登録されません。その行取得のタイマーとカウンター、および
`LanceDataCacheBytesReadFromCache`/`LanceDataCacheBytesReadFromRemote` は、Row ID
Fetch/Materialization の Profile 情報にも報告されます。そこで `LanceIOReadBytes` が見当たらなくても、I/O
が発生しなかったとは限りません。スキャンと行取得の計測範囲を分けて扱い、エクスポートされた同じ行取得統計を二重に数えないでください。
+
+実際に実行されたスナップショットの特定には `LanceDatasetVersion` と `LanceDatasetUri`
を使用し、ベクトル検索と全文検索の区別には `LanceSearchType`
を使用します。`LanceTopK`、`LanceOffset`、`LanceFtsCoverageMode`、`LanceFtsQueryType`、`LanceFtsMatchOperator`、`LanceFtsMaxFuzzyDistance`、`LanceFtsPhraseSlop`、`LancePushdownFormat`、および
Runtime Filter ID
の項目は、設定やプッシュダウンの状態を表します。これらは情報を示す文字列であり、加算できるカウンターではありません。`LanceTopK` と
`LanceOffset` は Split ごとのリクエストを表します。`top_k=K` と `offset=n` を指定した TVF クエリでは、検索
Split は最大 `K+n` 件の候補をローカルの offset `0` でリクエストし、 [...]
diff --git
a/i18n/ja/docusaurus-plugin-content-docs/current/lakehouse/catalogs/hive-catalog/doris-type-mapping.md
b/i18n/ja/docusaurus-plugin-content-docs/current/lakehouse/catalogs/hive-catalog/doris-type-mapping.md
new file mode 100644
index 00000000000..5319251be6b
--- /dev/null
+++
b/i18n/ja/docusaurus-plugin-content-docs/current/lakehouse/catalogs/hive-catalog/doris-type-mapping.md
@@ -0,0 +1,39 @@
+---
+{
+ "title": "Hive から Doris へのデータ型マッピング",
+ "sidebar_label": "Doris のデータ型マッピング",
+ "description": "データ型、精度、ネストした型、サポートされない型を扱う Doris 4.2 の Hive
型マッピングのリファレンス。"
+}
+---
+
+次の表は、Doris 4.2(`branch-4.2`)が Hive
外部テーブルのスキーマを読み取る際の型マッピングを示します。書き込み時には、対象のスキーマとサポートされる書き込み操作も関係します。読み取り時のマッピングを逆にたどっても、書き込み時のマッピングが自動的に決まるわけではありません。
+
+| Hive の型 | Doris の型 | 備考 |
+| ------------- | ------------- |
---------------------------------------------- |
+| boolean | boolean |
|
+| tinyint | tinyint |
|
+| smallint | smallint |
|
+| int | int |
|
+| bigint | bigint |
|
+| date | date |
|
+| timestamp | datetime(6) | 精度 6 の datetime にマッピングされます。 |
+| float | float |
|
+| double | double |
|
+| decimal(P, S) | decimal(P, S) | 精度を指定しない場合、デフォルトは decimal(9, 0) です。 |
+| char(N) | char(N) |
|
+| varchar(N) | varchar(N) |
|
+| string | string |
|
+| binary | VARBINARY | 4.1.5 以降、この型は常に `VARBINARY` にマッピングされます。 |
+| timestamp with local time zone | TIMESTAMPTZ(6) | 4.1.5 以降、この型は常に
`TIMESTAMPTZ(6)` にマッピングされます。精度の上限は 6 で、それを超える精度は失われます。 |
+| array | array |
|
+| map | map |
|
+| struct | struct |
|
+| other | unsupported |
|
+
+## 使用上の注意 {#usage-notes}
+
+複合型の子フィールドにも、同じマッピングが再帰的に適用されます。`TIMESTAMPTZ` は、セッションの `time_zone`
に従って表示される時点を表します。
+
+Hive Catalog は、Hive Metastore の型文字列からスキーマを導出します。`timestamp` は `DATETIME(6)`
にマッピングされます。基になるファイルにナノ秒精度のデータが含まれていても、マッピングが自動的に `TIMESTAMP_NS`
に変わることはありません。`uniontype` を含め、サポート対象として記載されていない型はサポートされません。
+
+実装の参照先:[HiveMetaStoreClientHelper.java](https://github.com/apache/doris/blob/bcaaa5f293674f1adba0dfa52c8f8f57fb5e9549/fe/fe-core/src/main/java/org/apache/doris/datasource/hive/HiveMetaStoreClientHelper.java)(`branch-4.2`)。
diff --git
a/i18n/ja/docusaurus-plugin-content-docs/current/lakehouse/catalogs/iceberg-catalog/doris-type-mapping.md
b/i18n/ja/docusaurus-plugin-content-docs/current/lakehouse/catalogs/iceberg-catalog/doris-type-mapping.md
new file mode 100644
index 00000000000..069b30c004b
--- /dev/null
+++
b/i18n/ja/docusaurus-plugin-content-docs/current/lakehouse/catalogs/iceberg-catalog/doris-type-mapping.md
@@ -0,0 +1,45 @@
+---
+{
+ "title": "Iceberg から Doris へのデータ型マッピング",
+ "sidebar_label": "Doris のデータ型マッピング",
+ "description": "Doris 4.2 における Iceberg
の型マッピングのリファレンス。データ型、精度、ネストされた型、サポートされない型を扱います。"
+}
+---
+
+次の表は、Doris 4.2(`branch-4.2`)が Iceberg
外部テーブルのスキーマを読み取る際の型マッピングを示します。書き込みは、対象のスキーマとサポートされる書き込み操作にも依存します。読み取り時のマッピングを逆に適用しても、自動的に書き込み時のマッピングにはなりません。
+
+| Iceberg の型 | Doris の型 | 備考 |
+| --- | --- | --- |
+| boolean | boolean | |
+| integer | int | |
+| long | bigint | |
+| float | float | |
+| double | double | |
+| decimal(P, S) | decimal(P, S) | |
+| date | date | |
+| timestamp(タイムゾーンなしの Timestamp) | datetime(6) | 精度 6 の datetime にマッピングされます。 |
+| timestamptz(タイムゾーン付きの Timestamp) | TIMESTAMPTZ(6) | 4.1.5 以降、常に
`TIMESTAMPTZ(6)` にマッピングされます。精度は最大 6 に制限され、それを超える精度は失われます。 |
+| fixed(N) | VARBINARY(N) | 4.1.5 以降、固定長バイナリの長さが保持されます。 |
+| string | string | |
+| binary | VARBINARY | 4.1.5 以降、常に `VARBINARY` にマッピングされます。 |
+| uuid | UUID | 4.2 ではネイティブの `UUID` にマッピングされます。Doris 4.1.5 では `VARBINARY(16)`
にマッピングされます。 |
+| struct | struct(バージョン 2.1.3 以降でサポート) | |
+| map | map(バージョン 2.1.3 以降でサポート) | |
+| list | array | |
+| timestamp_ns(タイムゾーンなし) | TIMESTAMP_NS | セッションのタイムゾーンに応じた変換を行わず、ナノ秒精度を保持します。 |
+| timestamptz_ns(タイムゾーン付き) | UNSUPPORTED | タイムゾーン付きのナノ秒精度のタイムスタンプはサポートされません。 |
+| time | UNSUPPORTED | Doris の `TIME` にはマッピングされません。 |
+| variant | VARIANT | Iceberg V3 Variant。読み取りに参加する BE が Variant
の読み取りをサポートしている必要があります。 |
+| other | UNSUPPORTED | |
+
+## 使用上の注意 {#usage-notes}
+
+複合型の子フィールドにも、同じマッピングが再帰的に適用されます。`TIMESTAMPTZ` は特定の時点を表し、セッションの `time_zone`
で表示されます。
+
+`timestamp` と `timestamptz` はマイクロ秒精度を使用します。タイムゾーンのない `timestamp_ns` のみが
`TIMESTAMP_NS` にマッピングされます。その範囲は `1677-09-21 00:12:43.145224192` から `2262-04-11
23:47:16.854775807` までで、範囲外の値は表現できません。
+
+`DESCRIBE table_name` では、Extra 列の `WITH_TIMEZONE` が、元のフィールドにタイムゾーンがあることを示します。
+
+Iceberg の UUID フィールドに Parquet 形式で書き込む際は、ネストされたフィールドを含め、UUID の論理型アノテーションが保持されます。
+
+実装の参照先:[IcebergUtils.java](https://github.com/apache/doris/blob/bcaaa5f293674f1adba0dfa52c8f8f57fb5e9549/fe/fe-core/src/main/java/org/apache/doris/datasource/iceberg/IcebergUtils.java)(`branch-4.2`)。
diff --git
a/i18n/ja/docusaurus-plugin-content-docs/current/lakehouse/catalogs/lance-catalog/doris-type-mapping.md
b/i18n/ja/docusaurus-plugin-content-docs/current/lakehouse/catalogs/lance-catalog/doris-type-mapping.md
new file mode 100644
index 00000000000..a31a86f96cb
--- /dev/null
+++
b/i18n/ja/docusaurus-plugin-content-docs/current/lakehouse/catalogs/lance-catalog/doris-type-mapping.md
@@ -0,0 +1,73 @@
+---
+{
+ "title": "Lance から Doris へのデータ型マッピング",
+ "sidebar_label": "Doris のデータ型マッピング",
+ "description": "Doris 4.2 における Lance
の型マッピングのリファレンス。データ型、精度、ネストした型、サポートされない型を扱います。"
+}
+---
+
+次の表は、Doris 4.2(`branch-4.2`)における Lance Catalog と Lance ファイル TVF
の読み取り時の型マッピングを示します。Doris は Lance への書き込みをサポートしていません。
+
+| Lance / Arrow の型 | Doris の型 | 説明 |
+|---|---|---|
+| `null`(NULL を許容するフィールド) | `NULL` | すべての値が SQL NULL になります。NULL を許容しない Null
フィールドはサポートされません |
+| `duration(s/ms/us/ns)` | `BIGINT` | 宣言された単位での符号付きの値を保持し、秒への換算は行いません |
+| `bool` | `BOOLEAN` | |
+| `int8` | `TINYINT` | |
+| `uint8` | `SMALLINT` | 符号なし整数を情報を失わずにより大きな型に変換します |
+| `int16` | `SMALLINT` | |
+| `uint16` | `INT` | 符号なし整数を情報を失わずにより大きな型に変換します |
+| `int32` | `INT` | |
+| `uint32` | `BIGINT` | 符号なし整数を情報を失わずにより大きな型に変換します |
+| `int64` | `BIGINT` | |
+| `uint64` | `LARGEINT` | 符号なし整数を情報を失わずにより大きな型に変換します |
+| `float16` | `FLOAT` | 32 ビット浮動小数点値に変換します |
+| `float32` | `FLOAT` | |
+| `float64` | `DOUBLE` | |
+| `decimal128(P,S)` | `DECIMAL(P,S)` | 最大精度は 38 です |
+| `decimal256(P,S)` | `DECIMAL(P,S)` | 最大精度は 76 です |
+| `utf8`, `large_utf8` | `STRING` | |
+| `arrow.json` Extension | `JSON` | 格納型は `utf8` または `large_utf8` である必要があります |
+| `lance.json` Extension | `JSON` | 格納型は `large_binary` である必要があります。論理的な JSON
型として読み取ります |
+| `lance.bfloat16` Extension | `FLOAT` | 格納型は `fixed_size_binary(2)`
である必要があります。精度を失わずに Float32 に変換します |
+| `binary`, `large_binary` | `VARBINARY(2147483647)` | |
+| `fixed_size_binary(N)` | `VARBINARY(N)` | 固定のバイト幅を維持します |
+| `date32(day)`, `date64(ms)` | `DATE` | `date64` の値は完全な暦日を表す必要があります |
+| `time32(s)` | `TIME(0)` | |
+| `time32(ms)` | `TIME(3)` | |
+| `time64(us)`, `time64(ns)` | `TIME(6)` | ナノ秒の精度はマイクロ秒まで切り捨てられます |
+| タイムゾーン情報のない `timestamp(s)` | `DATETIME(0)` | Session Time Zone に基づく変換は行われません
|
+| タイムゾーン情報のない `timestamp(ms)` | `DATETIME(3)` | Session Time Zone
に基づく変換は行われません |
+| タイムゾーン情報のない `timestamp(us)`, `timestamp(ns)` | `DATETIME(6)` |
ナノ秒の精度はマイクロ秒まで切り捨てられます |
+| タイムゾーン情報のある `timestamp` | `TIMESTAMPTZ(P)` | 時点を保持し、Doris の Session Time
Zone で表示します |
+| `struct` | `STRUCT` | 子フィールドの型を再帰的にマッピングします |
+| `list`, `large_list`, `fixed_size_list` | `ARRAY` | 要素の型を再帰的にマッピングします |
+| `map` | `MAP` | キーと値の型を再帰的にマッピングします |
+
+## 使用上の注意 {#usage-notes}
+
+タイムスタンプの精度 `P` は、秒では 0、ミリ秒では 3、マイクロ秒またはナノ秒では 6 です。Iceberg/Paimon
のナノ秒マッピングとは異なり、Lance のナノ秒タイムスタンプは `DATETIME(6)` または `TIMESTAMPTZ(6)`
にマッピングされ、マイクロ秒まで切り捨てられます。DECIMAL 型では `1 <= P <= 76` と `0 <= S <= P`
を満たす必要があります。負のスケールはサポートされません。
+
+Doris は `ARROW:extension:name` メタデータを通じてこれらの拡張型を認識し、その格納型を検証します。JSON 拡張型は
Doris の `JSON`(内部的には `JSONB`)にマッピングされます。JSON テキストを含む通常の `utf8`/`large_utf8`
列は、引き続き `STRING` にマッピングされます。内容によって型が自動的に変わることはありません。JSON を読み取れることは、任意の JSON
パス式をプッシュダウンできることを意味しません。サポートされる述語の形式は別途確認する必要があります。
+
+JSON、Duration、Null、BFloat16 を読み取るには、FE と、クエリを処理する BE
の両方が対応する型をサポートしている必要があります。古いビルドでは、これらの型がサポートされていないと報告される場合があります。アップグレード時には、スキーマの検出と実際の読み取りの両方を確認してください。
+
+現在、次の型はサポートされていません。
+
+- NULL を許容しない Arrow の `null` フィールド。
+- サポート対象として記載されていない Arrow/Lance Extension 型(Lance Blob v2
など)。既知の拡張型でも、格納型に互換性がない場合はサポートされません。
+- 子の型を再帰的にマッピングできない複合型。
+- Dictionary マーカーを保持している Arrow Dictionary 型。
+
+サポートされていない最上位の列については、Catalog テーブルに対する `DESC` と Lance ファイル TVF に対する `DESC
FUNCTION` のどちらも列を保持し、`unknown type: UNSUPPORTED_TYPE`
と表示します。複合型の子のいずれかをマッピングできない場合、その最上位の複合型列全体がサポート対象外としてマークされます。サポートされている列だけを射影するクエリは引き続き実行できます。SQL
でサポートされていない列を射影すると、Doris は解析時にエラーを報告します。例:
+
+```sql
+SELECT * EXCEPT(blob_col)
+FROM lance_catalog.default.all_types;
+```
+
+:::note
+Lance Java SDK の一部のバージョンでは、Schema の読み取り時に Dictionary マーカーが失われ、Dictionary
列が物理的なインデックス型として公開される場合があります。この動作は、Doris が論理的な Dictionary
値をサポートしていることを意味しません。この動作に依存しないでください。
+:::
+
+実装の参照先:[LanceTypeConverter.java](https://github.com/apache/doris/blob/bcaaa5f293674f1adba0dfa52c8f8f57fb5e9549/fe/fe-core/src/main/java/org/apache/doris/datasource/lance/metadata/LanceTypeConverter.java)(`branch-4.2`)。
diff --git
a/i18n/ja/docusaurus-plugin-content-docs/current/lakehouse/catalogs/paimon-catalog/doris-type-mapping.md
b/i18n/ja/docusaurus-plugin-content-docs/current/lakehouse/catalogs/paimon-catalog/doris-type-mapping.md
new file mode 100644
index 00000000000..c64107e1983
--- /dev/null
+++
b/i18n/ja/docusaurus-plugin-content-docs/current/lakehouse/catalogs/paimon-catalog/doris-type-mapping.md
@@ -0,0 +1,42 @@
+---
+{
+ "title": "Paimon から Doris へのデータ型マッピング",
+ "sidebar_label": "Doris のデータ型マッピング",
+ "description": "データ型、精度、ネストした型、サポートされない型を扱う、Doris 4.2 の Paimon
型マッピングのリファレンス。"
+}
+---
+
+次の表は、Doris 4.2(`branch-4.2`)が Paimon
外部テーブルのスキーマを読み取る際の型マッピングを示します。書き込みは、書き込み先のスキーマとサポートされる書き込み操作にも依存します。読み取り時のマッピングを逆に適用しても、書き込み時のマッピングにはなりません。
+
+| Paimon の型 | Doris の型 | 備考 |
+| ---------------------------------- | ------------- |
----------------------------------------------------------------------- |
+| boolean | boolean | |
+| tinyint | tinyint | |
+| smallint | smallint | |
+| integer | int | |
+| bigint | bigint | |
+| float | float | |
+| double | double | |
+| decimal(P, S) | decimal(P, S) | |
+| varchar(N) | VARCHAR(N) / STRING | `VARCHAR(N)` は `N <= 65533` の場合に使用し、それ以外は
`STRING` にマッピングします。 |
+| char(N) | CHAR(N) / STRING | `CHAR(N)` は `N <= 255` の場合に使用し、それ以外は `STRING`
にマッピングします。 |
+| binary(N), varbinary(N) | VARBINARY(N) | 宣言されたバイト長を保持します。 |
+| date | date | |
+| timestamp_without_time_zone(P) | DATETIME(P) / TIMESTAMP_NS | `DATETIME(P)`
は `P <= 6` の場合に使用します。4.2 では `P > 6` の場合に `TIMESTAMP_NS`
にマッピングし、マイクロ秒未満の精度を保持します。 |
+| timestamp\_with\_local\_time\_zone | TIMESTAMPTZ(N) | 4.1.5 以降、この型は常に
`TIMESTAMPTZ(N)` にマッピングします。精度の上限は 6 桁で、それを超える精度は失われます。 |
+| array | array | |
+| map | map | |
+| row | struct | |
+| variant | VARIANT | 読み取りには FE の設定 `enable_variant_v2=true` が必要です。 |
+| time_without_time_zone | UNSUPPORTED | |
+| other | UNSUPPORTED | |
+
+## 使用上の注意 {#usage-notes}
+
+複合型の子フィールドにも、同じマッピングを再帰的に適用します。`TIMESTAMPTZ` はある時点を表し、セッションの `time_zone`
に従って表示されます。
+
+タイムゾーンのないタイムスタンプとローカルタイムゾーン付きのタイムスタンプでは、精度の扱いが異なります。4.2
では前者のナノ秒精度を保持できますが、後者は小数部が六桁までに制限されます。`TIMESTAMP_NS` の範囲は `1677-09-21
00:12:43.145224192` から `2262-04-11 23:47:16.854775807` までです。
+
+`DESCRIBE table_name` では、Extra 列の `WITH_TIMEZONE` がタイムゾーン情報を持つソースフィールドを示します。
+
+実装の参照先:[PaimonUtil.java](https://github.com/apache/doris/blob/bcaaa5f293674f1adba0dfa52c8f8f57fb5e9549/fe/fe-core/src/main/java/org/apache/doris/datasource/paimon/PaimonUtil.java)(`branch-4.2`)。
diff --git
a/i18n/ja/docusaurus-plugin-content-docs/version-4.x/lakehouse/catalogs/hive-catalog/doris-type-mapping.md
b/i18n/ja/docusaurus-plugin-content-docs/version-4.x/lakehouse/catalogs/hive-catalog/doris-type-mapping.md
new file mode 100644
index 00000000000..5319251be6b
--- /dev/null
+++
b/i18n/ja/docusaurus-plugin-content-docs/version-4.x/lakehouse/catalogs/hive-catalog/doris-type-mapping.md
@@ -0,0 +1,39 @@
+---
+{
+ "title": "Hive から Doris へのデータ型マッピング",
+ "sidebar_label": "Doris のデータ型マッピング",
+ "description": "データ型、精度、ネストした型、サポートされない型を扱う Doris 4.2 の Hive
型マッピングのリファレンス。"
+}
+---
+
+次の表は、Doris 4.2(`branch-4.2`)が Hive
外部テーブルのスキーマを読み取る際の型マッピングを示します。書き込み時には、対象のスキーマとサポートされる書き込み操作も関係します。読み取り時のマッピングを逆にたどっても、書き込み時のマッピングが自動的に決まるわけではありません。
+
+| Hive の型 | Doris の型 | 備考 |
+| ------------- | ------------- |
---------------------------------------------- |
+| boolean | boolean |
|
+| tinyint | tinyint |
|
+| smallint | smallint |
|
+| int | int |
|
+| bigint | bigint |
|
+| date | date |
|
+| timestamp | datetime(6) | 精度 6 の datetime にマッピングされます。 |
+| float | float |
|
+| double | double |
|
+| decimal(P, S) | decimal(P, S) | 精度を指定しない場合、デフォルトは decimal(9, 0) です。 |
+| char(N) | char(N) |
|
+| varchar(N) | varchar(N) |
|
+| string | string |
|
+| binary | VARBINARY | 4.1.5 以降、この型は常に `VARBINARY` にマッピングされます。 |
+| timestamp with local time zone | TIMESTAMPTZ(6) | 4.1.5 以降、この型は常に
`TIMESTAMPTZ(6)` にマッピングされます。精度の上限は 6 で、それを超える精度は失われます。 |
+| array | array |
|
+| map | map |
|
+| struct | struct |
|
+| other | unsupported |
|
+
+## 使用上の注意 {#usage-notes}
+
+複合型の子フィールドにも、同じマッピングが再帰的に適用されます。`TIMESTAMPTZ` は、セッションの `time_zone`
に従って表示される時点を表します。
+
+Hive Catalog は、Hive Metastore の型文字列からスキーマを導出します。`timestamp` は `DATETIME(6)`
にマッピングされます。基になるファイルにナノ秒精度のデータが含まれていても、マッピングが自動的に `TIMESTAMP_NS`
に変わることはありません。`uniontype` を含め、サポート対象として記載されていない型はサポートされません。
+
+実装の参照先:[HiveMetaStoreClientHelper.java](https://github.com/apache/doris/blob/bcaaa5f293674f1adba0dfa52c8f8f57fb5e9549/fe/fe-core/src/main/java/org/apache/doris/datasource/hive/HiveMetaStoreClientHelper.java)(`branch-4.2`)。
diff --git
a/i18n/ja/docusaurus-plugin-content-docs/version-4.x/lakehouse/catalogs/iceberg-catalog/doris-type-mapping.md
b/i18n/ja/docusaurus-plugin-content-docs/version-4.x/lakehouse/catalogs/iceberg-catalog/doris-type-mapping.md
new file mode 100644
index 00000000000..069b30c004b
--- /dev/null
+++
b/i18n/ja/docusaurus-plugin-content-docs/version-4.x/lakehouse/catalogs/iceberg-catalog/doris-type-mapping.md
@@ -0,0 +1,45 @@
+---
+{
+ "title": "Iceberg から Doris へのデータ型マッピング",
+ "sidebar_label": "Doris のデータ型マッピング",
+ "description": "Doris 4.2 における Iceberg
の型マッピングのリファレンス。データ型、精度、ネストされた型、サポートされない型を扱います。"
+}
+---
+
+次の表は、Doris 4.2(`branch-4.2`)が Iceberg
外部テーブルのスキーマを読み取る際の型マッピングを示します。書き込みは、対象のスキーマとサポートされる書き込み操作にも依存します。読み取り時のマッピングを逆に適用しても、自動的に書き込み時のマッピングにはなりません。
+
+| Iceberg の型 | Doris の型 | 備考 |
+| --- | --- | --- |
+| boolean | boolean | |
+| integer | int | |
+| long | bigint | |
+| float | float | |
+| double | double | |
+| decimal(P, S) | decimal(P, S) | |
+| date | date | |
+| timestamp(タイムゾーンなしの Timestamp) | datetime(6) | 精度 6 の datetime にマッピングされます。 |
+| timestamptz(タイムゾーン付きの Timestamp) | TIMESTAMPTZ(6) | 4.1.5 以降、常に
`TIMESTAMPTZ(6)` にマッピングされます。精度は最大 6 に制限され、それを超える精度は失われます。 |
+| fixed(N) | VARBINARY(N) | 4.1.5 以降、固定長バイナリの長さが保持されます。 |
+| string | string | |
+| binary | VARBINARY | 4.1.5 以降、常に `VARBINARY` にマッピングされます。 |
+| uuid | UUID | 4.2 ではネイティブの `UUID` にマッピングされます。Doris 4.1.5 では `VARBINARY(16)`
にマッピングされます。 |
+| struct | struct(バージョン 2.1.3 以降でサポート) | |
+| map | map(バージョン 2.1.3 以降でサポート) | |
+| list | array | |
+| timestamp_ns(タイムゾーンなし) | TIMESTAMP_NS | セッションのタイムゾーンに応じた変換を行わず、ナノ秒精度を保持します。 |
+| timestamptz_ns(タイムゾーン付き) | UNSUPPORTED | タイムゾーン付きのナノ秒精度のタイムスタンプはサポートされません。 |
+| time | UNSUPPORTED | Doris の `TIME` にはマッピングされません。 |
+| variant | VARIANT | Iceberg V3 Variant。読み取りに参加する BE が Variant
の読み取りをサポートしている必要があります。 |
+| other | UNSUPPORTED | |
+
+## 使用上の注意 {#usage-notes}
+
+複合型の子フィールドにも、同じマッピングが再帰的に適用されます。`TIMESTAMPTZ` は特定の時点を表し、セッションの `time_zone`
で表示されます。
+
+`timestamp` と `timestamptz` はマイクロ秒精度を使用します。タイムゾーンのない `timestamp_ns` のみが
`TIMESTAMP_NS` にマッピングされます。その範囲は `1677-09-21 00:12:43.145224192` から `2262-04-11
23:47:16.854775807` までで、範囲外の値は表現できません。
+
+`DESCRIBE table_name` では、Extra 列の `WITH_TIMEZONE` が、元のフィールドにタイムゾーンがあることを示します。
+
+Iceberg の UUID フィールドに Parquet 形式で書き込む際は、ネストされたフィールドを含め、UUID の論理型アノテーションが保持されます。
+
+実装の参照先:[IcebergUtils.java](https://github.com/apache/doris/blob/bcaaa5f293674f1adba0dfa52c8f8f57fb5e9549/fe/fe-core/src/main/java/org/apache/doris/datasource/iceberg/IcebergUtils.java)(`branch-4.2`)。
diff --git
a/i18n/ja/docusaurus-plugin-content-docs/version-4.x/lakehouse/catalogs/paimon-catalog/doris-type-mapping.md
b/i18n/ja/docusaurus-plugin-content-docs/version-4.x/lakehouse/catalogs/paimon-catalog/doris-type-mapping.md
new file mode 100644
index 00000000000..c64107e1983
--- /dev/null
+++
b/i18n/ja/docusaurus-plugin-content-docs/version-4.x/lakehouse/catalogs/paimon-catalog/doris-type-mapping.md
@@ -0,0 +1,42 @@
+---
+{
+ "title": "Paimon から Doris へのデータ型マッピング",
+ "sidebar_label": "Doris のデータ型マッピング",
+ "description": "データ型、精度、ネストした型、サポートされない型を扱う、Doris 4.2 の Paimon
型マッピングのリファレンス。"
+}
+---
+
+次の表は、Doris 4.2(`branch-4.2`)が Paimon
外部テーブルのスキーマを読み取る際の型マッピングを示します。書き込みは、書き込み先のスキーマとサポートされる書き込み操作にも依存します。読み取り時のマッピングを逆に適用しても、書き込み時のマッピングにはなりません。
+
+| Paimon の型 | Doris の型 | 備考 |
+| ---------------------------------- | ------------- |
----------------------------------------------------------------------- |
+| boolean | boolean | |
+| tinyint | tinyint | |
+| smallint | smallint | |
+| integer | int | |
+| bigint | bigint | |
+| float | float | |
+| double | double | |
+| decimal(P, S) | decimal(P, S) | |
+| varchar(N) | VARCHAR(N) / STRING | `VARCHAR(N)` は `N <= 65533` の場合に使用し、それ以外は
`STRING` にマッピングします。 |
+| char(N) | CHAR(N) / STRING | `CHAR(N)` は `N <= 255` の場合に使用し、それ以外は `STRING`
にマッピングします。 |
+| binary(N), varbinary(N) | VARBINARY(N) | 宣言されたバイト長を保持します。 |
+| date | date | |
+| timestamp_without_time_zone(P) | DATETIME(P) / TIMESTAMP_NS | `DATETIME(P)`
は `P <= 6` の場合に使用します。4.2 では `P > 6` の場合に `TIMESTAMP_NS`
にマッピングし、マイクロ秒未満の精度を保持します。 |
+| timestamp\_with\_local\_time\_zone | TIMESTAMPTZ(N) | 4.1.5 以降、この型は常に
`TIMESTAMPTZ(N)` にマッピングします。精度の上限は 6 桁で、それを超える精度は失われます。 |
+| array | array | |
+| map | map | |
+| row | struct | |
+| variant | VARIANT | 読み取りには FE の設定 `enable_variant_v2=true` が必要です。 |
+| time_without_time_zone | UNSUPPORTED | |
+| other | UNSUPPORTED | |
+
+## 使用上の注意 {#usage-notes}
+
+複合型の子フィールドにも、同じマッピングを再帰的に適用します。`TIMESTAMPTZ` はある時点を表し、セッションの `time_zone`
に従って表示されます。
+
+タイムゾーンのないタイムスタンプとローカルタイムゾーン付きのタイムスタンプでは、精度の扱いが異なります。4.2
では前者のナノ秒精度を保持できますが、後者は小数部が六桁までに制限されます。`TIMESTAMP_NS` の範囲は `1677-09-21
00:12:43.145224192` から `2262-04-11 23:47:16.854775807` までです。
+
+`DESCRIBE table_name` では、Extra 列の `WITH_TIMEZONE` がタイムゾーン情報を持つソースフィールドを示します。
+
+実装の参照先:[PaimonUtil.java](https://github.com/apache/doris/blob/bcaaa5f293674f1adba0dfa52c8f8f57fb5e9549/fe/fe-core/src/main/java/org/apache/doris/datasource/paimon/PaimonUtil.java)(`branch-4.2`)。
diff --git
a/translations/state/ja/pages/community/current/source-install/compilation-with-docker.json
b/translations/state/ja/pages/community/current/source-install/compilation-with-docker.json
index 7877f32f98b..242f1a04da5 100644
---
a/translations/state/ja/pages/community/current/source-install/compilation-with-docker.json
+++
b/translations/state/ja/pages/community/current/source-install/compilation-with-docker.json
@@ -8,13 +8,48 @@
"sourceLocale": "en",
"sourcePath": "community/source-install/compilation-with-docker.md",
"targetPath":
"i18n/ja/docusaurus-plugin-content-docs-community/current/source-install/compilation-with-docker.md",
- "sourceCommit": "9fe0c0843e49ce92d87c8412ba20eeadbc89f166",
- "sourceHash":
"5a1eb2b58ab6125ed5cf8ad953f970abc79d380854778245b00393ab0f4d6e48",
- "sourceTechnicalHash":
"5aca82ee484f3ef00d45063253cf63ac4764fd87117566e956949b471170ae8d",
- "targetHash":
"1625dc18aea84f867dd9af359ed62e302de7b99552255ec16ba57a4fa6716c9c",
+ "sourceCommit": "a3630231339a95694e946147eb1601a336951094",
+ "sourceHash":
"814fc6b4b5dd833ec5c947840624151d57cb92b3cfcbbec9e010a88156a4a819",
+ "sourceTechnicalHash":
"a0e075332eb7b5c33159d00bfd9f92d4216c0688f14517a4693eb7181614896a",
+ "targetHash":
"6aa7fa4601bcc8105cf96b382f99ff90d63c9c42211abb810379816af08c08f8",
"reviewStatus": "machine",
"ownership": "machine",
- "translatedAt": "2026-10-15T08:41:51.552Z",
- "glossaryVersion": "0"
+ "translatedAt": "2026-11-15T04:40:35.398Z",
+ "glossaryVersion": "1",
+ "generation": {
+ "policy": "whole-document-v1",
+ "mode": "full",
+ "reason": "chinese-reference-changed",
+ "attempts": 2,
+ "acceptedWithWarnings": false,
+ "sourceHash":
"814fc6b4b5dd833ec5c947840624151d57cb92b3cfcbbec9e010a88156a4a819",
+ "targetHash":
"6aa7fa4601bcc8105cf96b382f99ff90d63c9c42211abb810379816af08c08f8",
+ "warnings": [],
+ "history": [
+ {
+ "attempt": 1,
+ "issues": [
+ {
+ "check": "protected-content",
+ "message": "Restore protected source content:\nprotected node 2:
expected [\"html\",null,null,\"<!-- Knowledge type: Procedure -->\"]; received
[\"html\",null,null,\"<!-- 知識の種類: 手順 -->\"]\nprotected node 3: expected
[\"html\",null,null,\"<!-- Applicable scenario: First-time compilation /
Environment validation -->\"]; received [\"html\",null,null,\"<!-- 適用場面:
初回のコンパイル / 環境の検証 -->\"]\nprotected node 7: expected [\"html\",null,null,\"<!--
Knowledge type: Configuration paramet [...]
+ }
+ ]
+ },
+ {
+ "attempt": 2,
+ "issues": []
+ }
+ ]
+ },
+ "sourceRevisions": {
+ "en": {
+ "path": "community/source-install/compilation-with-docker.md",
+ "blob": "1f0e42330992421f4d5746e47f325e61811b75d9"
+ },
+ "zh-CN": {
+ "path":
"i18n/zh-CN/docusaurus-plugin-content-docs-community/current/source-install/compilation-with-docker.md",
+ "blob": "e197f00096ca69f58d77e194d4600212dcd064ca"
+ }
+ }
}
}
diff --git
a/translations/state/ja/pages/default/4.x/lakehouse/catalogs/hive-catalog/doris-type-mapping.json
b/translations/state/ja/pages/default/4.x/lakehouse/catalogs/hive-catalog/doris-type-mapping.json
new file mode 100644
index 00000000000..a3ac8913bde
--- /dev/null
+++
b/translations/state/ja/pages/default/4.x/lakehouse/catalogs/hive-catalog/doris-type-mapping.json
@@ -0,0 +1,46 @@
+{
+ "schemaVersion": 1,
+ "page": {
+ "pluginId": "default",
+ "version": "4.x",
+ "docId": "lakehouse/catalogs/hive-catalog/doris-type-mapping",
+ "locale": "ja",
+ "sourceLocale": "en",
+ "sourcePath":
"versioned_docs/version-4.x/lakehouse/catalogs/hive-catalog/doris-type-mapping.md",
+ "targetPath":
"i18n/ja/docusaurus-plugin-content-docs/version-4.x/lakehouse/catalogs/hive-catalog/doris-type-mapping.md",
+ "sourceCommit": "a3630231339a95694e946147eb1601a336951094",
+ "sourceHash":
"cf102ddfeaf2c88817c3b16a1db1387e7a3e148a5f034fe282dfc6ef156b0d66",
+ "sourceTechnicalHash":
"748b106e7178b222ca8093abc016e385cf8bfe94fd0bae4937ed127f129ffffc",
+ "targetHash":
"11d9b8ce8b7a53e3195a7239552ee9a5b6cbec17a7cfea7ec47e463fb47ca121",
+ "reviewStatus": "machine",
+ "ownership": "machine",
+ "translatedAt": "2026-11-15T05:06:31.298Z",
+ "glossaryVersion": "1",
+ "generation": {
+ "policy": "whole-document-v1",
+ "mode": "full",
+ "reason": "no-previous-translation",
+ "attempts": 1,
+ "acceptedWithWarnings": false,
+ "sourceHash":
"cf102ddfeaf2c88817c3b16a1db1387e7a3e148a5f034fe282dfc6ef156b0d66",
+ "targetHash":
"11d9b8ce8b7a53e3195a7239552ee9a5b6cbec17a7cfea7ec47e463fb47ca121",
+ "warnings": [],
+ "history": [
+ {
+ "attempt": 1,
+ "issues": []
+ }
+ ]
+ },
+ "sourceRevisions": {
+ "en": {
+ "path":
"versioned_docs/version-4.x/lakehouse/catalogs/hive-catalog/doris-type-mapping.md",
+ "blob": "baaf40f2f85e0d903fc552cc6550411be738a68f"
+ },
+ "zh-CN": {
+ "path":
"i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/lakehouse/catalogs/hive-catalog/doris-type-mapping.md",
+ "blob": "c5cee00ca0188d11760c98e6c775abf67ce5f4bd"
+ }
+ }
+ }
+}
diff --git
a/translations/state/ja/pages/default/4.x/lakehouse/catalogs/iceberg-catalog/doris-type-mapping.json
b/translations/state/ja/pages/default/4.x/lakehouse/catalogs/iceberg-catalog/doris-type-mapping.json
new file mode 100644
index 00000000000..80d341ac630
--- /dev/null
+++
b/translations/state/ja/pages/default/4.x/lakehouse/catalogs/iceberg-catalog/doris-type-mapping.json
@@ -0,0 +1,46 @@
+{
+ "schemaVersion": 1,
+ "page": {
+ "pluginId": "default",
+ "version": "4.x",
+ "docId": "lakehouse/catalogs/iceberg-catalog/doris-type-mapping",
+ "locale": "ja",
+ "sourceLocale": "en",
+ "sourcePath":
"versioned_docs/version-4.x/lakehouse/catalogs/iceberg-catalog/doris-type-mapping.md",
+ "targetPath":
"i18n/ja/docusaurus-plugin-content-docs/version-4.x/lakehouse/catalogs/iceberg-catalog/doris-type-mapping.md",
+ "sourceCommit": "a3630231339a95694e946147eb1601a336951094",
+ "sourceHash":
"822e48f9d0dfeccc17ccba8ed13e5160b7fa938bab886b22fedf1012bb425ce5",
+ "sourceTechnicalHash":
"5dcc328ca46d280ec36e87e1b72a9019fa1a408b38c910eee470350ebcc6b245",
+ "targetHash":
"173168ff1cf940852677c715bc60ed5eaea2a909bc4573758cc67ec0cf4e979b",
+ "reviewStatus": "machine",
+ "ownership": "machine",
+ "translatedAt": "2026-11-15T05:07:02.471Z",
+ "glossaryVersion": "1",
+ "generation": {
+ "policy": "whole-document-v1",
+ "mode": "full",
+ "reason": "no-previous-translation",
+ "attempts": 1,
+ "acceptedWithWarnings": false,
+ "sourceHash":
"822e48f9d0dfeccc17ccba8ed13e5160b7fa938bab886b22fedf1012bb425ce5",
+ "targetHash":
"173168ff1cf940852677c715bc60ed5eaea2a909bc4573758cc67ec0cf4e979b",
+ "warnings": [],
+ "history": [
+ {
+ "attempt": 1,
+ "issues": []
+ }
+ ]
+ },
+ "sourceRevisions": {
+ "en": {
+ "path":
"versioned_docs/version-4.x/lakehouse/catalogs/iceberg-catalog/doris-type-mapping.md",
+ "blob": "d5080921849471645c070dda9dc61aeea45a0cf8"
+ },
+ "zh-CN": {
+ "path":
"i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/lakehouse/catalogs/iceberg-catalog/doris-type-mapping.md",
+ "blob": "a165509a8b98706c848f039757a37de15afad71d"
+ }
+ }
+ }
+}
diff --git
a/translations/state/ja/pages/default/4.x/lakehouse/catalogs/paimon-catalog/doris-type-mapping.json
b/translations/state/ja/pages/default/4.x/lakehouse/catalogs/paimon-catalog/doris-type-mapping.json
new file mode 100644
index 00000000000..908350c999a
--- /dev/null
+++
b/translations/state/ja/pages/default/4.x/lakehouse/catalogs/paimon-catalog/doris-type-mapping.json
@@ -0,0 +1,64 @@
+{
+ "schemaVersion": 1,
+ "page": {
+ "pluginId": "default",
+ "version": "4.x",
+ "docId": "lakehouse/catalogs/paimon-catalog/doris-type-mapping",
+ "locale": "ja",
+ "sourceLocale": "en",
+ "sourcePath":
"versioned_docs/version-4.x/lakehouse/catalogs/paimon-catalog/doris-type-mapping.md",
+ "targetPath":
"i18n/ja/docusaurus-plugin-content-docs/version-4.x/lakehouse/catalogs/paimon-catalog/doris-type-mapping.md",
+ "sourceCommit": "a3630231339a95694e946147eb1601a336951094",
+ "sourceHash":
"603230759e638480b6dc920c5d0c9771bae6bf89f4e81b67051a8153bbf7cb67",
+ "sourceTechnicalHash":
"328a5855fbc029abcf25bbbf7ae6b29136b3d07a67c13f444313ca807133bbba",
+ "targetHash":
"4d06cb82c082fe1de0769648e1449c0787f821f04532eb0256914647849bc3c1",
+ "reviewStatus": "machine",
+ "ownership": "machine",
+ "translatedAt": "2026-11-15T05:39:38.427Z",
+ "glossaryVersion": "1",
+ "generation": {
+ "policy": "whole-document-v1",
+ "mode": "full",
+ "reason": "no-previous-translation",
+ "attempts": 3,
+ "acceptedWithWarnings": false,
+ "sourceHash":
"603230759e638480b6dc920c5d0c9771bae6bf89f4e81b67051a8153bbf7cb67",
+ "targetHash":
"4d06cb82c082fe1de0769648e1449c0787f821f04532eb0256914647849bc3c1",
+ "warnings": [],
+ "history": [
+ {
+ "attempt": 1,
+ "issues": [
+ {
+ "check": "protected-content",
+ "message": "Restore protected source content:\nnumeric values:
expected [\"4.1.5\",\"4.2\",\"4.2\",\"4.2\",\"6\"]; received
[\"4.1.5\",\"4.2\",\"4.2\",\"4.2\",\"6\",\"6\"]\nprotected node 2: expected
[\"inlineCode\",null,null,\"VARCHAR(N)\"]; received
[\"inlineCode\",null,null,\"N <= 65533\"]\nprotected node 3: expected
[\"inlineCode\",null,null,\"N <= 65533\"]; received
[\"inlineCode\",null,null,\"VARCHAR(N)\"]"
+ }
+ ]
+ },
+ {
+ "attempt": 2,
+ "issues": [
+ {
+ "check": "protected-content",
+ "message": "Restore protected source content:\nprotected node 8:
expected [\"inlineCode\",null,null,\"DATETIME(P)\"]; received
[\"inlineCode\",null,null,\"P <= 6\"]\nprotected node 9: expected
[\"inlineCode\",null,null,\"P <= 6\"]; received
[\"inlineCode\",null,null,\"DATETIME(P)\"]"
+ }
+ ]
+ },
+ {
+ "attempt": 3,
+ "issues": []
+ }
+ ]
+ },
+ "sourceRevisions": {
+ "en": {
+ "path":
"versioned_docs/version-4.x/lakehouse/catalogs/paimon-catalog/doris-type-mapping.md",
+ "blob": "4da8d128642d1caffaca78ab91d2e26ef90cc7b9"
+ },
+ "zh-CN": {
+ "path":
"i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/lakehouse/catalogs/paimon-catalog/doris-type-mapping.md",
+ "blob": "ebf11e5508b576a94b0c8d2af217de3e6a7e36ee"
+ }
+ }
+ }
+}
diff --git
a/translations/state/ja/pages/default/current/lakehouse/best-practices/lance-hybrid-search.json
b/translations/state/ja/pages/default/current/lakehouse/best-practices/lance-hybrid-search.json
new file mode 100644
index 00000000000..c798238accc
--- /dev/null
+++
b/translations/state/ja/pages/default/current/lakehouse/best-practices/lance-hybrid-search.json
@@ -0,0 +1,64 @@
+{
+ "schemaVersion": 1,
+ "page": {
+ "pluginId": "default",
+ "version": "current",
+ "docId": "lakehouse/best-practices/lance-hybrid-search",
+ "locale": "ja",
+ "sourceLocale": "en",
+ "sourcePath": "docs/lakehouse/best-practices/lance-hybrid-search.mdx",
+ "targetPath":
"i18n/ja/docusaurus-plugin-content-docs/current/lakehouse/best-practices/lance-hybrid-search.mdx",
+ "sourceCommit": "a3630231339a95694e946147eb1601a336951094",
+ "sourceHash":
"666e0b3238d9b2c2fb7979a45f1d5be200e3a493f3149b7412cd5361a7d92bf3",
+ "sourceTechnicalHash":
"3f05cc51c538369f5d60fe1dfc25e6d30d7e027759d221c3bb25664d9257b9ac",
+ "targetHash":
"8f349631cb66d327b3823176f8684c9bc69bbd198af422ef93f9f178e458447c",
+ "reviewStatus": "machine",
+ "ownership": "machine",
+ "translatedAt": "2026-11-15T05:00:08.885Z",
+ "glossaryVersion": "1",
+ "generation": {
+ "policy": "whole-document-v1",
+ "mode": "full",
+ "reason": "no-previous-translation",
+ "attempts": 3,
+ "acceptedWithWarnings": false,
+ "sourceHash":
"666e0b3238d9b2c2fb7979a45f1d5be200e3a493f3149b7412cd5361a7d92bf3",
+ "targetHash":
"8f349631cb66d327b3823176f8684c9bc69bbd198af422ef93f9f178e458447c",
+ "warnings": [],
+ "history": [
+ {
+ "attempt": 1,
+ "issues": [
+ {
+ "check": "protected-content",
+ "message": "Restore protected source content:\nnumeric values:
expected
[\"1\",\"1\",\"1\",\"2\",\"2\",\"2\",\"20\",\"20\",\"20\",\"25\",\"3\",\"4\",\"4.2\",\"5\",\"50\",\"6\",\"95\",\"95\"];
received
[\"1\",\"1\",\"1\",\"1\",\"1\",\"1\",\"1\",\"1\",\"1\",\"1\",\"1\",\"1\",\"1\",\"1\",\"1\",\"1\",\"2\",\"2\",\"2\",\"20\",\"20\",\"20\",\"25\",\"3\",\"4\",\"4\",\"4\",\"4.2\",\"5\",\"50\",\"6\",\"8\",\"8\",\"95\",\"95\"]"
+ }
+ ]
+ },
+ {
+ "attempt": 2,
+ "issues": [
+ {
+ "check": "protected-content",
+ "message": "Restore protected source content:\nprotected node
11: expected [\"code\",\"text\",null,\"Query snapshot\\n -> FE plans physical
search-index segment splits\\n -> Each split: scalar Prefilter -> vector or
full-text candidates\\n -> Doris residual filtering -> local TopN -> global
TopN\\n -> Optional deferred fetch of output columns\"]; received
[\"code\",\"text\",null,\"クエリのスナップショット\\n -> FE が物理検索インデックスセグメントのスプリットを計画\\n
-> 各スプリット: スカラー Prefilter -> ベクトル検索また [...]
+ }
+ ]
+ },
+ {
+ "attempt": 3,
+ "issues": []
+ }
+ ]
+ },
+ "sourceRevisions": {
+ "en": {
+ "path": "docs/lakehouse/best-practices/lance-hybrid-search.mdx",
+ "blob": "8273b82fb27db03da454ed509ae4501a1f744c72"
+ },
+ "zh-CN": {
+ "path":
"i18n/zh-CN/docusaurus-plugin-content-docs/current/lakehouse/best-practices/lance-hybrid-search.mdx",
+ "blob": "042f8ed89735ffd4590323d1f787fb0ad6ca3d8f"
+ }
+ }
+ }
+}
diff --git
a/translations/state/ja/pages/default/current/lakehouse/best-practices/lance-query-profile.json
b/translations/state/ja/pages/default/current/lakehouse/best-practices/lance-query-profile.json
new file mode 100644
index 00000000000..b56f3185528
--- /dev/null
+++
b/translations/state/ja/pages/default/current/lakehouse/best-practices/lance-query-profile.json
@@ -0,0 +1,64 @@
+{
+ "schemaVersion": 1,
+ "page": {
+ "pluginId": "default",
+ "version": "current",
+ "docId": "lakehouse/best-practices/lance-query-profile",
+ "locale": "ja",
+ "sourceLocale": "en",
+ "sourcePath": "docs/lakehouse/best-practices/lance-query-profile.md",
+ "targetPath":
"i18n/ja/docusaurus-plugin-content-docs/current/lakehouse/best-practices/lance-query-profile.md",
+ "sourceCommit": "a3630231339a95694e946147eb1601a336951094",
+ "sourceHash":
"c0d80a3593fe1ba0c2e2e87d3c23c68369561303cbcf0678af44e41de7f448a2",
+ "sourceTechnicalHash":
"82eab4a5109f26e49d07fe14dc271ce92f2dca13f427f7e1372a4f8532274d47",
+ "targetHash":
"fbbed37c219ef03bf92b37cbf0d417040e11ff952f633db9d8fb567d2e966234",
+ "reviewStatus": "machine",
+ "ownership": "machine",
+ "translatedAt": "2026-11-15T05:06:07.259Z",
+ "glossaryVersion": "1",
+ "generation": {
+ "policy": "whole-document-v1",
+ "mode": "full",
+ "reason": "no-previous-translation",
+ "attempts": 3,
+ "acceptedWithWarnings": false,
+ "sourceHash":
"c0d80a3593fe1ba0c2e2e87d3c23c68369561303cbcf0678af44e41de7f448a2",
+ "targetHash":
"fbbed37c219ef03bf92b37cbf0d417040e11ff952f633db9d8fb567d2e966234",
+ "warnings": [],
+ "history": [
+ {
+ "attempt": 1,
+ "issues": [
+ {
+ "check": "protected-content",
+ "message": "Restore protected source content:\nnumeric values:
expected [\"4.2\"]; received
[\"1\",\"1\",\"1\",\"2\",\"2\",\"2\",\"2\",\"2\",\"4.2\"]\nprotected node 5:
expected [\"inlineCode\",null,null,\"Lance Metadata Metrics\"]; received
[\"inlineCode\",null,null,\"Execution Summary\"]\nprotected node 6: expected
[\"inlineCode\",null,null,\"Execution Summary\"]; received
[\"inlineCode\",null,null,\"Lance Metadata Metrics\"]"
+ }
+ ]
+ },
+ {
+ "attempt": 2,
+ "issues": [
+ {
+ "check": "protected-content",
+ "message": "Restore protected source content:\nprotected node
16: expected [\"inlineCode\",null,null,\"Calls\"]; received
[\"inlineCode\",null,null,\"DatasetOpenCalls\"]\nprotected node 17: expected
[\"inlineCode\",null,null,\"DatasetOpenCalls\"]; received
[\"inlineCode\",null,null,\"Calls\"]"
+ }
+ ]
+ },
+ {
+ "attempt": 3,
+ "issues": []
+ }
+ ]
+ },
+ "sourceRevisions": {
+ "en": {
+ "path": "docs/lakehouse/best-practices/lance-query-profile.md",
+ "blob": "936dd7574d6fa9d0b39685f3cb5d56a0395da897"
+ },
+ "zh-CN": {
+ "path":
"i18n/zh-CN/docusaurus-plugin-content-docs/current/lakehouse/best-practices/lance-query-profile.md",
+ "blob": "41a012c57cda4cd711832178073c74fc7fb1d92a"
+ }
+ }
+ }
+}
diff --git
a/translations/state/ja/pages/default/current/lakehouse/catalogs/hive-catalog/doris-type-mapping.json
b/translations/state/ja/pages/default/current/lakehouse/catalogs/hive-catalog/doris-type-mapping.json
new file mode 100644
index 00000000000..9b506215039
--- /dev/null
+++
b/translations/state/ja/pages/default/current/lakehouse/catalogs/hive-catalog/doris-type-mapping.json
@@ -0,0 +1,46 @@
+{
+ "schemaVersion": 1,
+ "page": {
+ "pluginId": "default",
+ "version": "current",
+ "docId": "lakehouse/catalogs/hive-catalog/doris-type-mapping",
+ "locale": "ja",
+ "sourceLocale": "en",
+ "sourcePath": "docs/lakehouse/catalogs/hive-catalog/doris-type-mapping.md",
+ "targetPath":
"i18n/ja/docusaurus-plugin-content-docs/current/lakehouse/catalogs/hive-catalog/doris-type-mapping.md",
+ "sourceCommit": "a3630231339a95694e946147eb1601a336951094",
+ "sourceHash":
"cf102ddfeaf2c88817c3b16a1db1387e7a3e148a5f034fe282dfc6ef156b0d66",
+ "sourceTechnicalHash":
"748b106e7178b222ca8093abc016e385cf8bfe94fd0bae4937ed127f129ffffc",
+ "targetHash":
"11d9b8ce8b7a53e3195a7239552ee9a5b6cbec17a7cfea7ec47e463fb47ca121",
+ "reviewStatus": "machine",
+ "ownership": "machine",
+ "translatedAt": "2026-11-15T05:06:31.298Z",
+ "glossaryVersion": "1",
+ "generation": {
+ "policy": "whole-document-v1",
+ "mode": "full",
+ "reason": "no-previous-translation",
+ "attempts": 1,
+ "acceptedWithWarnings": false,
+ "sourceHash":
"cf102ddfeaf2c88817c3b16a1db1387e7a3e148a5f034fe282dfc6ef156b0d66",
+ "targetHash":
"11d9b8ce8b7a53e3195a7239552ee9a5b6cbec17a7cfea7ec47e463fb47ca121",
+ "warnings": [],
+ "history": [
+ {
+ "attempt": 1,
+ "issues": []
+ }
+ ]
+ },
+ "sourceRevisions": {
+ "en": {
+ "path": "docs/lakehouse/catalogs/hive-catalog/doris-type-mapping.md",
+ "blob": "baaf40f2f85e0d903fc552cc6550411be738a68f"
+ },
+ "zh-CN": {
+ "path":
"i18n/zh-CN/docusaurus-plugin-content-docs/current/lakehouse/catalogs/hive-catalog/doris-type-mapping.md",
+ "blob": "c5cee00ca0188d11760c98e6c775abf67ce5f4bd"
+ }
+ }
+ }
+}
diff --git
a/translations/state/ja/pages/default/current/lakehouse/catalogs/iceberg-catalog/doris-type-mapping.json
b/translations/state/ja/pages/default/current/lakehouse/catalogs/iceberg-catalog/doris-type-mapping.json
new file mode 100644
index 00000000000..1c993412137
--- /dev/null
+++
b/translations/state/ja/pages/default/current/lakehouse/catalogs/iceberg-catalog/doris-type-mapping.json
@@ -0,0 +1,46 @@
+{
+ "schemaVersion": 1,
+ "page": {
+ "pluginId": "default",
+ "version": "current",
+ "docId": "lakehouse/catalogs/iceberg-catalog/doris-type-mapping",
+ "locale": "ja",
+ "sourceLocale": "en",
+ "sourcePath":
"docs/lakehouse/catalogs/iceberg-catalog/doris-type-mapping.md",
+ "targetPath":
"i18n/ja/docusaurus-plugin-content-docs/current/lakehouse/catalogs/iceberg-catalog/doris-type-mapping.md",
+ "sourceCommit": "a3630231339a95694e946147eb1601a336951094",
+ "sourceHash":
"822e48f9d0dfeccc17ccba8ed13e5160b7fa938bab886b22fedf1012bb425ce5",
+ "sourceTechnicalHash":
"5dcc328ca46d280ec36e87e1b72a9019fa1a408b38c910eee470350ebcc6b245",
+ "targetHash":
"173168ff1cf940852677c715bc60ed5eaea2a909bc4573758cc67ec0cf4e979b",
+ "reviewStatus": "machine",
+ "ownership": "machine",
+ "translatedAt": "2026-11-15T05:07:02.471Z",
+ "glossaryVersion": "1",
+ "generation": {
+ "policy": "whole-document-v1",
+ "mode": "full",
+ "reason": "no-previous-translation",
+ "attempts": 1,
+ "acceptedWithWarnings": false,
+ "sourceHash":
"822e48f9d0dfeccc17ccba8ed13e5160b7fa938bab886b22fedf1012bb425ce5",
+ "targetHash":
"173168ff1cf940852677c715bc60ed5eaea2a909bc4573758cc67ec0cf4e979b",
+ "warnings": [],
+ "history": [
+ {
+ "attempt": 1,
+ "issues": []
+ }
+ ]
+ },
+ "sourceRevisions": {
+ "en": {
+ "path":
"docs/lakehouse/catalogs/iceberg-catalog/doris-type-mapping.md",
+ "blob": "d5080921849471645c070dda9dc61aeea45a0cf8"
+ },
+ "zh-CN": {
+ "path":
"i18n/zh-CN/docusaurus-plugin-content-docs/current/lakehouse/catalogs/iceberg-catalog/doris-type-mapping.md",
+ "blob": "a165509a8b98706c848f039757a37de15afad71d"
+ }
+ }
+ }
+}
diff --git
a/translations/state/ja/pages/default/current/lakehouse/catalogs/lance-catalog/doris-type-mapping.json
b/translations/state/ja/pages/default/current/lakehouse/catalogs/lance-catalog/doris-type-mapping.json
new file mode 100644
index 00000000000..7cf893d647d
--- /dev/null
+++
b/translations/state/ja/pages/default/current/lakehouse/catalogs/lance-catalog/doris-type-mapping.json
@@ -0,0 +1,46 @@
+{
+ "schemaVersion": 1,
+ "page": {
+ "pluginId": "default",
+ "version": "current",
+ "docId": "lakehouse/catalogs/lance-catalog/doris-type-mapping",
+ "locale": "ja",
+ "sourceLocale": "en",
+ "sourcePath":
"docs/lakehouse/catalogs/lance-catalog/doris-type-mapping.md",
+ "targetPath":
"i18n/ja/docusaurus-plugin-content-docs/current/lakehouse/catalogs/lance-catalog/doris-type-mapping.md",
+ "sourceCommit": "a3630231339a95694e946147eb1601a336951094",
+ "sourceHash":
"353814c70055c53fa9d1f469c0d4ddc66314f2ef1e7882cf13eac4df5ebfbb48",
+ "sourceTechnicalHash":
"e3dc5a220b36eed7e8ebab8e0a08ecc3338c2b0ecb6c6027519af00113384f15",
+ "targetHash":
"1e43984055073230d7220eedf61410adf07f8be542061b430f57cf63f7dd11b8",
+ "reviewStatus": "machine",
+ "ownership": "machine",
+ "translatedAt": "2026-11-15T05:38:08.193Z",
+ "glossaryVersion": "1",
+ "generation": {
+ "policy": "whole-document-v1",
+ "mode": "full",
+ "reason": "no-previous-translation",
+ "attempts": 1,
+ "acceptedWithWarnings": false,
+ "sourceHash":
"353814c70055c53fa9d1f469c0d4ddc66314f2ef1e7882cf13eac4df5ebfbb48",
+ "targetHash":
"1e43984055073230d7220eedf61410adf07f8be542061b430f57cf63f7dd11b8",
+ "warnings": [],
+ "history": [
+ {
+ "attempt": 1,
+ "issues": []
+ }
+ ]
+ },
+ "sourceRevisions": {
+ "en": {
+ "path": "docs/lakehouse/catalogs/lance-catalog/doris-type-mapping.md",
+ "blob": "01f1ea8c0a3da708c0f59071f52bf529a07ca071"
+ },
+ "zh-CN": {
+ "path":
"i18n/zh-CN/docusaurus-plugin-content-docs/current/lakehouse/catalogs/lance-catalog/doris-type-mapping.md",
+ "blob": "63ceea6fa70858d429b0129c4a8a69c9e4b00020"
+ }
+ }
+ }
+}
diff --git
a/translations/state/ja/pages/default/current/lakehouse/catalogs/paimon-catalog/doris-type-mapping.json
b/translations/state/ja/pages/default/current/lakehouse/catalogs/paimon-catalog/doris-type-mapping.json
new file mode 100644
index 00000000000..ad79b721332
--- /dev/null
+++
b/translations/state/ja/pages/default/current/lakehouse/catalogs/paimon-catalog/doris-type-mapping.json
@@ -0,0 +1,64 @@
+{
+ "schemaVersion": 1,
+ "page": {
+ "pluginId": "default",
+ "version": "current",
+ "docId": "lakehouse/catalogs/paimon-catalog/doris-type-mapping",
+ "locale": "ja",
+ "sourceLocale": "en",
+ "sourcePath":
"docs/lakehouse/catalogs/paimon-catalog/doris-type-mapping.md",
+ "targetPath":
"i18n/ja/docusaurus-plugin-content-docs/current/lakehouse/catalogs/paimon-catalog/doris-type-mapping.md",
+ "sourceCommit": "a3630231339a95694e946147eb1601a336951094",
+ "sourceHash":
"603230759e638480b6dc920c5d0c9771bae6bf89f4e81b67051a8153bbf7cb67",
+ "sourceTechnicalHash":
"328a5855fbc029abcf25bbbf7ae6b29136b3d07a67c13f444313ca807133bbba",
+ "targetHash":
"4d06cb82c082fe1de0769648e1449c0787f821f04532eb0256914647849bc3c1",
+ "reviewStatus": "machine",
+ "ownership": "machine",
+ "translatedAt": "2026-11-15T05:39:38.427Z",
+ "glossaryVersion": "1",
+ "generation": {
+ "policy": "whole-document-v1",
+ "mode": "full",
+ "reason": "no-previous-translation",
+ "attempts": 3,
+ "acceptedWithWarnings": false,
+ "sourceHash":
"603230759e638480b6dc920c5d0c9771bae6bf89f4e81b67051a8153bbf7cb67",
+ "targetHash":
"4d06cb82c082fe1de0769648e1449c0787f821f04532eb0256914647849bc3c1",
+ "warnings": [],
+ "history": [
+ {
+ "attempt": 1,
+ "issues": [
+ {
+ "check": "protected-content",
+ "message": "Restore protected source content:\nnumeric values:
expected [\"4.1.5\",\"4.2\",\"4.2\",\"4.2\",\"6\"]; received
[\"4.1.5\",\"4.2\",\"4.2\",\"4.2\",\"6\",\"6\"]\nprotected node 2: expected
[\"inlineCode\",null,null,\"VARCHAR(N)\"]; received
[\"inlineCode\",null,null,\"N <= 65533\"]\nprotected node 3: expected
[\"inlineCode\",null,null,\"N <= 65533\"]; received
[\"inlineCode\",null,null,\"VARCHAR(N)\"]"
+ }
+ ]
+ },
+ {
+ "attempt": 2,
+ "issues": [
+ {
+ "check": "protected-content",
+ "message": "Restore protected source content:\nprotected node 8:
expected [\"inlineCode\",null,null,\"DATETIME(P)\"]; received
[\"inlineCode\",null,null,\"P <= 6\"]\nprotected node 9: expected
[\"inlineCode\",null,null,\"P <= 6\"]; received
[\"inlineCode\",null,null,\"DATETIME(P)\"]"
+ }
+ ]
+ },
+ {
+ "attempt": 3,
+ "issues": []
+ }
+ ]
+ },
+ "sourceRevisions": {
+ "en": {
+ "path": "docs/lakehouse/catalogs/paimon-catalog/doris-type-mapping.md",
+ "blob": "4da8d128642d1caffaca78ab91d2e26ef90cc7b9"
+ },
+ "zh-CN": {
+ "path":
"i18n/zh-CN/docusaurus-plugin-content-docs/current/lakehouse/catalogs/paimon-catalog/doris-type-mapping.md",
+ "blob": "ebf11e5508b576a94b0c8d2af217de3e6a7e36ee"
+ }
+ }
+ }
+}
---------------------------------------------------------------------
To unsubscribe, e-mail: [email protected]
For additional commands, e-mail: [email protected]