From 9cfbd9324ee41c5d63435dddc0a5b04f1212972e Mon Sep 17 00:00:00 2001 From: Yongqiang YANG Date: Tue, 9 Jun 2026 19:09:52 -0700 Subject: [PATCH] Add CI dead link gate --- .github/workflows/build-check.yml | 8 +- blog/Annoucing.md | 2 +- blog/release-note-1.1.0.md | 2 +- blog/release-note-2.1.6.md | 2 +- blog/ssb.md | 2 +- .../auth/integrations/aws-iam-role.md | 2 +- .../memory-analysis/query-memory-analysis.md | 2 +- docs/ai/ai-overview.md | 2 +- .../file-cache/file-cache.md | 2 +- .../data-integration/flink-doris-connector.md | 2 +- .../import/data-source/amazon-s3.md | 4 +- .../import/data-source/bigquery.md | 2 +- .../import/data-source/snowflake.md | 4 +- .../import/import-way/routine-load-manual.md | 4 +- .../import/import-way/stream-load-manual.md | 4 +- .../continuous-load-mysql-table.md | 2 +- .../load-best-practices.md | 6 +- docs/data-operate/transaction.md | 2 +- .../install-config-cluster.md | 6 +- .../config-cluster.md | 2 +- .../separating-storage-compute/config-fe.md | 4 +- docs/lakehouse/catalogs/iceberg-catalog.mdx | 2 +- docs/lakehouse/meta-cache.md | 4 +- docs/observability/log.md | 2 +- .../date-time-functions/utc-time.md | 2 +- .../other-functions/default.md | 2 +- .../compute-management/CREATE-RESOURCE.md | 2 +- .../data-modification/DML/UPDATE.md | 2 +- .../backup-and-restore/CREATE-REPOSITORY.md | 4 +- .../table/ALTER-TABLE-PROPERTY.md | 2 +- .../table-and-view/table/CREATE-TABLE.md | 4 +- .../data-partitioning/auto-partitioning.md | 2 +- .../data-partitioning/basic-concepts.mdx | 2 +- docs/table-design/data-type.md | 2 +- .../current/v2.0/release-2.0.0.md | 6 +- .../current/v2.0/release-2.0.3.md | 2 +- .../current/v2.1/release-2.1.0.md | 24 ++--- .../current/v2.1/release-2.1.2.md | 2 +- .../current/v2.1/release-2.1.4.md | 18 ++-- .../current/v2.1/release-2.1.5.md | 4 +- .../current/v2.1/release-2.1.7.md | 14 +-- .../current/v3.0/release-3.0.1.md | 6 +- .../current/v3.0/release-3.0.3.md | 8 +- .../current/admin-manual/auth/certificate.md | 2 +- .../auth/integrations/aws-iam-role.md | 2 +- .../information_schema/column_statistics.md | 2 +- .../memory-analysis/query-memory-analysis.md | 2 +- .../file-cache/file-cache.md | 2 +- .../data-integration/flink-doris-connector.md | 2 +- .../import/data-source/amazon-s3.md | 4 +- .../import/data-source/bigquery.md | 8 +- .../migrate-data-from-other-oltp.md | 4 +- .../import/data-source/redshift.md | 8 +- .../import/data-source/snowflake.md | 10 +- .../import/import-way/routine-load-manual.md | 4 +- .../import/import-way/stream-load-manual.md | 4 +- .../load-best-practices.md | 4 +- .../current/data-operate/transaction.md | 2 +- .../install-config-cluster.md | 4 +- .../separating-storage-compute/config-cg.md | 4 +- .../config-cluster.md | 4 +- .../separating-storage-compute/config-fe.md | 4 +- .../separating-storage-compute/config-ms.md | 6 +- .../install-doris-cluster.md | 2 +- .../lakehouse/catalogs/iceberg-catalog.mdx | 2 +- .../current/lakehouse/statistics.md | 2 +- .../query-acceleration/hints/leading-hint.md | 2 +- .../async-materialized-view/faq.md | 4 +- .../async-materialized-view/use-guide.md | 4 +- .../compute-management/CREATE-RESOURCE.md | 2 +- .../CREATE-STORAGE-VAULT.md | 4 +- .../backup-and-restore/CREATE-REPOSITORY.md | 4 +- .../load-and-export/CREATE-ROUTINE-LOAD.md | 2 +- .../table-and-view/table/CREATE-TABLE.md | 4 +- .../data-partitioning/auto-partitioning.md | 2 +- .../data-partitioning/basic-concepts.mdx | 2 +- .../tiered-storage/remote-storage.md | 2 +- .../tiered-storage/tiered-ssd-hdd.md | 4 +- .../cluster-management/upgrade.md | 2 +- .../admin-manual/data-admin/backup.md | 2 +- .../maint-monitor/disk-capacity.md | 2 +- .../memory-management/be-oom-analysis.md | 4 +- .../version-1.2/advanced/variables.md | 2 + .../version-1.2/benchmark/ssb.md | 2 +- .../version-1.2/benchmark/tpcds.md | 2 +- .../version-1.2/benchmark/tpch.md | 2 +- .../import-scenes/external-table-load.md | 4 +- .../import/import-way/load-json-format.md | 10 +- .../data-operate/update-delete/update.md | 2 +- .../version-1.2/data-table/data-partition.md | 2 +- .../ecosystem/dbt-doris-adapter.md | 2 +- .../ecosystem/flink-doris-connector.md | 2 + .../version-1.2/ecosystem/hive-bitmap-udf.md | 2 +- .../version-1.2/ecosystem/seatunnel.md | 2 +- .../version-1.2/faq/install-faq.md | 4 +- .../version-1.2/faq/sql-faq.md | 2 +- .../version-1.2/gettingStarted/quick-start.md | 2 +- .../construct-docker-image.md | 2 +- .../version-1.2/install/k8s-deploy.md | 4 +- .../install/standard-deployment.md | 2 +- .../lakehouse/external-table/jdbc.md | 6 +- .../lakehouse/multi-catalog/jdbc.md | 6 +- .../date-time-functions/day-ceil.md | 2 +- .../sql-functions/table-functions/hdfs.md | 2 +- .../sql-functions/table-functions/s3.md | 4 +- .../Create/CREATE-TABLE.md | 4 +- .../Load/CREATE-ROUTINE-LOAD.md | 2 +- .../Load/MYSQL-LOAD.md | 2 +- .../Manipulation/UPDATE.md | 2 +- .../SHOW-ALTER-TABLE-MATERIALIZED-VIEW.md | 2 +- .../Show-Statements/SHOW-STREAM-LOAD.md | 2 +- .../admin-manual/config/fe-config-template.md | 2 +- .../admin-manual/data-admin/backup.md | 4 +- .../maint-monitor/disk-capacity.md | 2 +- .../resource-admin/workload-group.md | 2 +- .../delete/batch-delete-manual.md | 2 +- .../data-operate/import/load-json-format.md | 2 +- .../import/routine-load-manual.md | 2 +- .../data-operate/import/stream-load-manual.md | 2 +- .../version-2.0/ecosystem/datax.md | 4 +- .../ecosystem/dbt-doris-adapter.md | 2 +- .../ecosystem/flink-doris-connector.md | 40 ++++---- .../version-2.0/ecosystem/seatunnel.md | 8 +- .../version-2.0/faq/install-faq.md | 4 +- .../version-2.0/gettingStarted/quick-start.md | 2 +- .../lakehouse/database/max-compute.md | 2 +- .../lakehouse/datalake-analytics/hive.md | 4 +- .../lakehouse/datalake-analytics/hudi.md | 6 +- .../lakehouse/datalake-analytics/iceberg.md | 6 +- .../version-2.0/lakehouse/file.md | 4 +- .../lakehouse/lakehouse-overview.md | 18 ++-- .../query/pipeline-execution-engine.md | 2 +- .../sql-data-types/aggregate/BITMAP.md | 2 +- .../sql-data-types/data-type-overview.md | 8 +- .../sql-data-types/date-time/DATETIME.md | 2 +- .../date-time-functions/date-ceil.md | 12 +-- .../date-time-functions/date-format.md | 2 + .../date-time-functions/day-ceil.md | 2 +- .../date-time-functions/day-floor.md | 2 +- .../date-time-functions/hour-ceil.md | 2 +- .../date-time-functions/hour-floor.md | 2 +- .../date-time-functions/minute-ceil.md | 2 +- .../date-time-functions/minute-floor.md | 2 +- .../date-time-functions/month-ceil.md | 2 +- .../date-time-functions/month-floor.md | 2 +- .../date-time-functions/str-to-date.md | 2 +- .../date-time-functions/year-ceil.md | 2 +- .../date-time-functions/year-floor.md | 2 +- .../json-functions/json-exists-path.md | 2 +- .../json-functions/json-extract.md | 2 +- .../sql-functions/json-functions/json-type.md | 2 +- .../table-valued-functions/hdfs.md | 4 +- .../table-valued-functions/local.md | 2 +- .../Backup-and-Restore/BACKUP.md | 2 +- .../Create/CREATE-RESOURCE.md | 2 +- .../Create/CREATE-TABLE.md | 2 +- .../Load/BROKER-LOAD.md | 2 +- .../Manipulation/UPDATE.md | 2 +- .../SHOW-ALTER-TABLE-MATERIALIZED-VIEW.md | 2 +- .../Show-Statements/SHOW-FRONTENDS-DISKS.md | 2 +- .../Show-Statements/SHOW-STREAM-LOAD.md | 2 +- .../version-2.0/table-design/data-type.md | 2 +- .../version-2.0/table-design/schema-change.md | 2 +- .../auth/authentication-and-authorization.md | 7 +- .../admin-manual/auth/authorization/ranger.md | 1 + .../import/data-source/bigquery.md | 4 +- .../import/data-source/redshift.md | 2 +- .../import/data-source/snowflake.md | 4 +- .../import/import-way/log-storage-analysis.md | 16 ++-- .../ecosystem/flink-doris-connector.md | 2 +- .../install-config-cluster.md | 2 +- .../lakehouse/catalogs/iceberg-catalog.mdx | 2 +- .../version-2.1/lakehouse/statistics.md | 2 +- .../async-materialized-view/faq.md | 2 +- .../async-materialized-view/use-guide.md | 4 +- .../sql-data-types/date-time/DATETIME.md | 2 +- .../backup-and-restore/BACKUP.md | 2 +- .../auth/authentication-and-authorization.md | 1 - .../aws-authentication-and-authorization.md | 2 +- .../auth/integrations/aws-iam-role.md | 2 +- .../import/data-source/amazon-s3.md | 2 +- .../import/data-source/bigquery.md | 4 +- .../import/data-source/redshift.md | 2 +- .../import/data-source/snowflake.md | 4 +- .../import/import-way/log-storage-analysis.md | 16 ++-- .../import/import-way/routine-load-manual.md | 1 + .../version-3.x/data-operate/transaction.md | 2 +- .../ecosystem/flink-doris-connector.md | 2 +- .../install-config-cluster.md | 2 +- .../config-cluster.md | 2 +- .../separating-storage-compute/config-ms.md | 2 +- .../install-doris-cluster.md | 2 +- .../install/preparation/cluster-planning.md | 4 +- .../version-3.x/lakehouse/catalog-overview.md | 4 +- .../lakehouse/catalogs/iceberg-catalog.mdx | 2 +- .../version-3.x/lakehouse/statistics.md | 2 +- .../async-materialized-view/faq.md | 4 +- .../async-materialized-view/use-guide.md | 4 +- .../sql-data-types/date-time/DATETIME.md | 2 +- .../compute-management/CREATE-RESOURCE.md | 2 +- .../CREATE-STORAGE-VAULT.md | 4 +- .../data-modification/DML/UPDATE.md | 2 +- .../backup-and-restore/BACKUP.md | 2 +- .../backup-and-restore/CREATE-REPOSITORY.md | 4 +- .../table-and-view/table/CREATE-TABLE.md | 2 +- .../version-3.x/table-design/overview.md | 2 +- .../admin-manual/auth/certificate.md | 2 +- .../auth/integrations/aws-iam-role.md | 2 +- .../information_schema/column_statistics.md | 2 +- .../memory-analysis/query-memory-analysis.md | 2 +- .../file-cache/file-cache.md | 2 +- .../data-integration/flink-doris-connector.md | 2 +- .../import/data-source/amazon-s3.md | 4 +- .../import/data-source/bigquery.md | 8 +- .../migrate-data-from-other-oltp.md | 4 +- .../import/data-source/redshift.md | 8 +- .../import/data-source/snowflake.md | 10 +- .../import/import-way/routine-load-manual.md | 4 +- .../import/import-way/stream-load-manual.md | 4 +- .../load-best-practices.md | 4 +- .../version-4.x/data-operate/transaction.md | 2 +- .../install-config-cluster.md | 4 +- .../separating-storage-compute/config-cg.md | 4 +- .../config-cluster.md | 4 +- .../separating-storage-compute/config-fe.md | 4 +- .../separating-storage-compute/config-ms.md | 6 +- .../install-doris-cluster.md | 2 +- .../lakehouse/catalogs/iceberg-catalog.mdx | 2 +- .../version-4.x/lakehouse/statistics.md | 2 +- .../query-acceleration/hints/leading-hint.md | 2 +- .../async-materialized-view/faq.md | 4 +- .../async-materialized-view/use-guide.md | 4 +- .../compute-management/CREATE-RESOURCE.md | 2 +- .../CREATE-STORAGE-VAULT.md | 4 +- .../backup-and-restore/CREATE-REPOSITORY.md | 4 +- .../load-and-export/CREATE-ROUTINE-LOAD.md | 2 +- .../table-and-view/table/CREATE-TABLE.md | 4 +- .../data-partitioning/auto-partitioning.md | 2 +- .../data-partitioning/basic-concepts.mdx | 2 +- .../tiered-storage/remote-storage.md | 2 +- .../tiered-storage/tiered-ssd-hdd.md | 4 +- .../auth/authentication-and-authorization.md | 11 ++- .../aws-authentication-and-authorization.md | 3 + .../cluster-management/time-zone.md | 3 + .../current/admin-manual/config/fe-config.md | 2 + .../information_schema/column_statistics.md | 2 +- .../current/ai/vector-search/behind-index.md | 4 +- .../compilation-and-deployment.md | 2 + .../managing-compute-cluster.md | 5 +- .../compute-storage-decoupled/upgrade.md | 4 +- .../import/data-source/amazon-s3.md | 3 + .../migrate-data-from-other-oltp.md | 2 +- .../import/import-way/broker-load-manual.md | 4 + .../import/import-way/log-storage-analysis.md | 16 ++-- .../import/import-way/routine-load-manual.md | 3 + .../import/import-way/stream-load-manual.md | 3 + .../data-operate/import/load-data-convert.md | 3 + .../import/load-internals/load-internals.md | 2 +- .../current/data-operate/transaction.md | 4 +- .../update/partial-column-update.md | 5 + .../update/update-of-unique-model.md | 3 + .../doris-operator/doris-operator-overview.md | 2 +- .../ecosystem/flink-doris-connector.md | 8 +- .../ecosystem/spark-doris-connector.md | 2 + .../before-you-start-the-poc.md | 4 +- .../gettingStarted/what-is-apache-doris.md | 2 + ...egrated-storage-compute-deploy-manually.md | 2 +- .../cluster-operation.md | 2 + .../install-config-cluster.md | 40 ++++---- .../install-doris-cluster.md | 2 + .../separating-storage-compute/config-cg.md | 7 +- .../separating-storage-compute/config-fe.md | 5 +- .../separating-storage-compute/config-ms.md | 6 +- .../install-doris-cluster.md | 2 + .../separating-storage-compute/install-fdb.md | 3 + .../install/preparation/cluster-planning.md | 4 +- .../lakehouse/best-practices/doris-iceberg.md | 3 + .../current/lakehouse/catalog-overview.md | 5 + .../lakehouse/catalogs/hive-catalog.mdx | 3 + .../lakehouse/catalogs/iceberg-catalog.mdx | 4 + .../current/lakehouse/statistics.md | 2 +- .../current/observability/log.md | 2 +- .../current/query-acceleration/dictionary.md | 4 +- .../async-materialized-view/faq.md | 8 +- .../functions-and-demands.md | 3 + .../async-materialized-view/use-guide.md | 4 +- .../statistics.md | 2 + .../current/query-acceleration/query-cache.md | 4 +- .../udf/python-user-defined-function.md | 12 ++- .../releasenotes/v2.1/release-2.1.4.md | 4 +- .../conversion/int-conversion.md | 2 + .../sql-data-types/data-type-overview.md | 2 + .../date-time-functions/add-time.md | 2 +- .../date-time-functions/date-format.md | 2 + .../date-time-functions/dayname.md | 4 +- .../date-time-functions/monthname.md | 4 +- .../date-time-functions/period-add.md | 4 +- .../date-time-functions/period-diff.md | 4 +- .../date-time-functions/str-to-date.md | 2 +- .../date-time-functions/sub-time.md | 2 +- .../date-time-functions/utc-date.md | 2 +- .../date-time-functions/utc-time.md | 2 +- .../date-time-functions/utc-timestamp.md | 2 +- .../other-functions/default.md | 2 +- .../compute-management/CREATE-RESOURCE.md | 2 +- .../data-modification/DML/INSERT-OVERWRITE.md | 4 +- .../data-modification/DML/UPDATE.md | 2 +- .../CREATE-ASYNC-MATERIALIZED-VIEW.md | 2 + .../table/ALTER-TABLE-PROPERTY.md | 2 +- .../table-and-view/table/CREATE-TABLE.md | 2 + .../data-partitioning/auto-partitioning.md | 2 + .../data-partitioning/basic-concepts.mdx | 2 +- .../data-partitioning/data-bucketing.md | 5 + .../data-partitioning/dynamic-partitioning.md | 3 + .../data-partitioning/manual-partitioning.md | 2 + .../current/table-design/data-type.md | 40 ++++---- .../current/table-design/overview.md | 4 +- .../auth/authentication-and-authorization.md | 9 +- .../cluster-management/time-zone.md | 6 +- .../admin-manual/config/fe-config.md | 4 + .../information_schema/column_statistics.md | 2 +- .../import/data-source/amazon-s3.md | 3 + .../migrate-data-from-other-oltp.md | 2 +- .../import/import-way/broker-load-manual.md | 4 + .../import/import-way/log-storage-analysis.md | 16 ++-- .../import/import-way/routine-load-manual.md | 3 + .../import/import-way/stream-load-manual.md | 3 + .../data-operate/import/load-data-convert.md | 3 + .../version-2.1/data-operate/transaction.md | 4 +- .../doris-operator/doris-operator-overview.md | 2 +- .../ecosystem/flink-doris-connector.md | 6 +- .../ecosystem/spark-doris-connector.md | 2 + .../deploy-on-kubernetes/cluster-operation.md | 2 + .../install-config-cluster.md | 8 +- .../install-doris-cluster.md | 3 + .../lakehouse/best-practices/doris-iceberg.md | 3 + .../lakehouse/catalogs/hive-catalog.mdx | 3 + .../lakehouse/catalogs/iceberg-catalog.mdx | 4 + .../version-2.1/lakehouse/statistics.md | 2 +- .../async-materialized-view/faq.md | 8 +- .../functions-and-demands.md | 3 + .../async-materialized-view/use-guide.md | 4 +- .../statistics.md | 2 + .../releasenotes/v2.1/release-2.1.4.md | 4 +- .../sql-data-types/data-type-overview.md | 2 + .../sql-data-types/date-time/DATETIME.md | 2 +- .../sql-data-types/semi-structured/VARIANT.md | 2 +- .../date-time-functions/date-format.md | 2 + .../date-time-functions/str-to-date.md | 2 +- .../compute-management/CREATE-RESOURCE.md | 2 +- .../data-modification/DML/INSERT-OVERWRITE.md | 4 +- .../data-modification/DML/UPDATE.md | 2 +- .../backup-and-restore/BACKUP.md | 2 +- .../CREATE-ASYNC-MATERIALIZED-VIEW.md | 2 + .../table-and-view/table/CREATE-TABLE.md | 2 + .../data-partitioning/auto-partitioning.md | 2 + .../data-partitioning/basic-concepts.mdx | 2 +- .../data-partitioning/data-bucketing.md | 5 + .../data-partitioning/dynamic-partitioning.md | 3 + .../version-2.1/table-design/data-type.md | 12 +-- .../version-2.1/table-design/overview.md | 4 +- .../auth/authentication-and-authorization.md | 10 +- .../aws-authentication-and-authorization.md | 3 + .../admin-manual/cluster-management/fqdn.md | 2 +- .../cluster-management/time-zone.md | 6 +- .../admin-manual/config/fe-config.md | 4 + .../information_schema/column_statistics.md | 2 +- .../trouble-shooting/metadata-operation.md | 4 +- .../version-3.x/benchmark/tpch.md | 2 +- .../compilation-and-deployment.md | 2 + .../managing-compute-cluster.md | 3 + .../compute-storage-decoupled/overview.md | 2 +- .../compute-storage-decoupled/upgrade.md | 4 +- .../import/data-source/snowflake.md | 4 +- .../import/handling-messy-data.md | 3 + .../import/import-way/insert-into-manual.md | 2 +- .../import/import-way/stream-load-manual.md | 3 + .../data-operate/import/migration-guide.md | 6 +- .../version-3.x/data-operate/transaction.md | 4 +- .../update/partial-column-update.md | 4 + .../data-operate/update/unique-update-sql.md | 2 +- .../doris-operator/doris-operator-overview.md | 2 +- .../ecosystem/flink-doris-connector.md | 5 +- .../gettingStarted/what-is-apache-doris.md | 2 + .../cluster-operation.md | 2 + .../install-config-cluster.md | 42 ++++---- .../install-doris-cluster.md | 2 + .../separating-storage-compute/config-cg.md | 7 +- .../config-cluster.md | 2 +- .../separating-storage-compute/config-fe.md | 5 +- .../separating-storage-compute/config-ms.md | 6 +- .../install-doris-cluster.md | 2 + .../separating-storage-compute/install-fdb.md | 3 + .../install/preparation/cluster-planning.md | 4 +- .../lakehouse/best-practices/doris-iceberg.md | 5 +- .../lakehouse/best-practices/doris-paimon.md | 2 +- .../version-3.x/lakehouse/catalog-overview.md | 6 +- .../lakehouse/catalogs/hudi-catalog.md | 2 +- .../lakehouse/lakehouse-overview.md | 2 +- .../practical-guide/log-storage-analysis.md | 2 +- .../async-materialized-view/faq.md | 6 +- .../statistics.md | 2 + .../version-3.x/query-data/complex-type.md | 2 +- .../version-3.x/query-data/join.md | 2 +- .../udf/java-user-defined-function.md | 12 +-- .../releasenotes/v2.1/release-2.1.4.md | 4 +- .../sql-data-types/data-type-overview.md | 2 + .../string-functions/tokenize.md | 4 +- .../data-modification/DML/INSERT-OVERWRITE.md | 6 +- .../backup-and-restore/BACKUP.md | 2 +- .../table-and-view/table/CREATE-TABLE.md | 2 + .../data-partitioning/auto-partitioning.md | 2 + .../data-partitioning/basic-concepts.mdx | 2 +- .../data-partitioning/common-issues.md | 2 +- .../data-partitioning/data-bucketing.md | 3 + .../data-partitioning/dynamic-partitioning.md | 4 + .../version-3.x/table-design/data-type.md | 40 ++++---- .../version-3.x/table-design/overview.md | 4 +- .../auth/authentication-and-authorization.md | 11 ++- .../aws-authentication-and-authorization.md | 3 + .../cluster-management/time-zone.md | 3 + .../admin-manual/config/fe-config.md | 2 + .../information_schema/column_statistics.md | 2 +- .../version-4.x/ai/rag.mdx | 8 +- .../ai/vector-search/behind-index.md | 4 +- .../compilation-and-deployment.md | 2 + .../managing-compute-cluster.md | 3 + .../compute-storage-decoupled/upgrade.md | 4 +- .../import/data-source/snowflake.md | 4 +- .../import/import-way/broker-load-manual.md | 4 + .../import/import-way/log-storage-analysis.md | 16 ++-- .../import/import-way/routine-load-manual.md | 4 + .../import/import-way/stream-load-manual.md | 3 + .../data-operate/import/migration-guide.md | 6 +- .../version-4.x/data-operate/transaction.md | 4 +- .../update/partial-column-update.md | 4 + .../update/update-of-unique-model.md | 3 + .../doris-operator/doris-operator-overview.md | 2 +- .../ecosystem/flink-doris-connector.md | 7 +- .../gettingStarted/what-is-apache-doris.md | 2 + ...egrated-storage-compute-deploy-manually.md | 2 +- .../cluster-operation.md | 2 + .../install-config-cluster.md | 40 ++++---- .../install-doris-cluster.md | 2 + .../separating-storage-compute/config-cg.md | 7 +- .../separating-storage-compute/config-fe.md | 5 +- .../separating-storage-compute/config-ms.md | 6 +- .../install-doris-cluster.md | 2 + .../separating-storage-compute/install-fdb.md | 3 + .../install/preparation/cluster-planning.md | 4 +- .../lakehouse/best-practices/doris-iceberg.md | 3 + .../version-4.x/lakehouse/catalog-overview.md | 5 + .../lakehouse/catalogs/hive-catalog.mdx | 3 + .../lakehouse/catalogs/iceberg-catalog.mdx | 4 + .../version-4.x/lakehouse/statistics.md | 2 +- .../version-4.x/observability/log.md | 2 +- .../query-acceleration/dictionary.md | 4 +- .../async-materialized-view/faq.md | 8 +- .../functions-and-demands.md | 5 +- .../async-materialized-view/use-guide.md | 4 +- .../statistics.md | 2 + .../query-acceleration/query-cache.md | 4 +- .../releasenotes/v2.1/release-2.1.4.md | 4 +- .../conversion/int-conversion.md | 2 + .../sql-data-types/data-type-overview.md | 2 + .../date-time-functions/date-format.md | 2 + .../date-time-functions/dayname.md | 4 +- .../date-time-functions/monthname.md | 4 +- .../date-time-functions/period-add.md | 4 +- .../date-time-functions/period-diff.md | 4 +- .../date-time-functions/previous-day.md | 2 +- .../date-time-functions/str-to-date.md | 2 +- .../date-time-functions/utc-date.md | 2 +- .../date-time-functions/utc-time.md | 2 +- .../date-time-functions/utc-timestamp.md | 2 +- .../other-functions/default.md | 2 +- .../SHOW-FRONTENDS-DISKS.md | 2 +- .../data-governance/ALTER-SQL_BLOCK_RULE.md | 2 +- .../data-modification/DML/INSERT-OVERWRITE.md | 6 +- .../CREATE-ASYNC-MATERIALIZED-VIEW.md | 2 + .../table/ALTER-TABLE-PROPERTY.md | 2 +- .../table-and-view/table/CREATE-TABLE.md | 4 +- .../data-partitioning/auto-partitioning.md | 2 + .../data-partitioning/basic-concepts.mdx | 2 +- .../data-partitioning/data-bucketing.md | 5 + .../data-partitioning/dynamic-partitioning.md | 3 + .../data-partitioning/manual-partitioning.md | 2 + .../version-4.x/table-design/data-type.md | 40 ++++---- .../version-4.x/table-design/overview.md | 4 +- releasenotes/v2.0/release-2.0.0.md | 3 +- releasenotes/v2.1/release-2.1.0.md | 4 +- releasenotes/v2.1/release-2.1.4.md | 12 +-- releasenotes/v2.1/release-2.1.6.md | 2 +- releasenotes/v2.1/release-2.1.7.md | 8 +- releasenotes/v3.0/release-3.0.3.md | 6 +- .../repo/src/pages/download/index.tsx | 3 + .../__tests__/docs-governance.test.js | 34 +++++++ scripts/docs-governance/lint-i18n-sync.js | 4 +- scripts/docs-governance/lint-links.js | 46 ++++++--- scripts/docs-governance/manifest.js | 96 ++++++++++++++++++- .../cluster-management/upgrade.md | 2 +- .../admin-manual/config/fe-config-template.md | 2 +- .../admin-manual/config/fe-config.md | 2 +- .../maint-monitor/disk-capacity.md | 2 +- .../memory-management/be-oom-analysis.md | 2 +- versioned_docs/version-1.2/benchmark/ssb.md | 2 +- versioned_docs/version-1.2/benchmark/tpcds.md | 2 +- versioned_docs/version-1.2/benchmark/tpch.md | 2 +- .../import-scenes/external-table-load.md | 2 +- .../version-1.2/data-table/data-partition.md | 2 +- .../ecosystem/dbt-doris-adapter.md | 2 +- .../ecosystem/flink-doris-connector.md | 2 +- .../version-1.2/ecosystem/hive-bitmap-udf.md | 2 +- .../version-1.2/ecosystem/seatunnel.md | 2 +- versioned_docs/version-1.2/faq/install-faq.md | 2 +- versioned_docs/version-1.2/faq/sql-faq.md | 2 +- .../version-1.2/gettingStarted/quick-start.md | 2 +- .../construct-docker-image.md | 2 +- .../version-1.2/install/k8s-deploy.md | 4 +- .../install/standard-deployment.md | 2 +- .../lakehouse/external-table/jdbc.md | 6 +- .../lakehouse/multi-catalog/jdbc.md | 6 +- .../date-time-functions/day-ceil.md | 2 +- .../date-time-functions/day-floor.md | 2 +- .../sql-functions/table-functions/hdfs.md | 2 +- .../sql-functions/table-functions/s3.md | 4 +- .../Create/CREATE-TABLE.md | 4 +- .../Load/CREATE-ROUTINE-LOAD.md | 2 +- .../Load/MYSQL-LOAD.md | 2 +- .../SHOW-ALTER-TABLE-MATERIALIZED-VIEW.md | 2 +- .../Show-Statements/SHOW-STREAM-LOAD.md | 2 +- .../admin-manual/be/compaction-run.md | 2 +- .../admin-manual/config/fe-config-template.md | 2 +- .../admin-manual/data-admin/backup.md | 4 +- .../maint-monitor/disk-capacity.md | 2 +- versioned_docs/version-2.0/benchmark/ssb.md | 2 +- .../delete/batch-delete-manual.md | 2 +- .../data-operate/delete/truncate-manual.md | 2 +- .../data-operate/import/load-manual.md | 2 +- .../data-operate/import/stream-load-manual.md | 2 +- versioned_docs/version-2.0/ecosystem/datax.md | 2 +- .../ecosystem/dbt-doris-adapter.md | 2 +- .../ecosystem/flink-doris-connector.md | 6 +- .../version-2.0/ecosystem/seatunnel.md | 8 +- .../ecosystem/spark-doris-connector.md | 4 +- versioned_docs/version-2.0/faq/install-faq.md | 2 +- .../version-2.0/gettingStarted/quick-start.md | 2 +- .../lakehouse/database/max-compute.md | 2 +- .../lakehouse/datalake-analytics/hive.md | 2 +- .../lakehouse/datalake-analytics/hudi.md | 8 +- .../lakehouse/lakehouse-overview.md | 4 +- .../practical-guide/log-storage-analysis.md | 2 +- .../query/pipeline-execution-engine.md | 2 +- .../sql-data-types/aggregate/BITMAP.md | 2 +- .../sql-data-types/data-type-overview.md | 12 +-- .../sql-data-types/date-time/DATETIME.md | 2 +- .../date-time-functions/date-ceil.md | 12 +-- .../date-time-functions/date-format.md | 2 + .../date-time-functions/day-ceil.md | 2 +- .../date-time-functions/day-floor.md | 2 +- .../date-time-functions/hour-ceil.md | 2 +- .../date-time-functions/hour-floor.md | 2 +- .../date-time-functions/minute-ceil.md | 2 +- .../date-time-functions/minute-floor.md | 2 +- .../date-time-functions/month-ceil.md | 2 +- .../date-time-functions/month-floor.md | 2 +- .../date-time-functions/str-to-date.md | 2 +- .../date-time-functions/year-ceil.md | 2 +- .../date-time-functions/year-floor.md | 2 +- .../json-functions/json-exists-path.md | 2 +- .../json-functions/json-extract.md | 2 +- .../sql-functions/json-functions/json-type.md | 2 +- .../table-valued-functions/hdfs.md | 6 +- .../table-valued-functions/local.md | 2 +- .../Backup-and-Restore/BACKUP.md | 2 +- .../Create/CREATE-RESOURCE.md | 2 +- .../Create/CREATE-TABLE.md | 6 +- .../Load/BROKER-LOAD.md | 18 ++-- .../Load/STREAM-LOAD.md | 2 +- .../SHOW-ALTER-TABLE-MATERIALIZED-VIEW.md | 2 +- .../Show-Statements/SHOW-FRONTENDS-DISKS.md | 2 +- .../Show-Statements/SHOW-STREAM-LOAD.md | 2 +- .../data-partitioning/manual-partitioning.md | 2 + .../version-2.0/table-design/data-type.md | 6 +- .../version-2.0/table-design/schema-change.md | 2 +- .../auth/authentication-and-authorization.md | 6 +- .../import/import-way/log-storage-analysis.md | 16 ++-- .../import/load-best-practices.md | 2 +- .../version-2.1/data-operate/transaction.md | 2 +- .../doris-operator/doris-operator-overview.md | 2 +- .../ecosystem/flink-doris-connector.md | 2 +- .../lakehouse/catalogs/iceberg-catalog.mdx | 2 +- .../async-materialized-view/faq.md | 2 +- .../async-materialized-view/use-guide.md | 2 +- .../sql-data-types/date-time/DATETIME.md | 2 +- .../sql-data-types/semi-structured/VARIANT.md | 4 +- .../data-modification/DML/UPDATE.md | 2 +- .../backup-and-restore/BACKUP.md | 2 +- .../table-and-view/table/CREATE-TABLE.md | 4 +- .../version-2.1/table-design/overview.md | 2 +- .../auth/authentication-and-authorization.md | 6 +- .../import/import-way/log-storage-analysis.md | 16 ++-- .../import/import-way/routine-load-manual.md | 2 +- .../import/load-best-practices.md | 2 +- .../version-3.x/data-operate/transaction.md | 2 +- .../doris-operator/doris-operator-overview.md | 2 +- .../ecosystem/flink-doris-connector.md | 2 +- .../config-cluster.md | 2 +- .../install/preparation/cluster-planning.md | 4 +- .../version-3.x/lakehouse/catalog-overview.md | 4 +- .../lakehouse/catalogs/iceberg-catalog.mdx | 2 +- .../version-3.x/lakehouse/file-analysis.md | 2 +- .../async-materialized-view/faq.md | 2 +- .../async-materialized-view/use-guide.md | 2 +- .../sql-data-types/date-time/DATETIME.md | 2 +- .../data-modification/DML/UPDATE.md | 2 +- .../backup-and-restore/BACKUP.md | 2 +- .../table/ALTER-TABLE-PROPERTY.md | 2 +- .../table-and-view/table/CREATE-TABLE.md | 4 +- .../data-partitioning/auto-partitioning.md | 2 +- .../version-3.x/table-design/overview.md | 2 +- .../auth/integrations/aws-iam-role.md | 2 +- .../memory-analysis/query-memory-analysis.md | 2 +- versioned_docs/version-4.x/ai/ai-overview.md | 2 +- .../file-cache/file-cache.md | 2 +- .../data-integration/flink-doris-connector.md | 2 +- .../import/data-source/amazon-s3.md | 4 +- .../import/data-source/bigquery.md | 2 +- .../import/data-source/snowflake.md | 4 +- .../import/import-way/routine-load-manual.md | 4 +- .../import/import-way/stream-load-manual.md | 4 +- .../continuous-load-mysql-table.md | 2 +- .../load-best-practices.md | 6 +- .../version-4.x/data-operate/transaction.md | 2 +- .../install-config-cluster.md | 6 +- .../config-cluster.md | 2 +- .../separating-storage-compute/config-fe.md | 4 +- .../lakehouse/catalogs/iceberg-catalog.mdx | 2 +- .../version-4.x/lakehouse/meta-cache.md | 4 +- .../version-4.x/observability/log.md | 2 +- .../date-time-functions/utc-time.md | 2 +- .../other-functions/default.md | 2 +- .../compute-management/CREATE-RESOURCE.md | 2 +- .../data-modification/DML/UPDATE.md | 2 +- .../backup-and-restore/CREATE-REPOSITORY.md | 4 +- .../table/ALTER-TABLE-PROPERTY.md | 2 +- .../table-and-view/table/CREATE-TABLE.md | 4 +- .../data-partitioning/auto-partitioning.md | 2 +- .../data-partitioning/basic-concepts.mdx | 2 +- .../version-4.x/table-design/data-type.md | 2 +- 650 files changed, 1612 insertions(+), 1042 deletions(-) create mode 100644 scripts/docs-governance/__fixtures__/repo/src/pages/download/index.tsx diff --git a/.github/workflows/build-check.yml b/.github/workflows/build-check.yml index 592d12d78cfaf..7ee066c535bbe 100644 --- a/.github/workflows/build-check.yml +++ b/.github/workflows/build-check.yml @@ -239,14 +239,8 @@ jobs: rm -rf build - name: Docs changed link gate - continue-on-error: true run: | - # Report-only: the bulk-rename in the new-homepage launch PR - # exposes ~30 latent anchor/link issues that pre-date this - # change. They're being chipped away in follow-up PRs and - # should not block the launch. The full findings still write - # to the report file below for audit. - yarn docs:links:changed --output website-quality-governance/generated/docs-links-report.json + yarn docs:links:changed --fail-on-errors --output website-quality-governance/generated/docs-links-report.json - name: Docs governance report if: always() diff --git a/blog/Annoucing.md b/blog/Annoucing.md index 4622f9ad81450..502c95a23afd8 100644 --- a/blog/Annoucing.md +++ b/blog/Annoucing.md @@ -49,7 +49,7 @@ Once again, we sincerely thank all contributors who participated in the construc **Please contact us via:** -[dev@doris.apache.org.](dev@doris.apache.org.) +[dev@doris.apache.org](mailto:dev@doris.apache.org) **See How to subscribe:** diff --git a/blog/release-note-1.1.0.md b/blog/release-note-1.1.0.md index 01746fd8cae5b..c750a7a8fce0e 100644 --- a/blog/release-note-1.1.0.md +++ b/blog/release-note-1.1.0.md @@ -177,7 +177,7 @@ If you encounter any problems with use, please feel free to contact us through G GitHub Forum: [https://github.com/apache/doris/discussions](https://github.com/apache/doris/discussions) -Mailing list: [dev@doris.apache.org](dev@doris.apache.org) +Mailing list: [dev@doris.apache.org](mailto:dev@doris.apache.org) ## Thanks diff --git a/blog/release-note-2.1.6.md b/blog/release-note-2.1.6.md index d3c29456054c6..046a8b1cf5662 100644 --- a/blog/release-note-2.1.6.md +++ b/blog/release-note-2.1.6.md @@ -525,4 +525,4 @@ When upgrading Doris, please follow the principle of not skipping two minor vers For example, if you are upgrading from version 0.15.x to 2.0.x, it is recommended to first upgrade to the latest version of 1.1, then upgrade to the latest version of 1.2, and finally upgrade to the latest version of 2.0. -For more upgrade information, see the documentation: [Cluster Upgrade](../../admin-manual/cluster-management/upgrade) \ No newline at end of file +For more upgrade information, see the documentation: [Cluster Upgrade](../versioned_docs/version-2.1/admin-manual/cluster-management/upgrade.md) \ No newline at end of file diff --git a/blog/ssb.md b/blog/ssb.md index f0bd20b7c438d..f8bbd1801f412 100644 --- a/blog/ssb.md +++ b/blog/ssb.md @@ -133,7 +133,7 @@ Here we use Apache Doris 1.2.0-rc01, Apache Doris 1.1.3 and Apache Doris 0.15.0 ## 6. Environment Preparation -Please first refer to the [official documentation](../install/deploy-manually/storage-compute-decoupled-deploy-manually) to install and deploy Apache Doris first to obtain a Doris cluster which is working well(including at least 1 FE 1 BE, 1 FE 3 BEs is recommended). +Please first refer to the [official documentation](../docs/install/deploy-manually/separating-storage-compute-deploy-manually.md) to install and deploy Apache Doris first to obtain a Doris cluster which is working well(including at least 1 FE 1 BE, 1 FE 3 BEs is recommended). The scripts mentioned in the following documents are stored in the Apache Doris codebase: [ssb-tools](https://github.com/apache/doris/tree/master/tools/ssb-tools) diff --git a/docs/admin-manual/auth/integrations/aws-iam-role.md b/docs/admin-manual/auth/integrations/aws-iam-role.md index b32d3ca02174a..6eb7e1d64c19c 100644 --- a/docs/admin-manual/auth/integrations/aws-iam-role.md +++ b/docs/admin-manual/auth/integrations/aws-iam-role.md @@ -156,4 +156,4 @@ Key parameters: | `s3.external_id` | No | The externalId value configured in the Trust Relationships Policies | | `timeout` | No | Operation timeout, in seconds | -For detailed usage of SQL statements for more features, see [AWS Authentication and Authorization](../../../admin-manual/auth/integrations/aws-authentication-and-authorization#assumed-role-authentication). +For detailed usage of SQL statements for more features, see [AWS Authentication and Authorization](../../../admin-manual/auth/integrations/aws-authentication-and-authorization#assumed-role-authentication-and-authorization). diff --git a/docs/admin-manual/trouble-shooting/memory-management/memory-analysis/query-memory-analysis.md b/docs/admin-manual/trouble-shooting/memory-management/memory-analysis/query-memory-analysis.md index 80d001a6024e9..604b1c329426a 100644 --- a/docs/admin-manual/trouble-shooting/memory-management/memory-analysis/query-memory-analysis.md +++ b/docs/admin-manual/trouble-shooting/memory-management/memory-analysis/query-memory-analysis.md @@ -26,7 +26,7 @@ The memory statistics of historical queries can be viewed in `peakMemoryBytes` o ## Use Query Profile to analyze query memory usage -Find query information including SQL in `fe/log/fe.audit.log` based on QueryID, get the query plan by `explain SQL`, and get the query profile by executing SQL after `set enable_profile=true`. For a detailed introduction to Query Profile, refer to the document [Query Profile](../../../../query-acceleration/performance-tuning-overview/analysis-tools#doris-profile). Here we only introduce the memory-related content in Query Profile, and locate the Operator and data structure that use a lot of memory based on it. +Find query information including SQL in `fe/log/fe.audit.log` based on QueryID, get the query plan by `explain SQL`, and get the query profile by executing SQL after `set enable_profile=true`. For a detailed introduction to Query Profile, refer to the document [Query Profile](../../../../query-acceleration/performance-tuning-overview/analysis-tools#doris-profile-analyzing-execution-layer-bottlenecks). Here we only introduce the memory-related content in Query Profile, and locate the Operator and data structure that use a lot of memory based on it. 1. Locate Operators or memory data structures that use a lot of memory diff --git a/docs/ai/ai-overview.md b/docs/ai/ai-overview.md index a145274c359a1..ce24d30eb3dc5 100644 --- a/docs/ai/ai-overview.md +++ b/docs/ai/ai-overview.md @@ -30,7 +30,7 @@ The following table lists common AI scenarios and the corresponding capabilities | Let AI Agents query business data in real time | [Agent Facing Analytics](#agent-facing-analytics) | MPP architecture, millisecond-level queries, MCP Server | | Run keyword search, vector search, and aggregation on the same data | [Hybrid search and analytics](#hybrid-search-and-analytics-processing) | Inverted index + vector index + SQL | | Accelerate AI training data preparation and feature engineering | [Lakehouse for AI](#lakehouse-for-ai) | Lakehouse architecture, open table formats, fast SQL | -| Build enterprise knowledge bases and intelligent customer service | [RAG applications](#ragretrieval-augmented-generation) | High-concurrency vector retrieval, hybrid search | +| Build enterprise knowledge bases and intelligent customer service | [RAG applications](#rag-retrieval-augmented-generation) | High-concurrency vector retrieval, hybrid search | | Monitor model training and inference services | [AI Observability](#ai-observability) | High-throughput ingestion, inverted index, low storage cost | | Make search understand user intent | [Semantic search](#semantic-search) | HNSW/IVF, quantization, multimodal extensions | diff --git a/docs/compute-storage-decoupled/file-cache/file-cache.md b/docs/compute-storage-decoupled/file-cache/file-cache.md index 817371586b8a7..e6ae204132071 100644 --- a/docs/compute-storage-decoupled/file-cache/file-cache.md +++ b/docs/compute-storage-decoupled/file-cache/file-cache.md @@ -305,7 +305,7 @@ Cache-related metrics in the SQL Profile are located under the `SegmentIterator` | `RemoteIOUseTimer` | Time spent reading from remote storage | | `WriteCacheIOUseTimer` | Time spent writing into the file cache | -You can view the complete query performance report through [Query Performance Analysis](../../query-acceleration/performance-tuning-overview/analysis-tools#doris-profile). +You can view the complete query performance report through [Query Performance Analysis](../../query-acceleration/performance-tuning-overview/analysis-tools#doris-profile-analyzing-execution-layer-bottlenecks). ## TTL Cache Policy diff --git a/docs/connection-integration/data-integration/flink-doris-connector.md b/docs/connection-integration/data-integration/flink-doris-connector.md index 1e3bcff05c6c5..72a92e0c5158b 100644 --- a/docs/connection-integration/data-integration/flink-doris-connector.md +++ b/docs/connection-integration/data-integration/flink-doris-connector.md @@ -819,7 +819,7 @@ After the Flink cluster is started, you can run the corresponding command accord | sink.label-prefix | -- | Y | The label prefix used for Stream Load imports. In 2pc scenarios, it must be globally unique to guarantee the EOS semantics of Flink. | | sink.properties.* | -- | N | Stream Load import parameters. For example: `'sink.properties.column_separator' = ', '` defines the column separator; `'sink.properties.escape_delimiters' = 'true'` indicates that special characters are used as separators, and `\x01` will be converted to the binary `0x01`; for JSON-format imports: `'sink.properties.format' = 'json'`, `'sink.properties.read_json_by_line' = 'true'`. For detailed parameters, see [Stream Load](../../data-operate/import/import-way/stream-load-manual.md#import-configuration-parameters). Group Commit mode: `'sink.properties.group_commit' = 'sync_mode'` sets group commit to synchronous mode. Flink Connector supports configuring group commit for imports starting from 1.6.2. For detailed usage and limitations, see [Group Commit](../../data-operate/import/load-best-practices/group-commit-manual.md). Since 26.1.0, gz compression is enabled by default for Stream Load; it can be disabled by setting `'sink.properties.compress_type' = ''`. | | sink.enable-delete | TRUE | N | Whether to enable deletion. This option requires the Doris table to have batch deletion enabled (enabled by default in Doris 0.15+) and only supports the Unique model. | -| sink.enable-2pc | TRUE | N | Whether to enable two-phase commit (2pc). The default is true, which guarantees Exactly-Once semantics. For information on two-phase commit, see [Stream Load 2PC](../../data-operate/transaction.md#streamload-2pc). | +| sink.enable-2pc | TRUE | N | Whether to enable two-phase commit (2pc). The default is true, which guarantees Exactly-Once semantics. For information on two-phase commit, see [Stream Load 2PC](../../data-operate/transaction.md#stream-load-2pc). | | sink.buffer-size | 1MB | N | Buffer size for the write data cache, in bytes. Modifying this is not recommended; the default configuration is sufficient. | | sink.buffer-count | 3 | N | Number of write data cache buffers. Modifying this is not recommended; the default configuration is sufficient. | | sink.max-retries | 3 | N | The maximum number of retries after a Commit failure. The default is 3. | diff --git a/docs/data-operate/import/data-source/amazon-s3.md b/docs/data-operate/import/data-source/amazon-s3.md index 9db7d21a2e800..dd9a9ceb665c4 100644 --- a/docs/data-operate/import/data-source/amazon-s3.md +++ b/docs/data-operate/import/data-source/amazon-s3.md @@ -223,7 +223,7 @@ mysql> select * from test_s3load; -In addition to using Access Key / Secret Key, Doris also supports authenticating S3 Load and TVF via `AWS Assume Role`. This is suitable for enterprises with restrictions on distributing credentials. For detailed configuration, see [AWS Integration - Assumed Role Authentication](../../../admin-manual/auth/integrations/aws-authentication-and-authorization.md#assumed-role-authentication). +In addition to using Access Key / Secret Key, Doris also supports authenticating S3 Load and TVF via `AWS Assume Role`. This is suitable for enterprises with restrictions on distributing credentials. For detailed configuration, see [AWS Integration - Assumed Role Authentication](../../../admin-manual/auth/integrations/aws-authentication-and-authorization.md#assumed-role-authentication-and-authorization). ## FAQ @@ -263,4 +263,4 @@ Increase `timeout` in `PROPERTIES` (in seconds) appropriately. The example uses ## Related documents - [Broker Load Manual](../import-way/broker-load-manual.md) -- [AWS Integration - Assumed Role Authentication](../../../admin-manual/auth/integrations/aws-authentication-and-authorization.md#assumed-role-authentication) +- [AWS Integration - Assumed Role Authentication](../../../admin-manual/auth/integrations/aws-authentication-and-authorization.md#assumed-role-authentication-and-authorization) diff --git a/docs/data-operate/import/data-source/bigquery.md b/docs/data-operate/import/data-source/bigquery.md index ed0c4954bace0..b2e276dec5527 100644 --- a/docs/data-operate/import/data-source/bigquery.md +++ b/docs/data-operate/import/data-source/bigquery.md @@ -228,7 +228,7 @@ Reason: column_name[country], the length of input is too long than schema. first Reason: column_name[country], the length of input is too long than schema. first 32 bytes of input str: [Australia] schema length: 1; actual length: 9; . src line []; ``` -For data quality errors, if skipping some erroneous rows is acceptable, set the error tolerance ratio in the S3 Load `PROPERTIES`. For details on the parameters, see [Load configuration parameters](../../import/import-way/broker-load-manual.md#related-configurations). +For data quality errors, if skipping some erroneous rows is acceptable, set the error tolerance ratio in the S3 Load `PROPERTIES`. For details on the parameters, see [Load configuration parameters](../../import/import-way/broker-load-manual.md#advanced-configuration). #### 3.4 Import data from multiple files diff --git a/docs/data-operate/import/data-source/snowflake.md b/docs/data-operate/import/data-source/snowflake.md index 17306ad476eaf..9125031ade3c8 100644 --- a/docs/data-operate/import/data-source/snowflake.md +++ b/docs/data-operate/import/data-source/snowflake.md @@ -250,7 +250,7 @@ Reason: column_name[country], the length of input is too long than schema. first Reason: column_name[country], the length of input is too long than schema. first 32 bytes of input str: [Australia] schema length: 1; actual length: 9; . src line []; ``` -For data quality errors, if some erroneous data is allowed to be skipped, you can set the error tolerance ratio in the `PROPERTIES` of the S3 Load job. For details, see [Import Configuration Parameters](../../import/import-way/broker-load-manual.md#related-configurations). +For data quality errors, if some erroneous data is allowed to be skipped, you can set the error tolerance ratio in the `PROPERTIES` of the S3 Load job. For details, see [Import Configuration Parameters](../../import/import-way/broker-load-manual.md#advanced-configuration). #### 3.4 Batch Import Multiple Partitions @@ -303,4 +303,4 @@ Doris does not have a type that fully corresponds to Snowflake's `TIME`. Therefo - [Azure Load](./azure-storage.md) - [TVF Load](./amazon-s3.md#method-2-load-with-tvf-synchronous) - [Load Best Practices](../load-best-practices/load-best-practices.md) -- [Import Configuration Parameters](../../import/import-way/broker-load-manual.md#related-configurations) +- [Import Configuration Parameters](../../import/import-way/broker-load-manual.md#advanced-configuration) diff --git a/docs/data-operate/import/import-way/routine-load-manual.md b/docs/data-operate/import/import-way/routine-load-manual.md index 398101f8c3ebe..5d9cc995842d2 100644 --- a/docs/data-operate/import/import-way/routine-load-manual.md +++ b/docs/data-operate/import/import-way/routine-load-manual.md @@ -451,7 +451,7 @@ The specific parameter options of the `job_properties` clause are as follows: | max_batch_rows | The maximum number of rows each subtask can read. Must be greater than or equal to 200000. The default is 20000000. `max_batch_interval`, `max_batch_rows`, and `max_batch_size` together form the subtask execution threshold. When any one of them is reached, the import subtask ends and a new subtask is generated. | | max_batch_size | The maximum number of bytes each subtask can read. The unit is bytes, the range is 100 MB to 1 GB, and the default is 1 GB. `max_batch_interval`, `max_batch_rows`, and `max_batch_size` together form the subtask execution threshold. When any one of them is reached, the import subtask ends and a new subtask is generated. | | max_error_number | The maximum number of error rows allowed within the sampling window. Must be greater than or equal to 0. The default is 0 (no error rows are allowed). The sampling window is `max_batch_rows * 10`. If the number of error rows in the sampling window exceeds `max_error_number`, the routine load job is paused. Manual intervention is required to check data quality issues. The data quality issues can be checked through the `ErrorLogUrls` field in the [SHOW ROUTINE LOAD](../../../sql-manual/sql-statements/data-modification/load-and-export/SHOW-ROUTINE-LOAD) command. Rows filtered out by the where condition are not counted as error rows. | -| strict_mode | Whether to enable strict mode. Disabled by default. Strict mode means strict filtering of column type conversions during import. When enabled, if a non-null original data value becomes NULL after a column type conversion, it is filtered out.

Filtering policy:

- Strict Mode does not affect derived columns (those generated by function transformation).

- When a column type needs conversion, data of the wrong type is filtered out. You can view it in `ErrorLogUrls` of [SHOW ROUTINE LOAD](../../../sql-manual/sql-statements/data-modification/load-and-export/SHOW-ROUTINE-LOAD).

- For an imported column type that has range restrictions, if the original data passes type conversion but cannot pass the range restriction, strict mode does not affect it. For example, if the type is `decimal(1,0)` and the original data is 10, the data passes type conversion but is not in the declared range of the column. For details, see [Strict Mode](../../../data-operate/import/handling-messy-data#strict-mode).

| +| strict_mode | Whether to enable strict mode. Disabled by default. Strict mode means strict filtering of column type conversions during import. When enabled, if a non-null original data value becomes NULL after a column type conversion, it is filtered out.

Filtering policy:

- Strict Mode does not affect derived columns (those generated by function transformation).

- When a column type needs conversion, data of the wrong type is filtered out. You can view it in `ErrorLogUrls` of [SHOW ROUTINE LOAD](../../../sql-manual/sql-statements/data-modification/load-and-export/SHOW-ROUTINE-LOAD).

- For an imported column type that has range restrictions, if the original data passes type conversion but cannot pass the range restriction, strict mode does not affect it. For example, if the type is `decimal(1,0)` and the original data is 10, the data passes type conversion but is not in the declared range of the column. For details, see [Strict Mode](../../../data-operate/import/handling-messy-data#enabling-strict-mode).

| | timezone | Specifies the timezone used by the import job. The default is the session's timezone parameter. This parameter affects the results of all timezone-related functions involved in the import. | | format | Specifies the format of the import data. The default is CSV. JSON format is supported. | | jsonpaths | When the import data format is JSON, you can use `jsonpaths` to specify the fields to extract from the JSON data. For example: `"jsonpaths" = "[\"$.userid\",\"$.username\",\"$.age\",\"$.city\"]"` | @@ -460,7 +460,7 @@ The specific parameter options of the `job_properties` clause are as follows: | send_batch_parallelism | Sets the parallelism for sending batch data. If the parallelism value exceeds the BE configuration `max_send_batch_parallelism_per_job`, the BE acting as the coordinator uses the value of `max_send_batch_parallelism_per_job`. | | load_to_single_tablet | Supports importing data from a task into only one tablet of the corresponding partition. The default is false. This parameter can only be set when importing data into an OLAP table with random bucketing. | | partial_columns | Specifies whether to enable partial column update. The default is false. This parameter can only be set when the table model is Unique and uses Merge on Write. Single-stream multi-table imports do not support this parameter. For details, see [Partial Column Update](../../../data-operate/update/partial-column-update.md). | -| unique_key_update_mode | Specifies the update mode of a Unique Key table. Options:For details, see [Partial Column Update](../../../data-operate/update/partial-column-update#flexible-partial-column-update). | +| unique_key_update_mode | Specifies the update mode of a Unique Key table. Options:For details, see [Partial Column Update](../../../data-operate/update/partial-column-update#flexible-column-update). | | partial_update_new_key_behavior | The handling of newly inserted rows when performing partial column updates on a Unique Merge on Write table. Two types: `APPEND` and `ERROR`.
- `APPEND`: allow inserting new rows.
- `ERROR`: when inserting a new row, the import fails and an error is reported. | | max_filter_ratio | The maximum filter ratio allowed within the sampling window. Must be greater than or equal to 0 and less than or equal to 1. The default value is 1.0, which means any error rows are tolerated. The sampling window is `max_batch_rows * 10`. If the number of error rows / total rows in the sampling window exceeds `max_filter_ratio`, the routine load job is paused. Manual intervention is required to check data quality issues. Rows filtered out by the where condition are not counted as error rows. | | enclose | Specifies the enclosing character. When CSV data fields contain row separators or column separators, you can specify a single-byte character as the enclosing character to prevent unintended truncation. For example, if the column separator is `,` and the enclosing character is `'`, then for the data `a,'b,c'`, `b,c` is parsed as a single field. | diff --git a/docs/data-operate/import/import-way/stream-load-manual.md b/docs/data-operate/import/import-way/stream-load-manual.md index beb7f51831e79..0c104d77ea66f 100644 --- a/docs/data-operate/import/import-way/stream-load-manual.md +++ b/docs/data-operate/import/import-way/stream-load-manual.md @@ -369,7 +369,7 @@ Import parameters can be passed through the HTTP Header. The parameters are desc | enclose | Specifies the enclosing character. When the CSV data fields contain line or column separators, you can specify a single-byte character as the enclosing character to prevent unintended truncation. For example, with the column separator `,` and the enclosing character `'`, given the data `"a,'b,c'"`, then `b,c` is parsed as one field. Note: when `enclose` is set to `"`, `trim_double_quotes` must be set to true. | | escape | Specifies the escape character. Used to escape characters in fields that are the same as the enclosing character. For example, with the data `"a,'b,'c'"` and the enclosing character `'`, to parse `b,'c` as one field, specify a single-byte escape character such as `\\` and modify the data to `"a,'b,\\'c'"`. | | memtable_on_sink_node | Whether to enable MemTable forward when importing data. The default is false. | -| unique_key_update_mode | The update mode on a Unique table. Currently effective only for Merge-On-Write Unique tables. Three types are supported: `UPSERT`, `UPDATE_FIXED_COLUMNS`, and `UPDATE_FLEXIBLE_COLUMNS`. `UPSERT`: imports data with upsert semantics. `UPDATE_FIXED_COLUMNS`: imports data using [partial column update](../../../data-operate/update/partial-column-update.md#column-update-on-the-primary-key-model). `UPDATE_FLEXIBLE_COLUMNS`: imports data using [flexible partial column update](../../../data-operate/update/partial-column-update.md#flexible-partial-column-update). | +| unique_key_update_mode | The update mode on a Unique table. Currently effective only for Merge-On-Write Unique tables. Three types are supported: `UPSERT`, `UPDATE_FIXED_COLUMNS`, and `UPDATE_FLEXIBLE_COLUMNS`. `UPSERT`: imports data with upsert semantics. `UPDATE_FIXED_COLUMNS`: imports data using [partial column update](../../../data-operate/update/partial-column-update.md#column-update-on-the-unique-key-model). `UPDATE_FLEXIBLE_COLUMNS`: imports data using [flexible partial column update](../../../data-operate/update/partial-column-update.md#flexible-column-update). | | partial_update_new_key_behavior | The way newly inserted rows are handled when performing partial column updates or flexible column updates on a Unique table. Two types are available: `APPEND` and `ERROR`.
- `APPEND`: allows new rows to be inserted.
- `ERROR`: import fails and reports an error when inserting a new row. | ### Import return value @@ -1058,7 +1058,7 @@ Doris supports rich column transformation and filtering operations in import sta ### Enable strict mode for import -The `strict_mode` property is used to set whether the import task runs in strict mode. This property affects the results of column mapping, transformation, and filtering. For more about strict mode, see the [Strict mode](../handling-messy-data#strict-mode) documentation. +The `strict_mode` property is used to set whether the import task runs in strict mode. This property affects the results of column mapping, transformation, and filtering. For more about strict mode, see the [Strict mode](../handling-messy-data#enabling-strict-mode) documentation. ### Perform partial column update or flexible partial column update during import diff --git a/docs/data-operate/import/import-way/streaming-job/continuous-load-mysql-table.md b/docs/data-operate/import/import-way/streaming-job/continuous-load-mysql-table.md index e0efb2224f679..01f010f9552cf 100644 --- a/docs/data-operate/import/import-way/streaming-job/continuous-load-mysql-table.md +++ b/docs/data-operate/import/import-way/streaming-job/continuous-load-mysql-table.md @@ -102,7 +102,7 @@ The MySQL data source parameters supported by CDC Stream TVF are as follows: | --------- | ------- | ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | | session.* | None | All session variables can be configured under `job_properties`. For import variables, see [Insert Into Select](../../../../data-operate/import/import-way/insert-into-manual.md#import-configuration-parameters) | -For more general parameters (such as `max_interval`), see the [Continuous Import Overview](./continuous-load-overview.md#general-parameters). +For more general parameters (such as `max_interval`), see the [Continuous Import Overview](./continuous-load-overview.md#common-parameters). ## FAQ diff --git a/docs/data-operate/import/load-best-practices/load-best-practices.md b/docs/data-operate/import/load-best-practices/load-best-practices.md index 9760c6a76d366..a24608f5ae544 100644 --- a/docs/data-operate/import/load-best-practices/load-best-practices.md +++ b/docs/data-operate/import/load-best-practices/load-best-practices.md @@ -116,7 +116,7 @@ When using Random bucketing, you can enable single-tablet load mode by setting ` - Concentrating writes on a single Tablet reduces the generation of small Segment files and avoids the write amplification caused by frequent Compaction. - It significantly improves the concurrency and throughput of large-scale data load. -For details, see [Random Bucketing](../../../table-design/data-partitioning/data-bucketing#random-bucketing). +For details, see [Random Bucketing](../../../table-design/data-partitioning/data-bucketing#2-random-bucketing). ### Batching Strategy @@ -162,7 +162,7 @@ Concurrency strategies vary by file type: - **Compressed files / Parquet / ORC files**: split into multiple smaller files before loading to enable concurrent loads. - **Uncompressed CSV and JSON files**: Doris automatically splits the files internally and loads them concurrently. -For the concurrency strategy, see [Broker Load Configuration Parameters](../import-way/broker-load-manual#load-configuration-parameters). +For the concurrency strategy, see [Broker Load Configuration Parameters](../import-way/broker-load-manual#import-configuration-parameters). ### Stream Load Concurrency @@ -279,7 +279,7 @@ Therefore, while meeting the latency requirements of your business, **maximize t #### Flink End-to-End Latency -The test uses the Flink Connector in batched-write mode, focusing on end-to-end latency and load throughput. The batching interval is controlled by the Flink Connector parameter `sink.buffer-flush.interval`. For details on using the Flink Connector, see [Flink-Doris-Connector](../../../connection-integration/data-integration/flink-doris-connector#usage). +The test uses the Flink Connector in batched-write mode, focusing on end-to-end latency and load throughput. The batching interval is controlled by the Flink Connector parameter `sink.buffer-flush.interval`. For details on using the Flink Connector, see [Flink-Doris-Connector](../../../connection-integration/data-integration/flink-doris-connector#use-cases). **Machine configuration:** diff --git a/docs/data-operate/transaction.md b/docs/data-operate/transaction.md index d0d6f4727382e..08bbd9483656b 100644 --- a/docs/data-operate/transaction.md +++ b/docs/data-operate/transaction.md @@ -52,7 +52,7 @@ A Label is typically set in the format `business logic + time`, such as `my_busi #### StreamLoad 2PC -[StreamLoad 2PC](#stream-load) is mainly used to support EOS semantics when Flink writes to Doris. +[StreamLoad 2PC](#stream-load-2pc) is mainly used to support EOS semantics when Flink writes to Doris. ## Explicit Transaction Operations diff --git a/docs/install/deploy-on-kubernetes/integrated-storage-compute/install-config-cluster.md b/docs/install/deploy-on-kubernetes/integrated-storage-compute/install-config-cluster.md index eea2184871df6..9ccb65c06c055 100644 --- a/docs/install/deploy-on-kubernetes/integrated-storage-compute/install-config-cluster.md +++ b/docs/install/deploy-on-kubernetes/integrated-storage-compute/install-config-cluster.md @@ -684,7 +684,7 @@ mysql -h ac4828493dgrftb884g67wg4tb68gyut-1137856348.us-east-1.elb.amazonaws.com ## Configure Admin Username and Password -Doris node management requires connecting to a live FE node via the MySQL protocol with a username and password. Doris implements an [RBAC-like permission management mechanism](../../../admin-manual/auth/authentication-and-authorization). Node management requires the user to have [Node_priv](../../../admin-manual/auth/authentication-and-authorization#permission-types) privilege. By default, Doris Operator deploys and manages the cluster configured by the DorisCluster resource using the root user with all privileges and no password. After a password is set for the root user, you must explicitly configure a username and password with Node_Priv privilege in the DorisCluster resource so that Doris Operator can perform automated management on the cluster. +Doris node management requires connecting to a live FE node via the MySQL protocol with a username and password. Doris implements an [RBAC-like permission management mechanism](../../../admin-manual/auth/authentication-and-authorization). Node management requires the user to have [Node_priv](../../../admin-manual/auth/authentication-and-authorization#permission-levels) privilege. By default, Doris Operator deploys and manages the cluster configured by the DorisCluster resource using the root user with all privileges and no password. After a password is set for the root user, you must explicitly configure a username and password with Node_Priv privilege in the DorisCluster resource so that Doris Operator can perform automated management on the cluster. The DorisCluster resource provides two ways to configure the username and password used to manage cluster nodes: configuration via environment variables, and configuration via [Secret](https://kubernetes.io/docs/concepts/configuration/secret/). There are 3 scenarios for configuring the cluster admin username and password: @@ -851,7 +851,7 @@ During the first deployment, if you do not set the root initialization password, ### Set the Root User Password After Cluster Deployment -After a Doris cluster is deployed, if no password has been set for the root user, you need to configure a user with [Node_priv](../../../admin-manual/auth/authentication-and-authorization.md#permission-types) privilege so that Doris Operator can manage cluster nodes automatically. It is recommended not to use the root user. Refer to the [user creation and privilege grant section](../../../sql-manual/sql-statements/account-management/CREATE-USER) to create a new user and grant Node_priv privilege. After creating the user, configure the new admin user and password via environment variables or a Secret, and set them in the DorisCluster resource. +After a Doris cluster is deployed, if no password has been set for the root user, you need to configure a user with [Node_priv](../../../admin-manual/auth/authentication-and-authorization.md#permission-levels) privilege so that Doris Operator can manage cluster nodes automatically. It is recommended not to use the root user. Refer to the [user creation and privilege grant section](../../../sql-manual/sql-statements/account-management/CREATE-USER) to create a new user and grant Node_priv privilege. After creating the user, configure the new admin user and password via environment variables or a Secret, and set them in the DorisCluster resource. #### Step 1: Create a User With Node_priv Privilege @@ -973,7 +973,7 @@ Doris Operator uses a `ConfigMap` resource to mount the krb5.conf file, and a `S keytabSecretName: ${keytabSecretName} keytabPath: ${keytabPath} ``` - ${krb5ConfigMapName} is the name of the ConfigMap that contains the `krb5.conf` file to use. ${keytabSecretName} is the name of the Secret that contains the keytab file. ${keytabPath} is the path where the Secret is mounted into the container. This path is the directory where the keytab file resides, as specified by `hadoop.kerberos.keytab` when creating the catalog. For creating a catalog, refer to the [Hive Catalog](../../../lakehouse/catalogs/hive-catalog.mdx#configure-catalog) documentation. + ${krb5ConfigMapName} is the name of the ConfigMap that contains the `krb5.conf` file to use. ${keytabSecretName} is the name of the Secret that contains the keytab file. ${keytabPath} is the path where the Secret is mounted into the container. This path is the directory where the keytab file resides, as specified by `hadoop.kerberos.keytab` when creating the catalog. For creating a catalog, refer to the [Hive Catalog](../../../lakehouse/catalogs/hive-catalog.mdx#configuring-catalog) documentation. ## Configure Shared Storage Starting from version 25.4.0, Doris Operator supports mounting a `ReadWriteMany` shared storage to all Pods of multiple components. Before use, create the shared storage `PersistentVolume` and `PersistentVolumeClaim` resources in advance. Configure the `DorisCluster` resource as follows before deploying the Doris cluster: diff --git a/docs/install/deploy-on-kubernetes/separating-storage-compute/config-cluster.md b/docs/install/deploy-on-kubernetes/separating-storage-compute/config-cluster.md index f8c6a9ed18cef..0aea48afc486f 100644 --- a/docs/install/deploy-on-kubernetes/separating-storage-compute/config-cluster.md +++ b/docs/install/deploy-on-kubernetes/separating-storage-compute/config-cluster.md @@ -395,4 +395,4 @@ spec: ### Step 4: Use Kerberos authentication in Hive Catalog -Once Kerberos is configured, you can enable Kerberos authentication when creating a Hive Catalog. For specific configuration, refer to the [Hive Catalog configuration documentation](../../../lakehouse/catalogs/hive-catalog#配置-catalog). +Once Kerberos is configured, you can enable Kerberos authentication when creating a Hive Catalog. For specific configuration, refer to the [Hive Catalog configuration documentation](../../../lakehouse/catalogs/hive-catalog#configuring-catalog). diff --git a/docs/install/deploy-on-kubernetes/separating-storage-compute/config-fe.md b/docs/install/deploy-on-kubernetes/separating-storage-compute/config-fe.md index 67e8d0780021f..f62b7341d5ccd 100644 --- a/docs/install/deploy-on-kubernetes/separating-storage-compute/config-fe.md +++ b/docs/install/deploy-on-kubernetes/separating-storage-compute/config-fe.md @@ -44,7 +44,7 @@ spec: memory: 8Gi ``` -Apply this configuration to the [`DorisDisaggregatedCluster` resource you want to deploy](./install-doris-cluster.md#configure-the-dorisdisaggregatedcluster-resource). +Apply this configuration to the [`DorisDisaggregatedCluster` resource you want to deploy](./install-doris-cluster.md#step-3-deploy-the-compute-storage-decoupled-cluster). ## Configure the number of Follower nodes @@ -123,7 +123,7 @@ Parameter description: ### Step 3: Reference the ConfigMap in DorisDisaggregatedCluster -Update the [`DorisDisaggregatedCluster` resource](./install-doris-cluster.md#configure-the-dorisdisaggregatedcluster-resource) and mount the ConfigMap through the `feSpec.configMaps` array, as shown below: +Update the [`DorisDisaggregatedCluster` resource](./install-doris-cluster.md#step-3-deploy-the-compute-storage-decoupled-cluster) and mount the ConfigMap through the `feSpec.configMaps` array, as shown below: ```yaml spec: diff --git a/docs/lakehouse/catalogs/iceberg-catalog.mdx b/docs/lakehouse/catalogs/iceberg-catalog.mdx index d7776fad973e8..23ea3ede66aa5 100644 --- a/docs/lakehouse/catalogs/iceberg-catalog.mdx +++ b/docs/lakehouse/catalogs/iceberg-catalog.mdx @@ -2760,7 +2760,7 @@ EXECUTE rewrite_data_files ( 1. The `rewrite_data_files` operation reads and rewrites data files, which incurs additional I/O and computing overhead. Please allocate cluster resources appropriately. 2. Before execution, you can use SQL from the [View Data File Distribution](#view-data-file-distribution) section to evaluate whether rewriting is necessary 3. WHERE conditions can be used to limit the partitions or data range for rewriting. This condition filters out files that don't contain data matching the WHERE condition, reducing the number of files and amount of data to rewrite -4. Before execution, you can use SQL from the [Rewrite File Selection Logic](#rewrite-file-selection-logic) section to calculate which files will be rewritten +4. Before execution, you can use SQL from the [Rewrite File Selection Logic](#rewrite_data_files-file-selection-strategy) section to calculate which files will be rewritten ### rewrite_manifests diff --git a/docs/lakehouse/meta-cache.md b/docs/lakehouse/meta-cache.md index 5a720093b96bf..ccedc186f717d 100644 --- a/docs/lakehouse/meta-cache.md +++ b/docs/lakehouse/meta-cache.md @@ -207,7 +207,7 @@ Used to cache the file list information under a single partition of a Hive table ### Hudi Table Partitions Legacy summary of Hudi partition metadata caching. -Current Hudi cache entries in Doris 4.1.x+ also include `fs_view` and `meta_client`; see [Hudi Catalog](./catalogs/hudi-catalog.md#meta-cache-unified). +Current Hudi cache entries in Doris 4.1.x+ also include `fs_view` and `meta_client`; see [Hudi Catalog](./catalogs/hudi-catalog.md#meta-cache-unified-model). This cache, each Hudi Catalog has one. @@ -230,7 +230,7 @@ This cache, each Hudi Catalog has one. ### Iceberg Table Information Legacy summary of Iceberg table metadata caching. The table object is loaded and constructed through the Iceberg API. -For Doris 4.1.x+, the current observable cache entries are documented in [Iceberg Catalog](./catalogs/iceberg-catalog.mdx#meta-cache-unified). +For Doris 4.1.x+, the current observable cache entries are documented in [Iceberg Catalog](./catalogs/iceberg-catalog.mdx#meta-cache-unified-model). This cache, each Iceberg Catalog has one. diff --git a/docs/observability/log.md b/docs/observability/log.md index 05f740f8f0bb7..20bec323ab2ae 100644 --- a/docs/observability/log.md +++ b/docs/observability/log.md @@ -258,7 +258,7 @@ Because both writes and queries on log data have distinct characteristics, follo **Partitioning**: -- Use [Range partitioning](../table-design/data-partitioning/manual-partitioning.md#range-分区) on the time field (`PARTITION BY RANGE(ts)`) and enable [Dynamic partitioning](../table-design/data-partitioning/dynamic-partitioning) (`"dynamic_partition.enable" = "true"`) to manage daily partitions automatically. +- Use [Range partitioning](../table-design/data-partitioning/manual-partitioning.md#range-partitioning) on the time field (`PARTITION BY RANGE(ts)`) and enable [Dynamic partitioning](../table-design/data-partitioning/dynamic-partitioning) (`"dynamic_partition.enable" = "true"`) to manage daily partitions automatically. - Use a `Datetime` time field as the key (`DUPLICATE KEY(ts)`); this provides a multi-fold speedup when querying the latest N logs. **Bucketing**: diff --git a/docs/sql-manual/sql-functions/scalar-functions/date-time-functions/utc-time.md b/docs/sql-manual/sql-functions/scalar-functions/date-time-functions/utc-time.md index 6eb4caf0ae066..15e2e9eb50a1a 100644 --- a/docs/sql-manual/sql-functions/scalar-functions/date-time-functions/utc-time.md +++ b/docs/sql-manual/sql-functions/scalar-functions/date-time-functions/utc-time.md @@ -26,7 +26,7 @@ UTC_TIME([<`precision`>]) ## Return Value Returns the current UTC time. -Return Time type (format: HH:mm:ss). When using the returned result for numerical operations, it will be converted to [integer format](../../../../sql-manual/basic-element/sql-data-types/conversion/int-conversion#from--time) (the time value elapsed since 00:00:00, unit in microseconds). +Return Time type (format: HH:mm:ss). When using the returned result for numerical operations, it will be converted to [integer format](../../../../sql-manual/basic-element/sql-data-types/conversion/int-conversion#from-time) (the time value elapsed since 00:00:00, unit in microseconds). When the input is NULL or the precision is out of range, an error will be thrown. diff --git a/docs/sql-manual/sql-functions/scalar-functions/other-functions/default.md b/docs/sql-manual/sql-functions/scalar-functions/other-functions/default.md index 1d7bd000cf547..4ad138f45f450 100644 --- a/docs/sql-manual/sql-functions/scalar-functions/other-functions/default.md +++ b/docs/sql-manual/sql-functions/scalar-functions/other-functions/default.md @@ -34,7 +34,7 @@ Special cases: - Only columns are allowed as input; if a constant (including NULL) or an expression is provided, an error is thrown - When the input is an auto-increment column or a generated column, an error is thrown -[Doris-supported default value related parameters](../../../sql-statements/table-and-view/table/CREATE-TABLE.md#Column-Default-Value-Related-Parameters) +[Doris-supported default value related parameters](../../../sql-statements/table-and-view/table/CREATE-TABLE.md#column-default-value-related-parameters) ## Examples diff --git a/docs/sql-manual/sql-statements/cluster-management/compute-management/CREATE-RESOURCE.md b/docs/sql-manual/sql-statements/cluster-management/compute-management/CREATE-RESOURCE.md index 85c40bc2baccf..9fda62e1b8bfa 100644 --- a/docs/sql-manual/sql-statements/cluster-management/compute-management/CREATE-RESOURCE.md +++ b/docs/sql-manual/sql-statements/cluster-management/compute-management/CREATE-RESOURCE.md @@ -145,7 +145,7 @@ Spark related parameters are as follows: - `s3.connection.request.timeout`: s3 request timeout, in milliseconds, the default is 3000 - `s3.connection.timeout`: s3 connection timeout, in milliseconds, the default is 1000 - Doris also supported `AWS Assume Role` for creating S3 Resource , please refer to [AWS integration](../../../../admin-manual/auth/integrations/aws-authentication-and-authorization.md#assumed-role-authentication). + Doris also supported `AWS Assume Role` for creating S3 Resource , please refer to [AWS integration](../../../../admin-manual/auth/integrations/aws-authentication-and-authorization.md#assumed-role-authentication-and-authorization). **4. Create JDBC resource** diff --git a/docs/sql-manual/sql-statements/data-modification/DML/UPDATE.md b/docs/sql-manual/sql-statements/data-modification/DML/UPDATE.md index 7737e8a7eb89f..594fdb6bc510e 100644 --- a/docs/sql-manual/sql-statements/data-modification/DML/UPDATE.md +++ b/docs/sql-manual/sql-statements/data-modification/DML/UPDATE.md @@ -10,7 +10,7 @@ This statement is used to update the data. The UPDATE statement currently only supports the UNIQUE KEY model. -The UPDATE operation currently only supports updating the Value column. The update of the Key column can refer to [Using FlinkCDC to update Key column](../../../../connection-integration/data-integration/flink-doris-connector.md#use-flink-cdc-to-update-key-column). +The UPDATE operation currently only supports updating the Value column. The update of the Key column can refer to [Using FlinkCDC to update Key column](../../../../connection-integration/data-integration/flink-doris-connector.md#updating-key-columns-with-flink-cdc). #### Syntax ```sql diff --git a/docs/sql-manual/sql-statements/data-modification/backup-and-restore/CREATE-REPOSITORY.md b/docs/sql-manual/sql-statements/data-modification/backup-and-restore/CREATE-REPOSITORY.md index e2ef5e3310784..c6ea70c7afa35 100644 --- a/docs/sql-manual/sql-statements/data-modification/backup-and-restore/CREATE-REPOSITORY.md +++ b/docs/sql-manual/sql-statements/data-modification/backup-and-restore/CREATE-REPOSITORY.md @@ -47,7 +47,7 @@ CREATE [READ ONLY] REPOSITORY **Note: ** -Doris also supported `AWS Assume Role` for creating AWS S3 Repository, please refer to [AWS integration](../../../../admin-manual/auth/integrations/aws-authentication-and-authorization.md#assumed-role-authentication). +Doris also supported `AWS Assume Role` for creating AWS S3 Repository, please refer to [AWS integration](../../../../admin-manual/auth/integrations/aws-authentication-and-authorization.md#assumed-role-authentication-and-authorization). ## Access Control Requirements @@ -82,7 +82,7 @@ PROPERTIES ``` **Note: ** -Doris also supported `AWS Assume Role` for creating AWS S3 Repository, please refer to [AWS integration](../../../../admin-manual/auth/integrations/aws-authentication-and-authorization.md#assumed-role-authentication). +Doris also supported `AWS Assume Role` for creating AWS S3 Repository, please refer to [AWS integration](../../../../admin-manual/auth/integrations/aws-authentication-and-authorization.md#assumed-role-authentication-and-authorization). Create a repository named hdfs_repo. diff --git a/docs/sql-manual/sql-statements/table-and-view/table/ALTER-TABLE-PROPERTY.md b/docs/sql-manual/sql-statements/table-and-view/table/ALTER-TABLE-PROPERTY.md index 201b9f160b78c..978456f652c72 100644 --- a/docs/sql-manual/sql-statements/table-and-view/table/ALTER-TABLE-PROPERTY.md +++ b/docs/sql-manual/sql-statements/table-and-view/table/ALTER-TABLE-PROPERTY.md @@ -14,7 +14,7 @@ Differences between Partition Attributes and Table Attributes - For not-created auto partitions, you can use ALTER TABLE {tableName} SET ({key} = {value}) to modify their attributes. - If users want to modify partition attributes, they need to modify the attributes of the already created partitions, as well as the attributes of not-created partitions. - Aside from the above attributes, all others are at the table level. -- For the specific attributes, please refer to [create table attributes](../../../../sql-manual/sql-statements/table-and-view/table/CREATE-TABLE.md#properties) +- For the specific attributes, please refer to [create table attributes](../../../../sql-manual/sql-statements/table-and-view/table/CREATE-TABLE.md#optional-parameters) ::: ## Description diff --git a/docs/sql-manual/sql-statements/table-and-view/table/CREATE-TABLE.md b/docs/sql-manual/sql-statements/table-and-view/table/CREATE-TABLE.md index 7ada5452dee64..9577ebc981cb6 100644 --- a/docs/sql-manual/sql-statements/table-and-view/table/CREATE-TABLE.md +++ b/docs/sql-manual/sql-statements/table-and-view/table/CREATE-TABLE.md @@ -229,7 +229,7 @@ CREATE TABLE LIKE ** and ** -> Bucketing columns and bucket counts. Detail model bucket columns can be any columns, aggregation model and primary key model bucket columns must be consistent with key columns. Bucket count is any positive integer. For details on bucketing, see the [Manual Bucketing](../../../../table-design/data-partitioning/data-bucketing#manual-setting-bucket-count) and [Automatic Bucketing](../../../../table-design/data-partitioning/data-bucketing#automatic-setting-bucket-count) sections. +> Bucketing columns and bucket counts. Detail model bucket columns can be any columns, aggregation model and primary key model bucket columns must be consistent with key columns. Bucket count is any positive integer. For details on bucketing, see the [Manual Bucketing](../../../../table-design/data-partitioning/data-bucketing#1-manually-set-the-number-of-buckets) and [Automatic Bucketing](../../../../table-design/data-partitioning/data-bucketing#2-automatically-set-the-number-of-buckets) sections. ### Column Default Value Related Parameters @@ -372,7 +372,7 @@ The functionality of creating synchronized materialized views with rollup is lim | group_commit_data_bytes | Configures the Group Commit batch data size for this table. The unit is bytes, with a default value of 134217728, i.e., 128MB. The timing of Group Commit depends on which of `group_commit_interval_ms` and `group_commit_data_bytes` reaches the set value first. | | enable_mow_light_delete | Whether to enable writing Delete predicate with Delete statements on Unique tables with Mow. If enabled, it will improve the performance of Delete statements, but partial column updates after Delete may result in some data errors. If disabled, it will reduce the performance of Delete statements to ensure correctness. The default value of this property is `false`. This property can only be enabled on Unique Merge-on-Write tables. | | Dynamic Partitioning Related Properties | For dynamic partitioning, refer to [Data Partitioning - Dynamic Partitioning](../../../../table-design/data-partitioning/dynamic-partitioning) | -| enable_unique_key_skip_bitmap_column | Whether to enable the [Flexible Column Update feature](../../../../data-operate/update/update-of-unique-model.md#flexible-partial-column-updates) on Unique Merge-on-Write tables. This property can only be enabled on Unique Merge-on-Write tables. | +| enable_unique_key_skip_bitmap_column | Whether to enable the [Flexible Column Update feature](../../../../data-operate/update/update-of-unique-model.md#partial-column-update) on Unique Merge-on-Write tables. This property can only be enabled on Unique Merge-on-Write tables. | ## Access Control Requirements diff --git a/docs/table-design/data-partitioning/auto-partitioning.md b/docs/table-design/data-partitioning/auto-partitioning.md index 717c1ce401586..1a3c000d8420c 100644 --- a/docs/table-design/data-partitioning/auto-partitioning.md +++ b/docs/table-design/data-partitioning/auto-partitioning.md @@ -293,7 +293,7 @@ The remaining partition list: ## Used Together with Auto Bucketing -Only AUTO RANGE PARTITION can be used together with the [auto bucketing](./data-bucketing.md#auto-set-bucket-number) feature. +Only AUTO RANGE PARTITION can be used together with the [auto bucketing](./data-bucketing.md#2-automatically-set-the-number-of-buckets) feature. When using this combination, Doris assumes that data is loaded into the table incrementally in time order, and that each load involves only one partition. Therefore, **this combination is recommended only for tables loaded incrementally in batches**. diff --git a/docs/table-design/data-partitioning/basic-concepts.mdx b/docs/table-design/data-partitioning/basic-concepts.mdx index a0c7111cb8117..e869524bb39e4 100644 --- a/docs/table-design/data-partitioning/basic-concepts.mdx +++ b/docs/table-design/data-partitioning/basic-concepts.mdx @@ -252,7 +252,7 @@ PROPERTIES ); ``` -For details about this feature, see [Using Auto Partition with Dynamic Partition](./auto-partitioning#using-with-dynamic-partition). +For details about this feature, see [Using Auto Partition with Dynamic Partition](./auto-partitioning#used-together-with-auto-bucketing). diff --git a/docs/table-design/data-type.md b/docs/table-design/data-type.md index 544fa9d81b1d0..a4fe228ba9e75 100644 --- a/docs/table-design/data-type.md +++ b/docs/table-design/data-type.md @@ -47,7 +47,7 @@ The list of data types supported by Apache Doris is as follows: | [JSON](../sql-manual/basic-element/sql-data-types/semi-structured/JSON) | Variable | Binary JSON type. It is stored in binary JSON format, and JSON internal fields are accessed via JSON functions. The length limit and configuration method are the same as for String. | | [VARIANT](../sql-manual/basic-element/sql-data-types/semi-structured/VARIANT) | Variable | Dynamically variable data type, designed for semi-structured data such as JSON. It can store any JSON, automatically splitting fields in the JSON into sub-columns for storage to improve storage efficiency and query analysis performance. The length limit and configuration method are the same as for String. The Variant type can only be used in Value columns, not in Key columns or partition/bucketing columns.| -### [Aggregate Types](../sql-manual/basic-element/sql-data-types/data-type-overview#aggregate-types) +### [Aggregate Types](../sql-manual/basic-element/sql-data-types/data-type-overview#aggregation-types) | Type Name | Storage Size (Bytes) | Description | | -------------- | --------- | ------------------------------------------------------------ | diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs-releases/current/v2.0/release-2.0.0.md b/i18n/zh-CN/docusaurus-plugin-content-docs-releases/current/v2.0/release-2.0.0.md index 3913072e474db..055e4ea420295 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs-releases/current/v2.0/release-2.0.0.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs-releases/current/v2.0/release-2.0.0.md @@ -25,7 +25,7 @@ 以 TPC-H 为例，全新优化器在未进行任何手工调优和 SQL 改写的情况下，绝大多数 SQL 仍领先于旧优化器手工调优后的性能表现！而在超过百家 2.0 版本提前体验用户的真实业务场景中，绝大多数原始 SQL 执行效率得以极大提升！ -参考文档：[更智能的全新查询优化器](../../query-acceleration/optimization-technology-principle/query-optimizer.md) +参考文档：[更智能的全新查询优化器](../../../docusaurus-plugin-content-docs/version-2.0/query/nereids/nereids-new.md) 如何开启：`SET enable_nereids_planner=true` 在 Apache Doris 2.0-beta 版本中全新查询优化器已经默认开启 @@ -51,7 +51,7 @@ 在实现极速分析体验的同时，为了保证多个混合分析负载的执行效率以及查询的稳定性，在 2.0.0 版本中我们引入了 Pipeline 执行模型作为查询执行引擎。在 Pipeline 执行引擎中，查询的执行是由数据来驱动控制流变化的，各个查询执行过程之中的阻塞算子被拆分成不同 Pipeline，各个 Pipeline 能否获取执行线程调度执行取决于前置数据是否就绪，实现了阻塞操作的异步化、可以更加灵活地管理系统资源，同时减少了线程频繁创建和销毁带来的开销，并提升了 Apache Doris 对于 CPU 的利用效率。因此 Apache Doris 在混合负载场景中的查询性能和稳定性都得到了全面提升。 -参考文档：[查询执行引擎](../../query-acceleration/optimization-technology-principle/pipeline-execution-engine.md) +参考文档：[查询执行引擎](../../../docusaurus-plugin-content-docs/version-2.0/query/pipeline-execution-engine.md) 如何开启：` Set enable_pipeline_engine = true ` - 该功能在 Apache Doris 2.0 版本中将默认开启，BE 在进行查询执行时默认将 SQL 的执行模型转变 Pipeline 的执行方式。 @@ -189,7 +189,7 @@ - 限制了表达式树的深度，默认为 200； - array string 返回值 单引号变双引号； - 对 Doris 的进程名重命名为 DorisFE 和 DorisBE； -- AES 和 SM4 加解密函数的两参数版本行为变化，详见[对应函数文档](../../sql-manual/sql-functions/scalar-functions/encrypt-digest-functions/sm4-encrypt.md) +- AES 和 SM4 加解密函数的两参数版本行为变化，详见[对应函数文档](../../../docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/encrypt-digest-functions/sm4-encrypt.md) ## 正式踏上 2.0 之旅 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs-releases/current/v2.0/release-2.0.3.md b/i18n/zh-CN/docusaurus-plugin-content-docs-releases/current/v2.0/release-2.0.3.md index 24e791dc87ea1..eacb469d1aa73 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs-releases/current/v2.0/release-2.0.3.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs-releases/current/v2.0/release-2.0.3.md @@ -21,7 +21,7 @@ 在每次导入事务提交后，Apache Doris 将记录导入事务更新的表信息并估算表统计信息的健康度，对于健康度低于配置参数的表会认为统计信息已过时并自动触发表的统计信息收集作业。同时为了降低统计信息作业的资源开销，Apache Doris 会自动采取采样的方式收集统计信息，用户也可以调整参数来采样更多行以获得更准确的数据分布信息。 -更多信息请参考：[Statistics](../../query-acceleration/optimization-technology-principle/statistics) +更多信息请参考：[Statistics](../../../docusaurus-plugin-content-docs/version-2.0/query/nereids/statistics.md) ### 数据湖框架支持复杂数据类型 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs-releases/current/v2.1/release-2.1.0.md b/i18n/zh-CN/docusaurus-plugin-content-docs-releases/current/v2.1/release-2.1.0.md index 49a0a549aa786..8c35b811e12b0 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs-releases/current/v2.1/release-2.1.0.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs-releases/current/v2.1/release-2.1.0.md @@ -85,7 +85,7 @@ ![Local Shuffle Clickbench and TPCH-100](/images/2.1-doris-clickbench-tpch.png) :::note 备注 -参考文档：[Pipeline X 执行引擎](../../query-acceleration/optimization-technology-principle/pipeline-execution-engine.md) +参考文档：[Pipeline X 执行引擎](../../../docusaurus-plugin-content-docs/version-2.1/query-acceleration/optimization-technology-principle/pipeline-execution-engine.md) ::: ## ARM 架构深度适配，性能提升 230% @@ -269,7 +269,7 @@ CREATE MATERIALIZED VIEW mv1 :::note - 演示 Demo: https://www.bilibili.com/video/BV1s2421T71z/?spm_id_from=333.999.0.0 -- 参考文档：[异步物化视图](../../query-acceleration/materialized-view/async-materialized-view/overview) +- 参考文档：[异步物化视图](../../../docusaurus-plugin-content-docs/version-2.1/query-acceleration/materialized-view/async-materialized-view/overview.md) ::: ## 存储能力增强 @@ -375,7 +375,7 @@ PROPERTIES ( :::note -参考文档：[数据划分](../../table-design/data-partitioning/data-distribution) +参考文档：[数据划分](../../../docusaurus-plugin-content-docs/version-2.1/table-design/data-partitioning/data-distribution.md) ::: ### INSERT INTO SELECT 导入性能提升 100% @@ -437,7 +437,7 @@ MemTable 前移在 2.1 版本中默认开启，用户无需修改原有的导入 :::note - 演示 Demo：https://www.bilibili.com/video/BV1um411o7Ha/?spm_id_from=333.999.0.0 -- 参考文档和完整测试报告：[Group Commit](../../data-operate/import/group-commit-manual) +- 参考文档和完整测试报告：[Group Commit](../../../docusaurus-plugin-content-docs/version-2.1/data-operate/import/group-commit-manual.md) ::: @@ -509,7 +509,7 @@ SELECT v["properties"]["title"] from ${table_name} :::note - 演示 Demo: https://www.bilibili.com/video/BV13u4m1g7ra/?spm_id_from=333.999.0.0 -- 参考文档：[VARIANT](../../sql-manual/basic-element/sql-data-types/semi-structured/VARIANT) +- 参考文档：[VARIANT](../../../docusaurus-plugin-content-docs/version-2.1/sql-manual/basic-element/sql-data-types/semi-structured/VARIANT.md) ::: @@ -524,7 +524,7 @@ SELECT v["properties"]["title"] from ${table_name} - INET_ATON：获取包含 IPv4 地址的字符串，格式为 A.B.C.D（点分隔的十进制数字） :::note -参考文档：[IPV6](../../sql-manual/basic-element/sql-data-types/ip/IPV6) +参考文档：[IPV6](../../../docusaurus-plugin-content-docs/version-2.1/sql-manual/basic-element/sql-data-types/ip/IPV6.md) ::: @@ -641,7 +641,7 @@ mysql> select struct(1,"2") not in (struct(1,3), struct(1,"2"), struct(1,1), nul - `MAP_AGG`：接收 expr1 作为键，expr2 作为对应的值，返回一个 MAP :::note -参考文档：[MAP_AGG](../../sql-manual/sql-functions/aggregate-functions/map-agg.md) +参考文档：[MAP_AGG](../../../docusaurus-plugin-content-docs/version-2.1/sql-manual/sql-functions/aggregate-functions/map-agg.md) ::: @@ -666,14 +666,14 @@ mysql> select struct(1,"2") not in (struct(1,3), struct(1,"2"), struct(1,1), nul :::note - 演示 Demo：https://www.bilibili.com/video/BV1Fz421X7XE/?spm_id_from=333.999.0.0 -- 参考文档：[Workload Group](../../admin-manual/workload-management/workload-group) +- 参考文档：[Workload Group](../../../docusaurus-plugin-content-docs/version-2.1/admin-manual/workload-management/workload-group.md) ::: ### TopSQL :::tip -自 2.1.1 版本之后，active_queries() 已经废弃，TopSQl 主要通过 Doris 内置的系统表实现，参考文档 [工作负载诊断与分析](../../admin-manual/workload-management/analysis-diagnosis.md) +自 2.1.1 版本之后，active_queries() 已经废弃，TopSQl 主要通过 Doris 内置的系统表实现，参考文档 [工作负载诊断与分析](../../../docusaurus-plugin-content-docs/version-2.1/admin-manual/workload-management/analysis-diagnosis.md) ::: 当集群出现预期外的大查询导致集群整体负载上升、查询可用性下降时，用户难以快速找到这些大查询并进行相应的降级操作。因此在 Apache Doris 2.1 版本中我们支持了运行时查看 SQL 资源用量的功能，具体指标如下： @@ -728,7 +728,7 @@ select QueryId,max(BePeakMemoryBytes) as be_peak_mem from active_queries() group 目前主要展示的负载类型包括 Select 和`Insert Into……Select`，预计在 2.1 版本之上的三位迭代版本中会支持 Stream Load 和 Broker Load 的资源用量展示。 :::note -参考文档：[ACTIVE_QUERIES](../../admin-manual/system-tables/information_schema/active_queries) +参考文档：[ACTIVE_QUERIES](../../../docusaurus-plugin-content-docs/version-2.1/admin-manual/system-tables/information_schema/active_queries.md) ::: @@ -829,7 +829,7 @@ JOB e_daily :::caution 注意事项 -当前 Job Scheduler 仅支持 Insert 内表，参考文档：[CREATE-JOB](../../sql-manual/sql-statements/job/CREATE-JOB) +当前 Job Scheduler 仅支持 Insert 内表，参考文档：[CREATE-JOB](../../../docusaurus-plugin-content-docs/version-2.1/sql-manual/sql-statements/job/CREATE-JOB.md) ::: @@ -849,7 +849,7 @@ JOB e_daily - 对于之前已经安装过审计日志插件的用户，升级后可以继续使用原有插件，也可以通过 uninstall 命令卸载原有插件后，使用新的插件。但注意，切换插件后，审计日志表也将切换到新的表中。 - - 具体可参阅：[审计日志插件](../../admin-manual/audit-plugin.md) + - 具体可参阅：[审计日志插件](../../../docusaurus-plugin-content-docs/version-2.1/admin-manual/audit-plugin.md) diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs-releases/current/v2.1/release-2.1.2.md b/i18n/zh-CN/docusaurus-plugin-content-docs-releases/current/v2.1/release-2.1.2.md index cea7345943545..89655559a5834 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs-releases/current/v2.1/release-2.1.2.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs-releases/current/v2.1/release-2.1.2.md @@ -22,7 +22,7 @@ - https://github.com/apache/doris/pull/33282 -3. Auto Partition 语法变化，详见[文档](../../table-design/data-partitioning/auto-partitioning.md) +3. Auto Partition 语法变化，详见[文档](../../../docusaurus-plugin-content-docs/version-2.1/table-design/data-partitioning/auto-partitioning.md) - https://github.com/apache/doris/pull/32737 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs-releases/current/v2.1/release-2.1.4.md b/i18n/zh-CN/docusaurus-plugin-content-docs-releases/current/v2.1/release-2.1.4.md index 2c7c1290ab5b9..c183bb9ef7c71 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs-releases/current/v2.1/release-2.1.4.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs-releases/current/v2.1/release-2.1.4.md @@ -22,9 +22,9 @@ 关于更多信息，请参考文档： - - [BE 日志管理](../../admin-manual/log-management/be-log.md) + - [BE 日志管理](../../../docusaurus-plugin-content-docs/version-2.1/admin-manual/log-management/be-log.md) - - [FE 日志管理](../../admin-manual/log-management/fe-log.md) + - [FE 日志管理](../../../docusaurus-plugin-content-docs/version-2.1/admin-manual/log-management/fe-log.md) - 如果建表时没有填写表注释，默认注释为空，不再使用表类型作为默认表注释。 [#36025](https://github.com/apache/doris/pull/36025) @@ -48,15 +48,15 @@ - **支持 Paimon 的原生读取器来处理 Deletion Vector：** Deletion Vector 主要用于标记或追踪哪些数据已被删除或标记为删除，通常应用在需要保留历史数据的场景，基于本优化可以提升大量数据更新或删除时的处理效率。 [#35241](https://github.com/apache/doris/pull/35241) - 关于更多信息，请参考文档：[数据湖分析 - Paimon](../../lakehouse/catalogs/paimon-catalog) + 关于更多信息，请参考文档：[数据湖分析 - Paimon](../../../docusaurus-plugin-content-docs/version-2.1/lakehouse/catalogs/paimon-catalog.mdx) - **支持在表值函数（TVF）中使用 Resource**：TVF 功能为 Apache Doris 提供了直接将对象存储或 HDFS 上的文件作为 Table 进行查询分析的能力。通过在 TVF 中引用 Resource，可以避免重复填写连接信息，提升使用体验。 [#35139](https://github.com/apache/doris/pull/35139) - 关于更多信息，请参考文档：[表函数 - HDFS](../../lakehouse/storages/hdfs.md) + 关于更多信息，请参考文档：[表函数 - HDFS](../../../docusaurus-plugin-content-docs/version-2.1/lakehouse/storages/hdfs.md) - **支持通过 Ranger 插件实现数据脱敏**：开启 Ranger 鉴权功能后，支持使用 Ranger 中的 Data Mask 功能进行数据脱敏。 - 关于更多信息，请参考文档：[基于 Apache Ranger 的鉴权管理](../../admin-manual/auth/ranger#资源和权限) + 关于更多信息，请参考文档：[基于 Apache Ranger 的鉴权管理](../../../docusaurus-plugin-content-docs/version-2.1/admin-manual/auth/authorization/ranger.md#数据脱敏示例) ### 异步物化视图 @@ -64,21 +64,21 @@ - 支持单表透明改写。 - 关于更多信息，请参考文档：[查询异步物化视图](../../query-acceleration/materialized-view/async-materialized-view/functions-and-demands.md) + 关于更多信息，请参考文档：[查询异步物化视图](../../../docusaurus-plugin-content-docs/version-2.1/query-acceleration/materialized-view/async-materialized-view/functions-and-demands.md) - 透明改写支持 agg_state, agg_union 类型的聚合上卷，物化视图可以定义为 agg_state 或者 agg_union，查询使用具体的聚合函数，或者使用 agg_merge - 关于更多信息，请参考文档：[AGG_STATE](../../sql-manual/basic-element/sql-data-types/aggregate/AGG-STATE) + 关于更多信息，请参考文档：[AGG_STATE](../../../docusaurus-plugin-content-docs/version-2.1/sql-manual/basic-element/sql-data-types/aggregate/AGG-STATE.md) ### 其他 - **新增 `replace_empty` 函数**：将字符串中的子字符串进行替换，当旧字符串为空时，会将新字符串插入到原有字符串的每个字符前以及最后。 - 关于更多信息，请参考文档：[字符串函数 - REPLACE_EMPTY](../../sql-manual/sql-functions/scalar-functions/string-functions/replace-empty) + 关于更多信息，请参考文档：[字符串函数 - REPLACE_EMPTY](../../../docusaurus-plugin-content-docs/version-2.1/sql-manual/sql-functions/scalar-functions/string-functions/replace-empty.md) - 支持 `show storage policy using` 语句：支持查看所有或指定存储策略关联的表和分区。 - 关于更多信息，请参考文档：[SQL 语句 - SHOW](../../sql-manual/sql-statements/cluster-management/storage-management/SHOW-STORAGE-POLICY-USING) + 关于更多信息，请参考文档：[SQL 语句 - SHOW](../../../docusaurus-plugin-content-docs/version-2.1/sql-manual/sql-statements/cluster-management/storage-management/SHOW-STORAGE-POLICY.md) - **支持 BE 侧的 JVM 指标：** 通过在 `be.conf` 配置文件中设置`enable_jvm_monitor=true`，可以启用对 BE 节点 JVM 的监控和指标收集，有助于了解 BE JVM 的资源使用情况，以便进行故障排除和性能优化。 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs-releases/current/v2.1/release-2.1.5.md b/i18n/zh-CN/docusaurus-plugin-content-docs-releases/current/v2.1/release-2.1.5.md index d44dfa26a26eb..643300de04ae6 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs-releases/current/v2.1/release-2.1.5.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs-releases/current/v2.1/release-2.1.5.md @@ -113,7 +113,7 @@ - 数据导出（Export/Outfile）支持指定 Parquet 和 ORC 的压缩格式。 - - 更多信息，请参考[文档](../../sql-manual/sql-statements/data-modification/load-and-export/EXPORT.md)。 + - 更多信息，请参考[文档](../../../docusaurus-plugin-content-docs/version-2.1/sql-manual/sql-statements/data-modification/load-and-export/EXPORT.md)。 - 当使用 CTAS+TVF 创建表时，TVF 中的分区列将被自动映射为 Varchar（65533）而非 String，以便该分区列能够作为内表的分区列使用。 [#37161](https://github.com/apache/doris/pull/37161) @@ -189,7 +189,7 @@ - 支持为 `INSERT INTO ... FROM TABLE VALUE FUNCTION` 语句设置 `max_filter_ratio` 参数。 - - 更多信息，请参考[文档](../../data-operate/import/import-way/insert-into-manual) + - 更多信息，请参考[文档](../../../docusaurus-plugin-content-docs/version-2.1/data-operate/import/import-way/insert-into-manual.md) ## Bug 修复 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs-releases/current/v2.1/release-2.1.7.md b/i18n/zh-CN/docusaurus-plugin-content-docs-releases/current/v2.1/release-2.1.7.md index 464d751ac189d..9e7f30acb71cd 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs-releases/current/v2.1/release-2.1.7.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs-releases/current/v2.1/release-2.1.7.md @@ -20,7 +20,7 @@ - enable_fallback_to_original_planner: true - enable_pipeline_x_engine: true - 审计日志增加了新的列 [#42262](https://github.com/apache/doris/pull/42262) - - 更多信息，请参考[管理指南](../../admin-manual/audit-plugin) + - 更多信息，请参考[管理指南](../../../docusaurus-plugin-content-docs/version-2.1/admin-manual/audit-plugin.md) ## 新功能 @@ -43,8 +43,8 @@ - 增加了 `information_schema.table_options` 和 `information_schema.``table_properties` 系统表，支持查询建表时设置的一些属性。[#34384](https://github.com/apache/doris/pull/34384) - 更多信息，请参考系统表： - - [table_options](../../admin-manual/system-tables/information_schema/table_options) - - [table_properties](../../admin-manual/system-tables/information_schema/table_properties) + - [table_options](../../../docusaurus-plugin-content-docs/version-2.1/admin-manual/system-tables/information_schema/table_options.md) + - [table_properties](../../../docusaurus-plugin-content-docs/version-2.1/admin-manual/system-tables/information_schema/table_properties.md) - 支持 `bitmap_empty` 作为默认值。[#40364](https://github.com/apache/doris/pull/40364) - 增加了一个新的 Session 变量`require_sequence_in_insert` 来控制向 Unique Key 表进行`insert into select` 写入时，是否必须提供 Sequence 列。[#41655](https://github.com/apache/doris/pull/41655) @@ -57,13 +57,13 @@ ### 湖仓一体 - 支持写入数据到 Hive Text 格式表。[#40537](https://github.com/apache/doris/pull/40537) - - 更多信息，请参考[使用 Hive 构建数据湖](../../lakehouse/catalogs/hive-catalog)文档 + - 更多信息，请参考[使用 Hive 构建数据湖](../../../docusaurus-plugin-content-docs/version-2.1/lakehouse/catalogs/hive-catalog.mdx)文档 - 使用 MaxCompute Open Storage API 访问 MaxCompute 数据。[#41610](https://github.com/apache/doris/pull/41610) - - 更多信息，请参考 [MaxCompute](../../lakehouse/catalogs/maxcompute-catalog) 文档 + - 更多信息，请参考 [MaxCompute](../../../docusaurus-plugin-content-docs/version-2.1/lakehouse/catalogs/maxcompute-catalog.md) 文档 - 支持 Paimon DLF Catalog。[#41694](https://github.com/apache/doris/pull/41694) - - 更多信息，请参考 [Paimon Catalog](../../lakehouse/catalogs/paimon-catalog) 文档 + - 更多信息，请参考 [Paimon Catalog](../../../docusaurus-plugin-content-docs/version-2.1/lakehouse/catalogs/paimon-catalog.mdx) 文档 - 新增语法 `table$partitions` 语法支持直接查询 Hive 分区信息 [#41230](https://github.com/apache/doris/pull/41230) - - 更多信息，请参考[通过 Hive 分析数据湖](../../lakehouse/catalogs/hive-catalog)文档 + - 更多信息，请参考[通过 Hive 分析数据湖](../../../docusaurus-plugin-content-docs/version-2.1/lakehouse/catalogs/hive-catalog.mdx)文档 - 支持 brotli 压缩格式的 Parquet 文件读取。[#42162](https://github.com/apache/doris/pull/42162) - 支持读取 Parquet 文件中的 DECIMAL 256 类型。[#42241](https://github.com/apache/doris/pull/42241) - 支持读取 OpenCsvSerde 格式的 Hive 表。[#42939](https://github.com/apache/doris/pull/42939) diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs-releases/current/v3.0/release-3.0.1.md b/i18n/zh-CN/docusaurus-plugin-content-docs-releases/current/v3.0/release-3.0.1.md index d39861e89ed80..0dd94aff0fad0 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs-releases/current/v3.0/release-3.0.1.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs-releases/current/v3.0/release-3.0.1.md @@ -56,7 +56,7 @@ - SQL 拦截功能现在支持外部表 - - 更多内容，参考文档[SQL 拦截](../../admin-manual/workload-management/sql-blocking.md) + - 更多内容，参考文档[SQL 拦截](../../../docusaurus-plugin-content-docs/version-3.x/admin-manual/workload-management/sql-blocking.md) - Insert Overwrite 现在支持 Iceberg 表。[#37191](https://github.com/apache/doris/pull/37191) @@ -90,7 +90,7 @@ - 新增加了 FE 参数 `skip_audit_user_list`，在此配置项中的用户操作将不会被记录到审计日志中。[#38310](https://github.com/apache/doris/pull/38310) - - 更多内容，参考文档[审计插件](../../admin-manual/audit-plugin/) + - 更多内容，参考文档[审计插件](../../../docusaurus-plugin-content-docs/version-3.x/admin-manual/audit-plugin.md) ## 改进 @@ -572,4 +572,4 @@ ## 致谢 -@133tosakarin、 @924060929、 @AshinGau、 @Baymine、 @BePPPower、 @BiteTheDDDDt、 @ByteYue、 @CalvinKirs、 @Ceng23333、 @DarvenDuan、 @FreeOnePlus、 @Gabriel39、 @HappenLee、 @JNSimba、 @Jibing-Li、 @KassieZ、 @Lchangliang、 @LiBinfeng-01、 @Mryange、 @SWJTU-ZhangLei、 @TangSiyang2001、 @Tech-Circle-48、 @Vallishp、 @Yukang-Lian、 @Yulei-Yang、 @airborne12、 @amorynan、 @bobhan1、 @cambyzju、 @cjj2010、 @csun5285、 @dataroaring、 @deardeng、 @eldenmoon、 @englefly、 @feiniaofeiafei、 @felixwluo、 @freemandealer、 @gavinchou、 @ghkang98、 @hello-stephen、 @hubgeter、 @hust-hhb、 @jacktengg、 @kaijchen、 @kaka11chen、 @keanji-x、 @liaoxin01、 @liutang123、 @luwei16、 @luzhijing、 @lxr599、 @morningman、 @morrySnow、 @mrhhsg、 @mymeiyi、 @platoneko、 @qidaye、 @qzsee、 @seawinde、 @shuke987、 @sollhui、 @starocean999、 @suxiaogang223、 @w41ter、 @wangbo、 @wangshuo128、 @whutpencil、 @wsjz、 @wuwenchi、 @wyxxxcat、 @xiaokang、 @xiedeyantu、 @xinyiZzz、 @xy720、 @xzj7019、 @yagagagaga、 @yiguolei、 @yujun777、 @z404289981、 @zclllyybb、 @zddr、 @zfr9527、 @zhangbutao、 @zhangstar333、 @zhannngchen、 @zhiqiang-hhhh、 @zjj、 @zy-kkk、 @zzzxl1993 \ No newline at end of file +@133tosakarin、 @924060929、 @AshinGau、 @Baymine、 @BePPPower、 @BiteTheDDDDt、 @ByteYue、 @CalvinKirs、 @Ceng23333、 @DarvenDuan、 @FreeOnePlus、 @Gabriel39、 @HappenLee、 @JNSimba、 @Jibing-Li、 @KassieZ、 @Lchangliang、 @LiBinfeng-01、 @Mryange、 @SWJTU-ZhangLei、 @TangSiyang2001、 @Tech-Circle-48、 @Vallishp、 @Yukang-Lian、 @Yulei-Yang、 @airborne12、 @amorynan、 @bobhan1、 @cambyzju、 @cjj2010、 @csun5285、 @dataroaring、 @deardeng、 @eldenmoon、 @englefly、 @feiniaofeiafei、 @felixwluo、 @freemandealer、 @gavinchou、 @ghkang98、 @hello-stephen、 @hubgeter、 @hust-hhb、 @jacktengg、 @kaijchen、 @kaka11chen、 @keanji-x、 @liaoxin01、 @liutang123、 @luwei16、 @luzhijing、 @lxr599、 @morningman、 @morrySnow、 @mrhhsg、 @mymeiyi、 @platoneko、 @qidaye、 @qzsee、 @seawinde、 @shuke987、 @sollhui、 @starocean999、 @suxiaogang223、 @w41ter、 @wangbo、 @wangshuo128、 @whutpencil、 @wsjz、 @wuwenchi、 @wyxxxcat、 @xiaokang、 @xiedeyantu、 @xinyiZzz、 @xy720、 @xzj7019、 @yagagagaga、 @yiguolei、 @yujun777、 @z404289981、 @zclllyybb、 @zddr、 @zfr9527、 @zhangbutao、 @zhangstar333、 @zhannngchen、 @zhiqiang-hhhh、 @zjj、 @zy-kkk、 @zzzxl1993 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs-releases/current/v3.0/release-3.0.3.md b/i18n/zh-CN/docusaurus-plugin-content-docs-releases/current/v3.0/release-3.0.3.md index b83a0e587836a..b4f1eff279e33 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs-releases/current/v3.0/release-3.0.3.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs-releases/current/v3.0/release-3.0.3.md @@ -27,11 +27,11 @@ - 新增 `table$partition` 语法，用于查询 Hive 表的分区信息。[#40774](https://github.com/apache/doris/pull/40774) - - [查看文档](../../lakehouse/catalogs/hive-catalog) + - [查看文档](../../../docusaurus-plugin-content-docs/version-3.x/lakehouse/catalogs/hive-catalog.mdx) - 支持创建 Text 格式的 Hive 表。[#41860](https://github.com/apache/doris/pull/41860) [#42175](https://github.com/apache/doris/pull/42175) - - [查看文档](../../lakehouse/catalogs/hive-catalog) + - [查看文档](../../../docusaurus-plugin-content-docs/version-3.x/lakehouse/catalogs/hive-catalog.mdx) ### 异步物化视图 @@ -78,7 +78,7 @@ - Paimon Catalog 支持阿里云 DLF 和 OSS-HDFS 存储。[#41247](https://github.com/apache/doris/pull/41247) [#42585](https://github.com/apache/doris/pull/42585) - - [查看文档](../../lakehouse/catalogs/paimon-catalog) + - [查看文档](../../../docusaurus-plugin-content-docs/version-3.x/lakehouse/catalogs/paimon-catalog.mdx) - 支持读取 OpenCSV 格式的 Hive 表。[#42257](https://github.com/apache/doris/pull/42257) [#42942](https://github.com/apache/doris/pull/42942) - 优化了访问 External Catalog 中 `information_schema.columns` 表的性能。[#41659](https://github.com/apache/doris/pull/41659) [#41962](https://github.com/apache/doris/pull/41962) @@ -206,4 +206,4 @@ - 补充了审计日志表和文件中缺失的审计日志字段。[#43303](https://github.com/apache/doris/pull/43303) - - [查看文档](../../admin-manual/system-tables/internal_schema/audit_log) + - [查看文档](../../../docusaurus-plugin-content-docs/version-3.x/admin-manual/system-tables/internal_schema/audit_log.md) diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/admin-manual/auth/certificate.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/admin-manual/auth/certificate.md index f5eebecef6b1b..07616ab610861 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/admin-manual/auth/certificate.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/admin-manual/auth/certificate.md @@ -77,7 +77,7 @@ MySQL 客户端通过 `--ssl-mode` 参数控制连接行为，可选模式如下 | PREFERRED（默认） | 优先尝试 SSL 连接，失败则回退到普通连接 | `mysql -uroot -P9030 -h127.0.0.1` | | DISABLE | 禁用 SSL，使用普通连接 | `mysql --ssl-mode=DISABLE -uroot -P9030 -h127.0.0.1` | | REQUIRED | 强制使用 SSL 连接 | `mysql --ssl-mode=REQUIRED -uroot -P9030 -h127.0.0.1` | -| VERIFY_CA | 强制 SSL 并校验服务端证书的 CA（mTLS 场景使用） | 参考 [配置双向认证（mTLS）](#配置双向认证-mtls) | +| VERIFY_CA | 强制 SSL 并校验服务端证书的 CA（mTLS 场景使用） | 参考 [配置双向认证（mTLS）](#配置双向认证mtls) | :::note 注意 `--ssl-mode` 参数是 MySQL 5.7.11 版本引入的，低于此版本的 MySQL 客户端请参考 [MySQL 官方文档](https://dev.mysql.com/doc/connector-j/en/connector-j-connp-props-security.html)。 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/admin-manual/auth/integrations/aws-iam-role.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/admin-manual/auth/integrations/aws-iam-role.md index 5054de1def89c..193f84c269aa1 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/admin-manual/auth/integrations/aws-iam-role.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/admin-manual/auth/integrations/aws-iam-role.md @@ -156,4 +156,4 @@ PROPERTIES ( | `s3.external_id` | 否 | 填入 Trust Relationships Policies 中配置的 externalId 的值 | | `timeout` | 否 | 操作超时时间，单位秒 | -更多功能 SQL 语句的详细使用方式，参考：[AWS 认证和鉴权](../../../admin-manual/auth/integrations/aws-authentication-and-authorization#assumed-role-authentication)。 +更多功能 SQL 语句的详细使用方式，参考：[AWS 认证和鉴权](../../../admin-manual/auth/integrations/aws-authentication-and-authorization#assumed-role-认证鉴权)。 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/admin-manual/system-tables/information_schema/column_statistics.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/admin-manual/system-tables/information_schema/column_statistics.md index bfc4a3b1fd065..6dabb4f6ccf72 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/admin-manual/system-tables/information_schema/column_statistics.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/admin-manual/system-tables/information_schema/column_statistics.md @@ -11,7 +11,7 @@ ## 概述 -此表仅用于兼容 MySQL 行为，永远为空。并不能真实反映 Doris 内数据的统计信息。如需查看 Doris 收集的统计信息，请[查看统计信息章节](../../../query-acceleration/optimization-technology-principle/statistics#查看统计信息)。 +此表仅用于兼容 MySQL 行为，永远为空。并不能真实反映 Doris 内数据的统计信息。如需查看 Doris 收集的统计信息，请[查看统计信息章节](../../../query-acceleration/optimization-technology-principle/statistics#统计信息)。 ## 所属数据库 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/admin-manual/trouble-shooting/memory-management/memory-analysis/query-memory-analysis.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/admin-manual/trouble-shooting/memory-management/memory-analysis/query-memory-analysis.md index e890c61ac1b87..630ce1c6977c0 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/admin-manual/trouble-shooting/memory-management/memory-analysis/query-memory-analysis.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/admin-manual/trouble-shooting/memory-management/memory-analysis/query-memory-analysis.md @@ -26,7 +26,7 @@ MemTrackerLimiter Label=query, Type=overview, Limit=-1.00 B(-1 B), Used=83.32 MB ## 使用 Query Profile 分析查询内存使用 -依据 QueryID 在 `fe/log/fe.audit.log` 中找到包括 SQL 在内的查询信息，`explain SQL` 得到查询计划，`set enable_profile=true`后执行 SQL 得到查询的 Query Profile，有关 Query Profile 的详细介绍参考文档 [Query Profile](../../../../query-acceleration/performance-tuning-overview/analysis-tools#doris-profile)，这里只介绍 Query Profile 中内存相关的内容，并据此定位使用大量内存的 Operator 和数据结构。 +依据 QueryID 在 `fe/log/fe.audit.log` 中找到包括 SQL 在内的查询信息，`explain SQL` 得到查询计划，`set enable_profile=true`后执行 SQL 得到查询的 Query Profile，有关 Query Profile 的详细介绍参考文档 [Query Profile](../../../../query-acceleration/performance-tuning-overview/analysis-tools#doris-profile分析执行层瓶颈)，这里只介绍 Query Profile 中内存相关的内容，并据此定位使用大量内存的 Operator 和数据结构。 1. 定位使用大量内存的 Operator 或内存数据结构 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/compute-storage-decoupled/file-cache/file-cache.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/compute-storage-decoupled/file-cache/file-cache.md index 9294ba956db3b..fa62eb77f655a 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/compute-storage-decoupled/file-cache/file-cache.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/compute-storage-decoupled/file-cache/file-cache.md @@ -305,7 +305,7 @@ SQL Profile 中缓存相关指标位于 `SegmentIterator` 节点下： | `RemoteIOUseTimer` | 读取远程存储的耗时 | | `WriteCacheIOUseTimer` | 写入 File Cache 的耗时 | -您可以通过[查询性能分析](../../query-acceleration/performance-tuning-overview/analysis-tools#doris-profile)查看完整的查询性能报告。 +您可以通过[查询性能分析](../../query-acceleration/performance-tuning-overview/analysis-tools#doris-profile分析执行层瓶颈)查看完整的查询性能报告。 ## TTL 缓存策略 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/connection-integration/data-integration/flink-doris-connector.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/connection-integration/data-integration/flink-doris-connector.md index cc7d0deb5f99c..276f8bc2f2abd 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/connection-integration/data-integration/flink-doris-connector.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/connection-integration/data-integration/flink-doris-connector.md @@ -819,7 +819,7 @@ Flink Doris Connector 集成了 [Flink CDC](https://nightlies.apache.org/flink/f | sink.label-prefix | -- | Y | Stream Load 导入使用的 label 前缀。2pc 场景下要求全局唯一，用来保证 Flink 的 EOS 语义。 | | sink.properties.* | -- | N | Stream Load 的导入参数。例如：`'sink.properties.column_separator' = ', '` 定义列分隔符；`'sink.properties.escape_delimiters' = 'true'` 表示特殊字符作为分隔符，`\x01` 会被转换为二进制的 `0x01`；JSON 格式导入：`'sink.properties.format' = 'json'`、`'sink.properties.read_json_by_line' = 'true'`，详细参数参考 [Stream Load](../../data-operate/import/import-way/stream-load-manual.md#导入配置参数)。Group Commit 模式：`'sink.properties.group_commit' = 'sync_mode'` 设置 group commit 为同步模式。Flink Connector 从 1.6.2 开始支持导入配置 group commit，详细使用与限制参考 [Group Commit](../../data-operate/import/load-best-practices/group-commit-manual.md)。从 26.1.0 开始 Stream Load 默认启用 gz 压缩，可通过设置 `'sink.properties.compress_type' = ''` 关闭压缩。 | | sink.enable-delete | TRUE | N | 是否启用删除。此选项需要 Doris 表开启批量删除功能（Doris 0.15+ 版本默认开启），只支持 Unique 模型。 | -| sink.enable-2pc | TRUE | N | 是否开启两阶段提交（2pc），默认为 true，保证 Exactly-Once 语义。关于两阶段提交可参考 [Stream Load 2PC](../../data-operate/transaction.md#streamload-2pc)。 | +| sink.enable-2pc | TRUE | N | 是否开启两阶段提交（2pc），默认为 true，保证 Exactly-Once 语义。关于两阶段提交可参考 [Stream Load 2PC](../../data-operate/transaction.md#stream-load-2pc)。 | | sink.buffer-size | 1MB | N | 写数据缓存 buffer 大小，单位字节。不建议修改，默认配置即可 | | sink.buffer-count | 3 | N | 写数据缓存 buffer 个数。不建议修改，默认配置即可 | | sink.max-retries | 3 | N | Commit 失败后的最大重试次数，默认 3 次 | diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/data-operate/import/data-source/amazon-s3.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/data-operate/import/data-source/amazon-s3.md index 8d5a1437b3623..073b238747b75 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/data-operate/import/data-source/amazon-s3.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/data-operate/import/data-source/amazon-s3.md @@ -223,7 +223,7 @@ mysql> select * from test_s3load; -除了使用 Access Key / Secret Key，Doris 也支持通过 `AWS Assume Role` 的方式使用 S3 Load 与 TVF 进行鉴权，适合企业内对密钥下发受限的场景。详细配置请参考 [AWS 集成 - Assumed Role 认证](../../../admin-manual/auth/integrations/aws-authentication-and-authorization.md#assumed-role-authentication)。 +除了使用 Access Key / Secret Key，Doris 也支持通过 `AWS Assume Role` 的方式使用 S3 Load 与 TVF 进行鉴权，适合企业内对密钥下发受限的场景。详细配置请参考 [AWS 集成 - Assumed Role 认证](../../../admin-manual/auth/integrations/aws-authentication-and-authorization.md#assumed-role-认证鉴权)。 ## FAQ @@ -263,4 +263,4 @@ mysql> select * from test_s3load; ## 相关文档 - [Broker Load 手册](../import-way/broker-load-manual.md) -- [AWS 集成 - Assumed Role 认证](../../../admin-manual/auth/integrations/aws-authentication-and-authorization.md#assumed-role-authentication) +- [AWS 集成 - Assumed Role 认证](../../../admin-manual/auth/integrations/aws-authentication-and-authorization.md#assumed-role-认证鉴权) diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/data-operate/import/data-source/bigquery.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/data-operate/import/data-source/bigquery.md index d4de31cb74726..dbc4c1b8046bd 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/data-operate/import/data-source/bigquery.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/data-operate/import/data-source/bigquery.md @@ -30,7 +30,7 @@ - **表结构设计**：需要根据 BigQuery 的表结构选择 Doris 的[数据模型](../../../table-design/data-model/intro.mdx)，以及[分区](../../../table-design/data-partitioning/dynamic-partitioning.md)和[分桶](../../../table-design/data-partitioning/data-bucketing.md)的策略，更多创建表策略可参考[导入最佳实践](../load-best-practices/load-best-practices.md)。 - **JSON 类型导出**：BigQuery 导出 JSON 类型时不支持 Parquet 格式，需要使用 JSON 格式导出。 - **Time 类型导出**：BigQuery 导出 Time 类型时，需要 Cast 为 String 类型导出。 -- **复杂类型导入**：含有复杂类型（Struct/Array/Map）的 Parquet/ORC 格式文件导入，目前必须使用 [TVF 导入](./amazon-s3.md#method-2-load-with-tvf-synchronous)。 +- **复杂类型导入**：含有复杂类型（Struct/Array/Map）的 Parquet/ORC 格式文件导入，目前必须使用 [TVF 导入](./amazon-s3.md#方式二使用-tvf-导入同步)。 ## 数据类型映射 @@ -133,7 +133,7 @@ AS ( 导入采用 S3 Load 方式。**S3 Load 是一种异步的数据导入方式，执行后 Doris 会主动从数据源拉取数据**，数据源支持兼容 S3 协议的对象存储，包括 [AWS S3](./amazon-s3.md)、[GCS](./google-cloud-storage.md)、[AZURE](./azure-storage.md) 等。 -该方式适用于数据量大、需要后台异步处理的场景。对于需要同步处理的数据导入，可参考 [TVF 导入](./amazon-s3.md#method-2-load-with-tvf-synchronous)。 +该方式适用于数据量大、需要后台异步处理的场景。对于需要同步处理的数据导入，可参考 [TVF 导入](./amazon-s3.md#方式二使用-tvf-导入同步)。 > **注意**：对于含有复杂类型（Struct/Array/Map）的 Parquet/ORC 格式文件导入，目前必须使用 TVF 导入。 @@ -228,7 +228,7 @@ Reason: column_name[country], the length of input is too long than schema. first Reason: column_name[country], the length of input is too long than schema. first 32 bytes of input str: [Australia] schema length: 1; actual length: 9; . src line []; ``` -对于数据质量错误，如果允许跳过部分错误数据，可以在 S3 Load 任务的 `PROPERTIES` 中设置容错率，具体参数请参考[导入配置参数](../../import/import-way/broker-load-manual.md#related-configurations)。 +对于数据质量错误，如果允许跳过部分错误数据，可以在 S3 Load 任务的 `PROPERTIES` 中设置容错率，具体参数请参考[导入配置参数](../../import/import-way/broker-load-manual.md#导入配置参数)。 #### 3.4 导入多个文件的数据 @@ -260,7 +260,7 @@ BigQuery 的 Time 类型在导出时需 Cast 为 String 类型，Doris 中对应 **Q4：含有 Struct/Array/Map 的 Parquet/ORC 文件能用 S3 Load 导入吗？** -不能。这类复杂类型的文件目前必须使用 [TVF 导入](./amazon-s3.md#method-2-load-with-tvf-synchronous)。 +不能。这类复杂类型的文件目前必须使用 [TVF 导入](./amazon-s3.md#方式二使用-tvf-导入同步)。 **Q5：迁移大量历史数据时如何避免单任务失败造成的重试成本？** diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/data-operate/import/data-source/migrate-data-from-other-oltp.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/data-operate/import/data-source/migrate-data-from-other-oltp.md index 9e3bc7ccfeb8c..15f4e47170693 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/data-operate/import/data-source/migrate-data-from-other-oltp.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/data-operate/import/data-source/migrate-data-from-other-oltp.md @@ -185,7 +185,7 @@ insert into doris_sink select id,name from cdc_mysql_source; --table-conf replication_num=1 ``` -更多细节参见 [整库同步](../../../connection-integration/data-integration/flink-doris-connector.md#整库同步)。 +更多细节参见 [整库同步](../../../connection-integration/data-integration/flink-doris-connector.md#整库同步配置项)。 --- @@ -213,7 +213,7 @@ val jdbcDF = spark.read 相关文档： - [JDBC To Other Databases](https://spark.apache.org/docs/latest/sql-data-sources-jdbc.html) -- [Spark Doris Connector 批量写入](../../../connection-integration/data-integration/spark-doris-connector.md#批量写入) +- [Spark Doris Connector 批量写入](../../../connection-integration/data-integration/spark-doris-connector.md#场景二批量写入-doris-数据) --- diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/data-operate/import/data-source/redshift.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/data-operate/import/data-source/redshift.md index ae32e9cc34ad1..49453981fee9a 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/data-operate/import/data-source/redshift.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/data-operate/import/data-source/redshift.md @@ -30,7 +30,7 @@ - **建模与分区策略**：根据 Redshift 源表结构选择合适的 Doris [数据模型](../../../table-design/data-model/intro.mdx)，并制定[分区](../../../table-design/data-partitioning/dynamic-partitioning.md)与[分桶](../../../table-design/data-partitioning/data-bucketing.md)策略。更多建表建议见[导入最佳实践](../load-best-practices/load-best-practices.md)。 - **类型转换**：Redshift 导出 `TIME` 类型时，需要先 `CAST` 成 `VARCHAR` 类型再导出。 -- **复杂类型限制**：含有复杂类型（Struct/Array/Map）的 Parquet/ORC 格式文件，目前必须使用 [TVF 导入](./amazon-s3.md#method-2-load-with-tvf-synchronous)。 +- **复杂类型限制**：含有复杂类型（Struct/Array/Map）的 Parquet/ORC 格式文件，目前必须使用 [TVF 导入](./amazon-s3.md#方式二使用-tvf-导入同步)。 ## 数据类型映射 @@ -150,8 +150,8 @@ PARTITION BY (order_date) INCLUDE | 场景 | 推荐方式 | | ------------------------------------ | ---------------------------------------------- | | 数据量大、可后台异步处理 | S3 Load | -| 需要同步处理的数据导入 | [TVF 导入](./amazon-s3.md#method-2-load-with-tvf-synchronous) | -| 含复杂类型（Struct/Array/Map）文件 | 必须使用 [TVF 导入](./amazon-s3.md#method-2-load-with-tvf-synchronous) | +| 需要同步处理的数据导入 | [TVF 导入](./amazon-s3.md#方式二使用-tvf-导入同步) | +| 含复杂类型（Struct/Array/Map）文件 | 必须使用 [TVF 导入](./amazon-s3.md#方式二使用-tvf-导入同步) | #### 3.1 导入单个分区数据 @@ -263,7 +263,7 @@ Doris 不支持 `TIME` 类型，因此 Redshift 在导出 `TIME/TIMEZ` 类型时 **Q2：含有 Struct/Array/Map 等复杂类型的 Parquet/ORC 文件可以用 S3 Load 吗？** -不可以。当前必须使用 [TVF 导入](./amazon-s3.md#method-2-load-with-tvf-synchronous) 处理含复杂类型的文件。 +不可以。当前必须使用 [TVF 导入](./amazon-s3.md#方式二使用-tvf-导入同步) 处理含复杂类型的文件。 **Q3：S3 Load 是同步还是异步导入？如何查询执行结果？** diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/data-operate/import/data-source/snowflake.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/data-operate/import/data-source/snowflake.md index f6f17f3f027a3..f0b13d2b3c0cd 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/data-operate/import/data-source/snowflake.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/data-operate/import/data-source/snowflake.md @@ -155,7 +155,7 @@ HEADER=TRUE; S3 Load 是一种**异步的数据导入方式**：执行后 Doris 会主动从数据源拉取数据。它支持兼容 S3 协议的对象存储，包括 [AWS S3](./amazon-s3.md)、[GCS](./google-cloud-storage.md)、[Azure](./azure-storage.md) 等。 -S3 Load 适用于**数据量大、需要后台异步处理**的场景。如需同步处理小批量数据，可使用 [TVF 导入](./amazon-s3.md#method-2-load-with-tvf-synchronous)。 +S3 Load 适用于**数据量大、需要后台异步处理**的场景。如需同步处理小批量数据，可使用 [TVF 导入](./amazon-s3.md#方式二使用-tvf-导入同步)。 :::caution 注意 对于含有**复杂类型（Struct / Array / Map）的 Parquet / ORC 格式文件**，目前必须使用 TVF 导入。 @@ -250,7 +250,7 @@ Reason: column_name[country], the length of input is too long than schema. first Reason: column_name[country], the length of input is too long than schema. first 32 bytes of input str: [Australia] schema length: 1; actual length: 9; . src line []; ``` -对于数据质量错误，如允许跳过部分错误数据，可在 S3 Load 任务的 `PROPERTIES` 中设置容错率，详见[导入配置参数](../../import/import-way/broker-load-manual.md#related-configurations)。 +对于数据质量错误，如允许跳过部分错误数据，可在 S3 Load 任务的 `PROPERTIES` 中设置容错率，详见[导入配置参数](../../import/import-way/broker-load-manual.md#导入配置参数)。 #### 3.4 批量导入多个分区的数据 @@ -279,7 +279,7 @@ Reason: column_name[country], the length of input is too long than schema. first ### Q2：含有复杂类型的 Parquet 文件如何导入？ -对于含有 Struct / Array / Map 等复杂类型的 Parquet / ORC 文件，**S3 Load 暂不支持**，必须使用 [TVF 导入](./amazon-s3.md#method-2-load-with-tvf-synchronous)。 +对于含有 Struct / Array / Map 等复杂类型的 Parquet / ORC 文件，**S3 Load 暂不支持**，必须使用 [TVF 导入](./amazon-s3.md#方式二使用-tvf-导入同步)。 ### Q3：Snowflake 的 TIME 类型为什么要转换成 String？ @@ -301,6 +301,6 @@ Doris 没有与 Snowflake `TIME` 完全对应的类型，因此在 Snowflake 端 - [S3 导入](./amazon-s3.md) - [GCS 导入](./google-cloud-storage.md) - [Azure 导入](./azure-storage.md) -- [TVF 导入](./amazon-s3.md#method-2-load-with-tvf-synchronous) +- [TVF 导入](./amazon-s3.md#方式二使用-tvf-导入同步) - [导入最佳实践](../load-best-practices/load-best-practices.md) -- [导入配置参数](../../import/import-way/broker-load-manual.md#related-configurations) +- [导入配置参数](../../import/import-way/broker-load-manual.md#导入配置参数) diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/data-operate/import/import-way/routine-load-manual.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/data-operate/import/import-way/routine-load-manual.md index e7583021bab92..b1271d327f822 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/data-operate/import/import-way/routine-load-manual.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/data-operate/import/import-way/routine-load-manual.md @@ -451,7 +451,7 @@ PROPERTIES ("" = ""[, "" = "" ...]) | max_batch_rows | 每个子任务最多读取的行数。必须大于等于 200000，默认 20000000。`max_batch_interval`/`max_batch_rows`/`max_batch_size` 共同形成子任务执行阈值。任一参数达到阈值，导入子任务结束，并生成新的导入子任务。 | | max_batch_size | 每个子任务最多读取的字节数。单位是字节，范围是 100MB 到 1GB，默认 1G。`max_batch_interval`/`max_batch_rows`/`max_batch_size` 共同形成子任务执行阈值。任一参数达到阈值，导入子任务结束，并生成新的导入子任务。 | | max_error_number | 采样窗口内允许的最大错误行数，必须大于等于 0，默认 0（即不允许有错误行）。采样窗口为 `max_batch_rows * 10`。如果采样窗口内错误行数大于 `max_error_number`，则会导致例行作业被暂停，需要人工介入检查数据质量问题，可通过 [SHOW ROUTINE LOAD](../../../sql-manual/sql-statements/data-modification/load-and-export/SHOW-ROUTINE-LOAD) 命令中的 `ErrorLogUrls` 检查数据的质量问题。被 where 条件过滤掉的行不算错误行。 | -| strict_mode | 是否开启严格模式，默认关闭。严格模式表示对于导入过程中的列类型转换进行严格过滤。开启后，非空原始数据的列类型变换如果结果为 NULL 则会被过滤。

过滤策略：

- 某衍生列（由函数转换生成而来），Strict Mode 对其不产生影响；

- 当列类型需要转换，错误的数据类型将被过滤掉，可在 [SHOW ROUTINE LOAD](../../../sql-manual/sql-statements/data-modification/load-and-export/SHOW-ROUTINE-LOAD) 的 `ErrorLogUrls` 中查看；

- 对于导入的某列类型包含范围限制的，如果原始数据能正常通过类型转换但无法通过范围限制的，strict mode 对其不产生影响。例如类型是 `decimal(1,0)`，原始数据为 10，则属于可以通过类型转换但不在列声明的范围内。详细内容参考[严格模式](../../../data-operate/import/handling-messy-data#严格模式)。

| +| strict_mode | 是否开启严格模式，默认关闭。严格模式表示对于导入过程中的列类型转换进行严格过滤。开启后，非空原始数据的列类型变换如果结果为 NULL 则会被过滤。

过滤策略：

- 某衍生列（由函数转换生成而来），Strict Mode 对其不产生影响；

- 当列类型需要转换，错误的数据类型将被过滤掉，可在 [SHOW ROUTINE LOAD](../../../sql-manual/sql-statements/data-modification/load-and-export/SHOW-ROUTINE-LOAD) 的 `ErrorLogUrls` 中查看；

- 对于导入的某列类型包含范围限制的，如果原始数据能正常通过类型转换但无法通过范围限制的，strict mode 对其不产生影响。例如类型是 `decimal(1,0)`，原始数据为 10，则属于可以通过类型转换但不在列声明的范围内。详细内容参考[严格模式](../../../data-operate/import/handling-messy-data#开启严格模式)。

| | timezone | 指定导入作业所使用的时区。默认为使用 Session 的 timezone 参数。该参数会影响所有导入涉及的与时区有关的函数结果。 | | format | 指定导入数据格式，默认是 CSV，支持 JSON 格式。 | | jsonpaths | 当导入数据格式为 JSON 时，可以通过 `jsonpaths` 指定抽取 JSON 数据中的字段。例如：`"jsonpaths" = "[\"$.userid\",\"$.username\",\"$.age\",\"$.city\"]"` | @@ -460,7 +460,7 @@ PROPERTIES ("" = ""[, "" = "" ...]) | send_batch_parallelism | 用于设置发送批量数据的并行度。如果并行度的值超过 BE 配置中的 `max_send_batch_parallelism_per_job`，那么作为协调点的 BE 将使用 `max_send_batch_parallelism_per_job` 的值。 | | load_to_single_tablet | 支持一个任务只导入数据到对应分区的一个 tablet，默认值为 false。该参数只允许在对带有 random 分桶的 olap 表导数的时候设置。 | | partial_columns | 指定是否开启部分列更新功能。默认值为 false。该参数只允许在表模型为 Unique 且采用 Merge on Write 时设置。一流多表不支持此参数。具体参考文档[部分列更新](../../../data-operate/update/partial-column-update.md)。 | -| unique_key_update_mode | 指定 Unique Key 表的更新模式。可选值：
  • `UPSERT`（默认）：标准的整行插入或更新操作。
  • `UPDATE_FIXED_COLUMNS`：部分列更新，所有行更新相同的列。等同于 `partial_columns=true`。
  • `UPDATE_FLEXIBLE_COLUMNS`：灵活部分列更新，每行可以更新不同的列。需要 JSON 格式且表必须设置 `enable_unique_key_skip_bitmap_column=true`。不能与 `jsonpaths`、`fuzzy_parse`、`COLUMNS` 子句或 `WHERE` 子句一起使用。
详情参考[部分列更新](../../../data-operate/update/partial-column-update#灵活部分列更新)。 | +| unique_key_update_mode | 指定 Unique Key 表的更新模式。可选值：
  • `UPSERT`（默认）：标准的整行插入或更新操作。
  • `UPDATE_FIXED_COLUMNS`：部分列更新，所有行更新相同的列。等同于 `partial_columns=true`。
  • `UPDATE_FLEXIBLE_COLUMNS`：灵活部分列更新，每行可以更新不同的列。需要 JSON 格式且表必须设置 `enable_unique_key_skip_bitmap_column=true`。不能与 `jsonpaths`、`fuzzy_parse`、`COLUMNS` 子句或 `WHERE` 子句一起使用。
详情参考[部分列更新](../../../data-operate/update/partial-column-update#灵活列更新)。 | | partial_update_new_key_behavior | 在 Unique Merge on Write 表上进行部分列更新时，对新插入行的处理方式。有两种类型 `APPEND`、`ERROR`。
- `APPEND`：允许插入新行数据；
- `ERROR`：插入新行时导入失败并报错。 | | max_filter_ratio | 采样窗口内允许的最大过滤率。必须在大于等于 0 到小于等于 1 之间。默认值是 1.0，表示可以容忍任何错误行。采样窗口为 `max_batch_rows * 10`。如果采样窗口内错误行数/总行数大于 `max_filter_ratio`，则会导致例行作业被暂停，需要人工介入检查数据质量问题。被 where 条件过滤掉的行不算错误行。 | | enclose | 指定包围符。当 CSV 数据字段中含有行分隔符或列分隔符时，为防止意外截断，可指定单字节字符作为包围符起到保护作用。例如列分隔符为 `,`，包围符为 `'`，数据为 `a,'b,c'`，则 `b,c` 会被解析为一个字段。 | diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/data-operate/import/import-way/stream-load-manual.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/data-operate/import/import-way/stream-load-manual.md index b2e83963c3a46..5c022ac9e61d5 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/data-operate/import/import-way/stream-load-manual.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/data-operate/import/import-way/stream-load-manual.md @@ -369,7 +369,7 @@ Stream Load 操作支持 HTTP 分块导入（HTTP chunked）与 HTTP 非分块 | enclose | 指定包围符。当 CSV 数据字段中含有行分隔符或列分隔符时，为防止意外截断，可指定单字节字符作为包围符起到保护作用。例如列分隔符为 ","，包围符为 "'"，数据为 "a,'b,c'"，则 "b,c" 会被解析为一个字段。注意：当 enclose 设置为 `"` 时，trim_double_quotes 一定要设置为 true。 | | escape | 指定转义符。用于转义在字段中出现的与包围符相同的字符。例如数据为 "a,'b,'c'"，包围符为 "'"，希望 "b,'c" 被作为一个字段解析，则需要指定单字节转义符，例如 "\\"，将数据修改为 "a,'b,\\'c'"。 | | memtable_on_sink_node | 导入数据的时候是否开启 MemTable 前移，默认为 false。 | -| unique_key_update_mode | Unique 表上的更新模式，目前仅对 Merge-On-Write Unique 表有效，一共支持三种类型 `UPSERT`, `UPDATE_FIXED_COLUMNS`, `UPDATE_FLEXIBLE_COLUMNS`。`UPSERT`：表示以 upsert 语义导入数据；`UPDATE_FIXED_COLUMNS`：表示以[部分列更新](../../../data-operate/update/partial-column-update.md#主键模型的列更新)的方式导入数据；`UPDATE_FLEXIBLE_COLUMNS`：表示以[灵活部分列更新](../../../data-operate/update/partial-column-update.md#灵活部分列更新)的方式导入数据。 | +| unique_key_update_mode | Unique 表上的更新模式，目前仅对 Merge-On-Write Unique 表有效，一共支持三种类型 `UPSERT`, `UPDATE_FIXED_COLUMNS`, `UPDATE_FLEXIBLE_COLUMNS`。`UPSERT`：表示以 upsert 语义导入数据；`UPDATE_FIXED_COLUMNS`：表示以[部分列更新](../../../data-operate/update/partial-column-update.md#主键模型的列更新)的方式导入数据；`UPDATE_FLEXIBLE_COLUMNS`：表示以[灵活部分列更新](../../../data-operate/update/partial-column-update.md#灵活列更新)的方式导入数据。 | | partial_update_new_key_behavior | Unique 表上进行部分列更新或灵活列更新时，对新插入行的处理方式。有两种类型 `APPEND`、`ERROR`。
- `APPEND`：允许插入新行数据
- `ERROR`：插入新行时倒入失败并报错 | ### 导入返回值 @@ -1058,7 +1058,7 @@ Doris 可以在导入语句中支持非常丰富的列转换和过滤操作。 ### 启用严格模式导入 -`strict_mode` 属性用于设置导入任务是否运行在严格模式下。该属性会对列映射、转换和过滤的结果产生影响。关于严格模式的具体说明，可参阅 [严格模式](../handling-messy-data#严格模式) 文档。 +`strict_mode` 属性用于设置导入任务是否运行在严格模式下。该属性会对列映射、转换和过滤的结果产生影响。关于严格模式的具体说明，可参阅 [严格模式](../handling-messy-data#开启严格模式) 文档。 ### 导入时进行部分列更新/灵活部分列更新 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/data-operate/import/load-best-practices/load-best-practices.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/data-operate/import/load-best-practices/load-best-practices.md index a0393f89f0ff6..88a8d02524e6a 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/data-operate/import/load-best-practices/load-best-practices.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/data-operate/import/load-best-practices/load-best-practices.md @@ -116,7 +116,7 @@ Doris 提供多种导入方式，共享相同的核心流程，但针对不同 - 集中写入单一 Tablet 减少了小 Segment 文件的生成，避免频繁 Compaction 带来的写放大； - 显著提升大规模数据导入的并发度与吞吐量。 -详细参考：[Random 分桶](../../../table-design/data-partitioning/data-bucketing#random-分桶)。 +详细参考：[Random 分桶](../../../table-design/data-partitioning/data-bucketing#2-random-分桶)。 ### 攒批策略 @@ -279,7 +279,7 @@ MemTable 前移是 Apache Doris 2.1.0 版本引入的优化机制，针对 `INSE #### Flink 端到端时延 -采用 Flink Connector 使用攒批模式进行写入，主要关注数据端到端的时延和导入吞吐。攒批时间通过 Flink Connector 的 `sink.buffer-flush.interval` 参数来控制，Flink Connector 的详细使用参考 [Flink-Doris-Connector](../../../connection-integration/data-integration/flink-doris-connector#使用说明)。 +采用 Flink Connector 使用攒批模式进行写入，主要关注数据端到端的时延和导入吞吐。攒批时间通过 Flink Connector 的 `sink.buffer-flush.interval` 参数来控制，Flink Connector 的详细使用参考 [Flink-Doris-Connector](../../../connection-integration/data-integration/flink-doris-connector#使用场景)。 **机器配置：** diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/data-operate/transaction.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/data-operate/transaction.md index efc554ae4a848..82b844c42f999 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/data-operate/transaction.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/data-operate/transaction.md @@ -52,7 +52,7 @@ Label 通常被设置为 `业务逻辑+时间` 的格式。如 `my_business1_202 #### StreamLoad 2PC -[StreamLoad 2PC](#stream-load)，主要用于支持 Flink 写入 Doris 时的 EOS 语义。 +[StreamLoad 2PC](#stream-load-2pc)，主要用于支持 Flink 写入 Doris 时的 EOS 语义。 ## 显式事务操作 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/integrated-storage-compute/install-config-cluster.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/integrated-storage-compute/install-config-cluster.md index 6717973bbcd29..e512b4f851405 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/integrated-storage-compute/install-config-cluster.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/integrated-storage-compute/install-config-cluster.md @@ -684,7 +684,7 @@ mysql -h ac4828493dgrftb884g67wg4tb68gyut-1137856348.us-east-1.elb.amazonaws.com ## 配置管理用户名和密码 -Doris 节点的管理需要通过用户名、密码以 MySQL 协议连接活着的 FE 节点进行操作。Doris 实现[类似 RBAC 的权限管理机制](../../../admin-manual/auth/security-overview)，节点的管理需要用户拥有 [Node_priv](../../../admin-manual/auth/authorization/internal#所有权限) 权限。Doris Operator 默认使用拥有所有权限的 root 用户无密码模式对 DorisCluster 资源配置的集群进行部署和管理。root 用户添加密码后，需要在 DorisCluster 资源中显示配置拥有 Node_Priv 权限的用户名和密码，以便 Doris Operator 对集群进行自动化管理操作。 +Doris 节点的管理需要通过用户名、密码以 MySQL 协议连接活着的 FE 节点进行操作。Doris 实现[类似 RBAC 的权限管理机制](../../../admin-manual/auth/security-overview)，节点的管理需要用户拥有 [Node_priv](../../../admin-manual/auth/authorization/internal#所有权限项) 权限。Doris Operator 默认使用拥有所有权限的 root 用户无密码模式对 DorisCluster 资源配置的集群进行部署和管理。root 用户添加密码后，需要在 DorisCluster 资源中显示配置拥有 Node_Priv 权限的用户名和密码，以便 Doris Operator 对集群进行自动化管理操作。 DorisCluster 资源提供两种方式来配置管理集群节点所需的用户名、密码，包括：环境变量配置的方式，以及使用 [Secret](https://kubernetes.io/docs/concepts/configuration/secret/) 配置的方式。配置集群管理的用户名和密码分为 3 种情况： @@ -851,7 +851,7 @@ func main() { ### 集群部署后设置 root 用户密码 -Doris 集群在部署后，若未设置 root 用户的密码。需要配置一个具有 [Node_priv](../../../admin-manual/auth/authorization/internal#所有权限) 权限的用户，便于 Doris Operator 自动化的管理集群节点。建议不要使用 root 用户，请参考[用户新建和权限赋值章节](../../../sql-manual/sql-statements/account-management/CREATE-USER)来创建新用户并赋予 Node_priv 权限。创建用户后，通过环境变量或者 Secret 配置新的管理用户和密码，并在 DorisCluster 资源中配置。 +Doris 集群在部署后，若未设置 root 用户的密码。需要配置一个具有 [Node_priv](../../../admin-manual/auth/authorization/internal#所有权限项) 权限的用户，便于 Doris Operator 自动化的管理集群节点。建议不要使用 root 用户，请参考[用户新建和权限赋值章节](../../../sql-manual/sql-statements/account-management/CREATE-USER)来创建新用户并赋予 Node_priv 权限。创建用户后，通过环境变量或者 Secret 配置新的管理用户和密码，并在 DorisCluster 资源中配置。 #### 第 1 步：新建拥有 Node_priv 权限用户 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/separating-storage-compute/config-cg.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/separating-storage-compute/config-cg.md index 2cbf5951dcb68..87f58dd828e6f 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/separating-storage-compute/config-cg.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/separating-storage-compute/config-cg.md @@ -83,7 +83,7 @@ spec: memory: 8Gi ``` -将上述配置更新到需要部署的 [`DorisDisaggregatedCluster` 资源](./install-doris-cluster.md#3-配置-dorisdisaggregatedcluster-资源)中即可生效。 +将上述配置更新到需要部署的 [`DorisDisaggregatedCluster` 资源](./install-doris-cluster.md#第-3-步部署存算分离集群)中即可生效。 ## 场景 4：配置计算组的访问方式 @@ -228,7 +228,7 @@ kubectl -n ${namespace} -f ${beConfigMapFileName}.yaml ### 第 3 步：更新 DorisDisaggregatedCluster 资源 -更新 [`DorisDisaggregatedCluster` 资源](./install-doris-cluster.md#3-配置-dorisdisaggregatedcluster-资源)以挂载 ConfigMap，配置如下： +更新 [`DorisDisaggregatedCluster` 资源](./install-doris-cluster.md#第-3-步部署存算分离集群)以挂载 ConfigMap，配置如下： ```yaml spec: diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/separating-storage-compute/config-cluster.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/separating-storage-compute/config-cluster.md index 62cef1c83d560..895978864fcb4 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/separating-storage-compute/config-cluster.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/separating-storage-compute/config-cluster.md @@ -18,7 +18,7 @@ ### 为什么需要配置管理凭证 -Doris 节点的管理需要通过用户名、密码以 MySQL 协议连接活着的 FE 节点进行操作。Doris 实现[类似 RBAC 的权限管理机制](../../../admin-manual/auth/security-overview)，节点的管理需要用户拥有 [Node_priv](../../../admin-manual/auth/authorization/internal#所有权限) 权限。 +Doris 节点的管理需要通过用户名、密码以 MySQL 协议连接活着的 FE 节点进行操作。Doris 实现[类似 RBAC 的权限管理机制](../../../admin-manual/auth/security-overview)，节点的管理需要用户拥有 [Node_priv](../../../admin-manual/auth/authorization/internal#所有权限项) 权限。 Doris Operator 默认使用拥有所有权限的 root 用户无密码模式对 DorisDisaggregatedCluster 资源配置的集群进行部署和管理。当 root 用户添加密码后，需要在 DorisDisaggregatedCluster 资源中显式配置拥有 Node_Priv 权限的用户名和密码，以便 Doris Operator 对集群进行自动化管理操作。 @@ -234,7 +234,7 @@ spec: ## 场景三：集群部署后设置 root 用户密码 -Doris 集群在部署后若未设置 root 用户的密码，需要配置一个具有 [Node_priv](../../../admin-manual/auth/authorization/internal#所有权限) 权限的用户，便于 Doris Operator 自动化的管理集群节点。建议不要使用 root 用户，请参考[用户新建和权限赋值章节](../../../sql-manual/sql-statements/account-management/CREATE-USER)来创建新用户并赋予 Node_priv 权限。创建用户后，再通过环境变量或者 Secret 配置新的管理用户和密码，并在 DorisDisaggregatedCluster 资源中配置。 +Doris 集群在部署后若未设置 root 用户的密码，需要配置一个具有 [Node_priv](../../../admin-manual/auth/authorization/internal#所有权限项) 权限的用户，便于 Doris Operator 自动化的管理集群节点。建议不要使用 root 用户，请参考[用户新建和权限赋值章节](../../../sql-manual/sql-statements/account-management/CREATE-USER)来创建新用户并赋予 Node_priv 权限。创建用户后，再通过环境变量或者 Secret 配置新的管理用户和密码，并在 DorisDisaggregatedCluster 资源中配置。 配置流程概览： diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/separating-storage-compute/config-fe.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/separating-storage-compute/config-fe.md index b9a54adacbd4a..74f946551c5c3 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/separating-storage-compute/config-fe.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/separating-storage-compute/config-fe.md @@ -44,7 +44,7 @@ spec: memory: 8Gi ``` -将上述配置信息更新到[需要部署的 `DorisDisaggregatedCluster` 资源](./install-doris-cluster.md#配置-dorisdisaggregatedcluster-资源)中。 +将上述配置信息更新到[需要部署的 `DorisDisaggregatedCluster` 资源](./install-doris-cluster.md#第-3-步部署存算分离集群)中。 ## 配置 Follower 节点数量 @@ -123,7 +123,7 @@ kubectl apply -n ${namespace} -f ${feConfigMapName}.yaml ### 第 3 步：在 DorisDisaggregatedCluster 中引用 ConfigMap -更新[`DorisDisaggregatedCluster` 资源](./install-doris-cluster.md#配置-dorisdisaggregatedcluster-资源)，通过 `feSpec.configMaps` 数组挂载 ConfigMap，示例如下： +更新[`DorisDisaggregatedCluster` 资源](./install-doris-cluster.md#第-3-步部署存算分离集群)，通过 `feSpec.configMaps` 数组挂载 ConfigMap，示例如下： ```yaml spec: diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/separating-storage-compute/config-ms.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/separating-storage-compute/config-ms.md index 4d42d4bced621..3571315760da4 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/separating-storage-compute/config-ms.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/separating-storage-compute/config-ms.md @@ -57,7 +57,7 @@ spec: - `${foundationdbConfigMapName}`：ConfigMap 的名称 - `${namespace}`：FoundationDB 部署所在的命名空间 -查找 `fdb-kubernetes-operator` 生成的 ConfigMap，请参考部署 FoundationDB 章节的 [获取包含 FoundationDB 访问信息的 ConfigMap](install-fdb.md#get-the-configmap-that-contains-foundationdb-access-information)。 +查找 `fdb-kubernetes-operator` 生成的 ConfigMap，请参考部署 FoundationDB 章节的 [获取包含 FoundationDB 访问信息的 ConfigMap](install-fdb.md#获取包含-foundationdb-访问信息的-configmap)。 ### 方式二：直接配置访问地址 @@ -105,7 +105,7 @@ spec: memory: 4Gi ``` -将上述配置更新到需要[部署的 DorisDisaggregatedCluster 资源](./install-doris-cluster.md#3-配置-dorisdisaggregatedcluster-资源)中。 +将上述配置更新到需要[部署的 DorisDisaggregatedCluster 资源](./install-doris-cluster.md#第-3-步部署存算分离集群)中。 ## 4. 定制化启动配置 @@ -175,7 +175,7 @@ spec: - `${msConfigMapName}`：包含 MetaService 启动配置的 ConfigMap 名称 - `mountPath`：挂载点必须为 `/etc/doris` -将上述配置更新到需要部署的 [DorisDisaggregatedCluster 资源](./install-doris-cluster.md#3-配置-dorisdisaggregatedcluster-资源)中。 +将上述配置更新到需要部署的 [DorisDisaggregatedCluster 资源](./install-doris-cluster.md#第-3-步部署存算分离集群)中。 ## 5. 配置服务探测超时 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/separating-storage-compute/install-doris-cluster.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/separating-storage-compute/install-doris-cluster.md index 24b7ec0577fb6..92dbc77e2f5e1 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/separating-storage-compute/install-doris-cluster.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/separating-storage-compute/install-doris-cluster.md @@ -190,7 +190,7 @@ spec: namespace: ${namespace} # 必改：ConfigMap 所在命名空间 ``` -ConfigMap 的获取方法可执行 `kubectl get configmap` 查看（详见 [部署 FoundationDB - 获取访问信息 ConfigMap](install-fdb.md#get-the-configmap-that-contains-foundationdb-access-information)）。 +ConfigMap 的获取方法可执行 `kubectl get configmap` 查看（详见 [部署 FoundationDB - 获取访问信息 ConfigMap](install-fdb.md#获取包含-foundationdb-访问信息的-configmap)）。 参数说明： diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/lakehouse/catalogs/iceberg-catalog.mdx b/i18n/zh-CN/docusaurus-plugin-content-docs/current/lakehouse/catalogs/iceberg-catalog.mdx index 662bda6fc0811..7886aaea661a3 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/lakehouse/catalogs/iceberg-catalog.mdx +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/lakehouse/catalogs/iceberg-catalog.mdx @@ -2779,7 +2779,7 @@ EXECUTE rewrite_data_files ( 1. `rewrite_data_files` 操作会读取数据文件并重新写入，会产生额外的 I/O 和计算开销，请合理分配集群资源。 2. 执行前可以通过[查看数据文件分布](#查看数据文件分布)章节中的 SQL 来评估是否需要执行重写操作。 3. WHERE 条件可用于限制重写的分区或数据范围，这个条件会过滤掉那些不包含符合 WHERE 条件的数据的文件，从而减少重写的文件数量和数据量。 -4. 执行前可以通过[重写文件选择逻辑](#重写文件选择逻辑)章节中的 SQL 来计算哪些文件会被重写。 +4. 执行前可以通过[重写文件选择逻辑](#rewrite_data_files-文件选择策略)章节中的 SQL 来计算哪些文件会被重写。 ### rewrite_manifests diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/lakehouse/statistics.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/lakehouse/statistics.md index 0e499837e0c68..04f9422952f1c 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/lakehouse/statistics.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/lakehouse/statistics.md @@ -11,6 +11,6 @@ Doris 支持对外部数据源的表，如 Hive、Iceberg、Paimon 等进行自动或手动的统计信息收集。统计信息准确性直接决定了代价估算的准确性，对于选择最优查询计划至关重要，尤其在复杂查询场景下能显著提升查询执行效率。 -具体可参阅 [统计信息](../query-acceleration/optimization-technology-principle/statistics#external-table-collection) 文档中的【外表收集】部分。 +具体可参阅 [统计信息](../query-acceleration/optimization-technology-principle/statistics#外表收集) 文档中的【外表收集】部分。 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/query-acceleration/hints/leading-hint.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/query-acceleration/hints/leading-hint.md index 0408354b93e3d..86c2d4a0fd6e2 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/query-acceleration/hints/leading-hint.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/query-acceleration/hints/leading-hint.md @@ -46,7 +46,7 @@ Leading Hint 是 Doris 中用于手动指定多表 Join 顺序的查询提示（ - [常规 Leading Hint](#常规-leading-hint)：基础语法、生效状态、典型用法。 - [典型场景示例](#典型场景示例)：基础用法 + 左深树 / 右深树 / Bushy 树 / zig-zag 树 / Non-inner Join / View。 - [Ordered Hint](#ordered-hint)：固定 Join 顺序为文本序的特例。 -- [常见问题（FAQ）](#常见问题-faq)：Hint 不生效、与其他 Hint 优先级等。 +- [常见问题（FAQ）](#常见问题faq)：Hint 不生效、与其他 Hint 优先级等。 ## 常规 Leading Hint diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/query-acceleration/materialized-view/async-materialized-view/faq.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/query-acceleration/materialized-view/async-materialized-view/faq.md index 85622f2e7be8e..7a6460c9ca2db 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/query-acceleration/materialized-view/async-materialized-view/faq.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/query-acceleration/materialized-view/async-materialized-view/faq.md @@ -116,7 +116,7 @@ Unable to find a suitable base table for partitioning 通常是物化视图的 SQL 定义和分区字段的选择导致不能进行分区增量更新，从而创建分区物化视图时报错： -- 物化视图想要分区增量更新，需要满足相应要求，详情见 [物化视图刷新模式](../../../sql-manual/sql-statements/table-and-view/async-materialized-view/CREATE-ASYNC-MATERIALIZED-VIEW.md#optional-parameters)。 +- 物化视图想要分区增量更新，需要满足相应要求，详情见 [物化视图刷新模式](../../../sql-manual/sql-statements/table-and-view/async-materialized-view/CREATE-ASYNC-MATERIALIZED-VIEW.md#可选参数)。 - 最新版本可以提示分区构建失败的具体原因，原因摘要和说明见 [附录 2](#附录-2-异步物化视图分区构建失败原因)。 **示例**： @@ -369,7 +369,7 @@ your_query_sql; 1. 在 Doris 2.1.3 之前的版本中，物化视图透明改写功能默认关闭，需要打开对应开关才能实现透明改写。具体开关请参见异步物化视图相关开关。 2. 物化视图可能处于不可用状态。要查看物化视图的构建状态，请参见查看物化视图状态。 -3. 经过前两步检查后仍未命中，可能是物化视图的定义 SQL 和查询 SQL 不在当前透明改写能力范围内。详情参考 [物化视图透明改写能力](../../../query-acceleration/materialized-view/async-materialized-view/functions-and-demands.md#22-transparent-query-rewrite)。 +3. 经过前两步检查后仍未命中，可能是物化视图的定义 SQL 和查询 SQL 不在当前透明改写能力范围内。详情参考 [物化视图透明改写能力](../../../query-acceleration/materialized-view/async-materialized-view/functions-and-demands.md#22-查询透明改写)。 4. 失败命中的详细摘要信息和说明，请查阅 [附录 1](#附录-1-透明改写失败摘要信息)。 下面通过两个示例说明常见的透明改写失败场景。 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/query-acceleration/materialized-view/async-materialized-view/use-guide.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/query-acceleration/materialized-view/async-materialized-view/use-guide.md index f401df8ae7db2..7e11b9a9e9b7f 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/query-acceleration/materialized-view/async-materialized-view/use-guide.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/query-acceleration/materialized-view/async-materialized-view/use-guide.md @@ -148,7 +148,7 @@ 1. 物化视图的基表数据量很大，且基表为分区表。 2. 物化视图引用的非分区表不经常变化。 -3. 物化视图的定义 SQL 和分区字段满足分区推导要求（即符合分区增量更新要求）。详细要求参考：[CREATE-ASYNC-MATERIALIZED-VIEW](../../../sql-manual/sql-statements/table-and-view/async-materialized-view/CREATE-ASYNC-MATERIALIZED-VIEW#optional-parameters)。 +3. 物化视图的定义 SQL 和分区字段满足分区推导要求（即符合分区增量更新要求）。详细要求参考：[CREATE-ASYNC-MATERIALIZED-VIEW](../../../sql-manual/sql-statements/table-and-view/async-materialized-view/CREATE-ASYNC-MATERIALIZED-VIEW#可选参数)。 4. 物化视图分区数不多。分区过多会导致构建时间过长。 > 当物化视图的部分分区失效时，透明改写仍可使用有效分区 UNION ALL 基表来返回数据。 @@ -249,7 +249,7 @@ ### 4.1 分区映射关系 -物化视图的分区跟随基表分区映射创建，一般与基表分区为 1:1 或 1:n 关系。分区推导的详细要求请参考 [CREATE-ASYNC-MATERIALIZED-VIEW](../../../sql-manual/sql-statements/table-and-view/async-materialized-view/CREATE-ASYNC-MATERIALIZED-VIEW#optional-parameters) 和 [异步物化视图 FAQ Q12](../../../query-acceleration/materialized-view/async-materialized-view/faq#q12-error-when-building-a-partition-materialized-view)。 +物化视图的分区跟随基表分区映射创建，一般与基表分区为 1:1 或 1:n 关系。分区推导的详细要求请参考 [CREATE-ASYNC-MATERIALIZED-VIEW](../../../sql-manual/sql-statements/table-and-view/async-materialized-view/CREATE-ASYNC-MATERIALIZED-VIEW#可选参数) 和 [异步物化视图 FAQ Q12](../../../query-acceleration/materialized-view/async-materialized-view/faq#q12构建分区物化视图报错)。 ### 4.2 分区失效与刷新行为 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/sql-manual/sql-statements/cluster-management/compute-management/CREATE-RESOURCE.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/sql-manual/sql-statements/cluster-management/compute-management/CREATE-RESOURCE.md index 851a387c3236a..d71b30605f88c 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/sql-manual/sql-statements/cluster-management/compute-management/CREATE-RESOURCE.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/sql-manual/sql-statements/cluster-management/compute-management/CREATE-RESOURCE.md @@ -143,7 +143,7 @@ S3 相关参数如下： - `s3.connection.request.timeout`：s3 请求超时时间，单位毫秒，默认为 3000 - `s3.connection.timeout`：s3 连接超时时间，单位毫秒，默认为 1000 - Doris 也支持通过 `AWS Assume Role` 的方式创建 S3 Resource, 请参考如下文档配置和使用[AWS integration](../../../../admin-manual/auth/integrations/aws-authentication-and-authorization.md#assumed-role-authentication). + Doris 也支持通过 `AWS Assume Role` 的方式创建 S3 Resource, 请参考如下文档配置和使用[AWS integration](../../../../admin-manual/auth/integrations/aws-authentication-and-authorization.md#assumed-role-认证鉴权). **4. 创建 JDBC resource** diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/sql-manual/sql-statements/cluster-management/storage-management/CREATE-STORAGE-VAULT.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/sql-manual/sql-statements/cluster-management/storage-management/CREATE-STORAGE-VAULT.md index ba2cfd87b4959..17230b09a756c 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/sql-manual/sql-statements/cluster-management/storage-management/CREATE-STORAGE-VAULT.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/sql-manual/sql-statements/cluster-management/storage-management/CREATE-STORAGE-VAULT.md @@ -52,7 +52,7 @@ CREATE STORAGE VAULT [IF NOT EXISTS] <`vault_name`> [ <`properties`> ] 1. `s3.endpoint` 如果不提供`http://` 或 `https://` 前缀, 则默认使用http; 如提供，则会以前缀为准; -2. Doris也支持`AWS Assume Role`的方式创建Storage Vault(仅限于AWS S3)，配置方式请参考[AWS集成](../../../../admin-manual/auth/integrations/aws-authentication-and-authorization.md#assumed-role-authentication)。 +2. Doris也支持`AWS Assume Role`的方式创建Storage Vault(仅限于AWS S3)，配置方式请参考[AWS集成](../../../../admin-manual/auth/integrations/aws-authentication-and-authorization.md#assumed-role-认证鉴权)。 ### HDFS vault @@ -169,7 +169,7 @@ PROPERTIES ( **注意: ** -Doris也支持`AWS Assume Role`的方式创建Storage Vault(仅限于AWS S3)，配置方式请参考[AWS集成](../../../../admin-manual/auth/integrations/aws-authentication-and-authorization#assumed-role-authentication). +Doris也支持`AWS Assume Role`的方式创建Storage Vault(仅限于AWS S3)，配置方式请参考[AWS集成](../../../../admin-manual/auth/integrations/aws-authentication-and-authorization#assumed-role-认证鉴权). ### 7. 创建 MinIO storage vault。 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/sql-manual/sql-statements/data-modification/backup-and-restore/CREATE-REPOSITORY.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/sql-manual/sql-statements/data-modification/backup-and-restore/CREATE-REPOSITORY.md index f45f1349759f2..1eebdfd67324d 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/sql-manual/sql-statements/data-modification/backup-and-restore/CREATE-REPOSITORY.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/sql-manual/sql-statements/data-modification/backup-and-restore/CREATE-REPOSITORY.md @@ -47,7 +47,7 @@ CREATE [READ ONLY] REPOSITORY **Note: ** -Doris支持使用`AWS Assume Role`的方式创建位于AWS S3上的Repository，请参考[AWS集成](../../../../admin-manual/auth/integrations/aws-authentication-and-authorization.md#assumed-role-authentication). +Doris支持使用`AWS Assume Role`的方式创建位于AWS S3上的Repository，请参考[AWS集成](../../../../admin-manual/auth/integrations/aws-authentication-and-authorization.md#assumed-role-认证鉴权). ## 权限控制 @@ -85,7 +85,7 @@ PROPERTIES **Note: ** -Doris支持使用`AWS Assume Role`的方式创建位于AWS S3上的Repository，请参考[AWS集成](../../../../admin-manual/auth/integrations/aws-authentication-and-authorization.md#assumed-role-authentication). +Doris支持使用`AWS Assume Role`的方式创建位于AWS S3上的Repository，请参考[AWS集成](../../../../admin-manual/auth/integrations/aws-authentication-and-authorization.md#assumed-role-认证鉴权). 创建名为 hdfs_repo 的仓库 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/sql-manual/sql-statements/data-modification/load-and-export/CREATE-ROUTINE-LOAD.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/sql-manual/sql-statements/data-modification/load-and-export/CREATE-ROUTINE-LOAD.md index 44af4de228b1a..a4265ac00338f 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/sql-manual/sql-statements/data-modification/load-and-export/CREATE-ROUTINE-LOAD.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/sql-manual/sql-statements/data-modification/load-and-export/CREATE-ROUTINE-LOAD.md @@ -10,7 +10,7 @@ 例行导入（Routine Load）功能支持用户提交一个常驻的导入任务，通过不断地从指定的数据源读取数据，将数据导入到 Doris 中。 -目前仅支持通过无认证或者 SSL 认证方式，从 Kafka 导入 CSV 或 Json 格式的数据。 [导入 Json 格式数据使用示例](../../../../data-operate/import/import-way/routine-load-manual.md#导入Json格式数据使用示例) +目前仅支持通过无认证或者 SSL 认证方式，从 Kafka 导入 CSV 或 Json 格式的数据。 [导入 Json 格式数据使用示例](../../../../data-operate/import/import-way/routine-load-manual.md#导入-json-数据) ## 语法 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/sql-manual/sql-statements/table-and-view/table/CREATE-TABLE.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/sql-manual/sql-statements/table-and-view/table/CREATE-TABLE.md index ce3ca74769fe8..54e2ff426950f 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/sql-manual/sql-statements/table-and-view/table/CREATE-TABLE.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/sql-manual/sql-statements/table-and-view/table/CREATE-TABLE.md @@ -231,7 +231,7 @@ CREATE TABLE LIKE ** 和 ** -> 分桶列和分桶数。明细模型的分桶列可以是任意的列，聚合模型和主键模型的分桶列必须和 key 列保持一致。分桶数是任意的正整数。有关分桶的详细信息，请参阅[手动分桶](../../../../table-design/data-partitioning/data-bucketing#手动设置分桶数)和[自动分桶](../../../../table-design/data-partitioning/data-bucketing#自动设置分桶数)章节。 +> 分桶列和分桶数。明细模型的分桶列可以是任意的列，聚合模型和主键模型的分桶列必须和 key 列保持一致。分桶数是任意的正整数。有关分桶的详细信息，请参阅[手动分桶](../../../../table-design/data-partitioning/data-bucketing#1-手动设置分桶数)和[自动分桶](../../../../table-design/data-partitioning/data-bucketing#2-自动设置分桶数)章节。 ### 列的默认值相关参数 @@ -373,7 +373,7 @@ rollup 可以创建的同步物化视图功能有限。已不再推荐使用。 | group_commit_data_bytes | 配置这个表的 Group Commit 攒批数据大小。单位为 bytes，默认值为 134217728，即 128MB。Group Commit 的下刷时机取决于 `group_commit_interval_ms`以及`group_commit_data_bytes` 哪个先到设置的值。 | | enable_mow_light_delete | 是否在 Unique 表 Mow 上开启 Delete 语句写 Delete predicate。若开启，会提升 Delete 语句的性能，但 Delete 后进行部分列更新可能会出现部分数据错误的情况。若关闭，会降低 Delete 语句的性能来保证正确性。此属性的默认值为 `false`。此属性只能在 Unique Merge-on-Write 表上开启。 | | 动态分区相关属性 | 动态分区相关参考[数据划分 - 动态分区](../../../../table-design/data-partitioning/dynamic-partitioning) | -| enable_unique_key_skip_bitmap_column | 是否在 Unique Merge-on-Write 表上开启[灵活列更新功能](../../../../data-operate/update/update-of-unique-model.md#灵活部分列更新)。此属性只能在 Unique Merge-on-Write 表上开启。 | +| enable_unique_key_skip_bitmap_column | 是否在 Unique Merge-on-Write 表上开启[灵活列更新功能](../../../../data-operate/update/update-of-unique-model.md#部分列更新)。此属性只能在 Unique Merge-on-Write 表上开启。 | ## 权限控制 执行此 SQL 命令的[用户](../../../../admin-manual/auth/security-overview)必须至少具有以下[权限](../../../../admin-manual/auth/authorization/internal)： diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/table-design/data-partitioning/auto-partitioning.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/table-design/data-partitioning/auto-partitioning.md index 42446ab7bb557..a58624cd860d7 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/table-design/data-partitioning/auto-partitioning.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/table-design/data-partitioning/auto-partitioning.md @@ -293,7 +293,7 @@ properties( ## 与自动分桶联用 -只有 AUTO RANGE PARTITION 可以同时使用[自动分桶](./data-bucketing.md#自动设置分桶数)功能。 +只有 AUTO RANGE PARTITION 可以同时使用[自动分桶](./data-bucketing.md#2-自动设置分桶数)功能。 使用此组合时，Doris 假设表的数据导入按时间顺序增量进行，每次导入仅涉及一个分区。因此，**该组合仅推荐用于逐批次增量导入的表**。 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/table-design/data-partitioning/basic-concepts.mdx b/i18n/zh-CN/docusaurus-plugin-content-docs/current/table-design/data-partitioning/basic-concepts.mdx index a280f7cfc1efc..2d58cdf0b2452 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/table-design/data-partitioning/basic-concepts.mdx +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/table-design/data-partitioning/basic-concepts.mdx @@ -252,7 +252,7 @@ PROPERTIES ); ``` -关于该功能的细节说明，详见 [自动分区与动态分区联用](./auto-partitioning#与动态分区联用)。 +关于该功能的细节说明，详见 [自动分区与动态分区联用](./auto-partitioning#与自动分桶联用)。 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/table-design/tiered-storage/remote-storage.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/table-design/tiered-storage/remote-storage.md index 9ed9246ebaf23..94b874edead01 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/table-design/tiered-storage/remote-storage.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/table-design/tiered-storage/remote-storage.md @@ -42,7 +42,7 @@ | [使用限制](#使用限制) | 远程存储的功能限制 | | [冷数据空间管理](#冷数据空间管理) | 查看与回收冷数据 | | [查询与性能优化](#查询与性能优化) | 本地 Cache 机制 | -| [常见问题（FAQ）](#常见问题-faq) | 错误排查与配置说明 | +| [常见问题（FAQ）](#常见问题faq) | 错误排查与配置说明 | ## 使用方法 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/table-design/tiered-storage/tiered-ssd-hdd.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/table-design/tiered-storage/tiered-ssd-hdd.md index 7a159a4e08841..90f39a3cc3f74 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/table-design/tiered-storage/tiered-ssd-hdd.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/table-design/tiered-storage/tiered-ssd-hdd.md @@ -34,8 +34,8 @@ Doris 支持在 SSD 与 HDD 之间进行层级存储。通过结合动态分区 - [核心概念](#核心概念)：动态分区与层级存储的关系 - [参数说明](#参数说明)：`hot_partition_num` 与 `storage_medium` 的使用 - [使用示例](#使用示例)：建表 SQL 与分区分布验证 -- [常见问题（FAQ）](#常见问题-faq)：使用过程中常见问题 -- [故障排查（Troubleshooting）](#故障排查-troubleshooting)：分区创建失败等异常处理 +- [常见问题（FAQ）](#常见问题faq)：使用过程中常见问题 +- [故障排查（Troubleshooting）](#故障排查troubleshooting)：分区创建失败等异常处理 ## 核心概念 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/admin-manual/cluster-management/upgrade.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/admin-manual/cluster-management/upgrade.md index ffbdb069fbfa3..f9900f0b16600 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/admin-manual/cluster-management/upgrade.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/admin-manual/cluster-management/upgrade.md @@ -65,7 +65,7 @@ Doris 可以通过滚动升级的方式，平滑进行升级。建议按照以 10. **以上 2-6 步的目的是防止测试环境的FE启动后，错误连接到线上环境中。** **注：** -1.1.x 版本升级 1.2.x 版本时，需要先删除已有的原生 UDF ；否则会导致FE启动失败；并且1.2版本开始不再对原生 UDF提供支持，请使用 [Java UDF](../../ecosystem/udf/java-user-defined-function.md)。 +1.1.x 版本升级 1.2.x 版本时，需要先删除已有的原生 UDF ；否则会导致FE启动失败；并且1.2版本开始不再对原生 UDF提供支持，请使用 Java UDF。 ## 升级准备 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/admin-manual/data-admin/backup.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/admin-manual/data-admin/backup.md index b7b4a53b73401..cedee03b7bfb2 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/admin-manual/data-admin/backup.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/admin-manual/data-admin/backup.md @@ -156,7 +156,7 @@ BACKUP 的更多用法可参考 [这里](../../sql-manual/sql-reference/Data-Def 1. CREATE REPOSITORY - 创建一个远端仓库路径，用于备份或恢复。该命令需要借助 Broker 进程访问远端存储，不同的 Broker 需要提供不同的参数，具体请参阅 [Broker 文档](../../data-operate/import/broker-load-manual#其他-broker-导入)，也可以直接通过 S3 协议备份到支持 AWS S3 协议的远程存储上去，也可以直接备份到 HDFS，具体参考 [创建远程仓库文档](../../sql-manual/sql-reference/Data-Definition-Statements/Backup-and-Restore/CREATE-REPOSITORY.md) + 创建一个远端仓库路径，用于备份或恢复。该命令需要借助 Broker 进程访问远端存储，不同的 Broker 需要提供不同的参数，具体请参阅 Broker 文档，也可以直接通过 S3 协议备份到支持 AWS S3 协议的远程存储上去，也可以直接备份到 HDFS，具体参考 [创建远程仓库文档](../../sql-manual/sql-reference/Data-Definition-Statements/Backup-and-Restore/CREATE-REPOSITORY.md) 2. BACKUP diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/admin-manual/maint-monitor/disk-capacity.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/admin-manual/maint-monitor/disk-capacity.md index e0c91c716e7fa..c02b98d7a30a6 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/admin-manual/maint-monitor/disk-capacity.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/admin-manual/maint-monitor/disk-capacity.md @@ -137,6 +137,6 @@ capacity_min_left_bytes_flood_stage 默认 1GB。 `rm -rf data/0/12345/` - - 删除 Tablet 元数据（具体参考 [Tablet 元数据管理工具](../trouble-shooting/tablet-meta-tool.md)） + - 删除 Tablet 元数据（具体参考 Tablet 元数据管理工具） `./lib/meta_tool --operation=delete_header --root_path=/path/to/root_path --tablet_id=12345 --schema_hash= 352781111` diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/admin-manual/maint-monitor/memory-management/be-oom-analysis.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/admin-manual/maint-monitor/memory-management/be-oom-analysis.md index 65d50feff3949..0b847ea205607 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/admin-manual/maint-monitor/memory-management/be-oom-analysis.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/admin-manual/maint-monitor/memory-management/be-oom-analysis.md @@ -12,7 +12,7 @@ 理想情况下，在 [Memory Limit Exceeded Analysis](./memory-limit-exceeded-analysis.md) 中我们定时检测操作系统剩余可用内存，并在内存不足时及时响应，如触发内存GC释放缓存或cancel内存超限的查询，但因为刷新进程内存统计和内存GC都具有一定的滞后性，同时我们很难完全catch所有大内存申请，在集群压力过大时仍有OOM风险。 ## 解决方法 -参考 [BE 配置项](../../../config/be-config) 在`be.conf`中调小`mem_limit`，调大`max_sys_mem_available_low_water_mark_bytes`。 +参考 BE 配置项 在`be.conf`中调小`mem_limit`，调大`max_sys_mem_available_low_water_mark_bytes`。 ## 内存分析 若希望进一步了解 OOM 前BE进程的内存使用位置，减少进程内存使用，可参考如下步骤分析。 @@ -56,7 +56,7 @@ Memory Tracker Summary: 6. `type=load`导入内存使用多时。 -7. `type=global`内存使用多时，继续查看`Memory Tracker Summary`日志后半部分已经打出得`type=global`详细统计。当 DataPageCache、IndexPageCache、SegmentCache、ChunkAllocator、LastestSuccessChannelCache 等内存使用多时，参考 [BE 配置项](../../../config/be-config) 考虑修改cache的大小；当 Orphan 内存使用过多时，如下继续分析。 +7. `type=global`内存使用多时，继续查看`Memory Tracker Summary`日志后半部分已经打出得`type=global`详细统计。当 DataPageCache、IndexPageCache、SegmentCache、ChunkAllocator、LastestSuccessChannelCache 等内存使用多时，参考 BE 配置项 考虑修改cache的大小；当 Orphan 内存使用过多时，如下继续分析。 - 若`Parent Label=Orphan`的tracker统计值相加只占 Orphan 内存的小部分，则说明当前有大量内存没有准确统计，比如 brpc 过程的内存，此时可以考虑借助 heap profile [Memory Tracker](https://doris.apache.org/zh-CN/community/developer-guide/debug-tool) 中的方法进一步分析内存位置。 - 若`Parent Label=Orphan`的tracker统计值相加占 Orphan 内存的大部分，当`Label=TabletManager`内存使用多时，进一步查看集群 Tablet 数量，若 Tablet 数量过多则考虑删除过时不会被使用的表或数据；当`Label=StorageEngine`内存使用过多时，进一步查看集群 Segment 文件个数，若 Segment 文件个数过多则考虑手动触发compaction； diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/advanced/variables.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/advanced/variables.md index 88b7a3e425fda..afd5d57383994 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/advanced/variables.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/advanced/variables.md @@ -5,6 +5,8 @@ } --- + + # 变量 本文档主要介绍当前支持的变量（variables）。 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/benchmark/ssb.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/benchmark/ssb.md index 5d9e30b272a8b..e9babcda9318a 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/benchmark/ssb.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/benchmark/ssb.md @@ -85,7 +85,7 @@ ## 6. 环境准备 -请先参照 [官方文档](../install/deploy-manually/storage-compute-coupled-deploy-manually) 进行 Apache Doris 的安装部署，以获得一个正常运行中的 Doris 集群（至少包含 1 FE 1 BE，推荐 1 FE 3 BE）。 +请先参照 官方文档 进行 Apache Doris 的安装部署，以获得一个正常运行中的 Doris 集群（至少包含 1 FE 1 BE，推荐 1 FE 3 BE）。 ## 7. 数据准备 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/benchmark/tpcds.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/benchmark/tpcds.md index 083471626b723..fe2aca0d27bda 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/benchmark/tpcds.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/benchmark/tpcds.md @@ -179,7 +179,7 @@ TPC-DS 99 个测试查询语句： [TPC-DS-Query-SQL](https://github.com/apache/ ## 6. 环境准备 -请先参照 [官方文档](../install/deploy-manually/storage-compute-coupled-deploy-manually) 进行 Doris 的安装部署，以获得一个正常运行中的 Doris 集群（至少包含 1 FE 1 BE，推荐 1 FE 3 BE）。 +请先参照 官方文档 进行 Doris 的安装部署，以获得一个正常运行中的 Doris 集群（至少包含 1 FE 1 BE，推荐 1 FE 3 BE）。 ## 7. 数据准备 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/benchmark/tpch.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/benchmark/tpch.md index d3397a9d3f250..dac9f3c1777c7 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/benchmark/tpch.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/benchmark/tpch.md @@ -84,7 +84,7 @@ TPC-H 22 个测试查询语句： [TPCH-Query-SQL](https://github.com/apache/dor ## 6. 环境准备 -请先参照 [官方文档](../install/deploy-manually/storage-compute-coupled-deploy-manually) 进行 Doris 的安装部署，以获得一个正常运行中的 Doris 集群（至少包含 1 FE 1 BE，推荐 1 FE 3 BE）。 +请先参照 官方文档 进行 Doris 的安装部署，以获得一个正常运行中的 Doris 集群（至少包含 1 FE 1 BE，推荐 1 FE 3 BE）。 ## 7. 数据准备 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/data-operate/import/import-scenes/external-table-load.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/data-operate/import/import-scenes/external-table-load.md index f4c292c1e906d..bad3b5d791c39 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/data-operate/import/import-scenes/external-table-load.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/data-operate/import/import-scenes/external-table-load.md @@ -24,7 +24,7 @@ Doris 外部表目前支持的数据源包括： ## 创建外部表 -创建 ODBC 外部表的详细介绍请参阅 [CREATE EXTERNAL TABLE](../../../sql-manual/sql-reference/Data-Definition-Statements/Create/CREATE-EXTERNAL-TABLE.md) 语法帮助手册。 +创建 ODBC 外部表的详细介绍请参阅 CREATE EXTERNAL TABLE 语法帮助手册。 这里仅通过示例说明使用方式。 @@ -108,4 +108,4 @@ PROPERTIES ( ## 更多帮助 -关于 CREATE EXTERNAL TABLE 的更多详细语法和最佳实践，请参阅 [CREATE EXTERNAL TABLE](../../../sql-manual/sql-reference/Data-Definition-Statements/Create/CREATE-EXTERNAL-TABLE.md) 命令手册。 +关于 CREATE EXTERNAL TABLE 的更多详细语法和最佳实践，请参阅 CREATE EXTERNAL TABLE 命令手册。 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/data-operate/import/import-way/load-json-format.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/data-operate/import/import-way/load-json-format.md index 822f224d8e673..7299a602333c8 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/data-operate/import/import-way/load-json-format.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/data-operate/import/import-way/load-json-format.md @@ -9,10 +9,10 @@ -理想情况下，在 [Memory Limit Exceeded Analysis](./memory-limit-exceeded-analysis.md) 中我们定时检测操作系统剩余可用内存，并在内存不足时及时响应，如触发内存 GC 释放缓存或 cancel 内存超限的查询，但因为刷新进程内存统计和内存 GC 都具有一定的滞后性，同时我们很难完全 catch 所有大内存申请，在集群压力过大时仍有 OOM 风险。 +理想情况下，在 Memory Limit Exceeded Analysis 中我们定时检测操作系统剩余可用内存，并在内存不足时及时响应，如触发内存 GC 释放缓存或 cancel 内存超限的查询，但因为刷新进程内存统计和内存 GC 都具有一定的滞后性，同时我们很难完全 catch 所有大内存申请，在集群压力过大时仍有 OOM 风险。 ## 解决方法 -参考 [BE 配置项](../../../config/be-config) 在`be.conf`中调小`mem_limit`，调大`max_sys_mem_available_low_water_mark_bytes`。 +参考 BE 配置项 在`be.conf`中调小`mem_limit`，调大`max_sys_mem_available_low_water_mark_bytes`。 ## 内存分析 若希望进一步了解 OOM 前 BE 进程的内存使用位置，减少进程内存使用，可参考如下步骤分析。 @@ -48,15 +48,15 @@ Memory Tracker Summary: MemTrackerLimiter Label=DeleteBitmap AggCache, Type=global, Limit=-1.00 B(-1 B), Used=0(0 B), Peak=0(0 B) ``` -3. 当 OOM 前 be/log/be.INFO 的最后包含系统内存超限的日志时，参考 [Memory Limit Exceeded Analysis](./memory-limit-exceeded-analysis.md) 中的日志分析方法，查看进程每个类别的内存使用情况。若当前是`type=query`内存使用较多，若已知 OOM 前的查询继续步骤 4，否则继续步骤 5；若当前是`type=load`内存使用多继续步骤 6，若当前是`type=global`内存使用多继续步骤 7。 +3. 当 OOM 前 be/log/be.INFO 的最后包含系统内存超限的日志时，参考 Memory Limit Exceeded Analysis 中的日志分析方法，查看进程每个类别的内存使用情况。若当前是`type=query`内存使用较多，若已知 OOM 前的查询继续步骤 4，否则继续步骤 5；若当前是`type=load`内存使用多继续步骤 6，若当前是`type=global`内存使用多继续步骤 7。 -4. `type=query`查询内存使用多，且已知 OOM 前的查询时，比如测试集群或定时任务，重启 BE 节点，参考 [Memory Tracker](./memory-tracker.md) 查看实时 memory tracker 统计，`set global enable_profile=true`后重试查询，观察具体算子的内存使用位置，确认查询内存使用是否合理，进一步考虑优化 SQL 内存使用，比如调整 join 顺序。 +4. `type=query`查询内存使用多，且已知 OOM 前的查询时，比如测试集群或定时任务，重启 BE 节点，参考 Memory Tracker 查看实时 memory tracker 统计，`set global enable_profile=true`后重试查询，观察具体算子的内存使用位置，确认查询内存使用是否合理，进一步考虑优化 SQL 内存使用，比如调整 join 顺序。 5. `type=query`查询内存使用多，且未知 OOM 前的查询时，比如位于线上集群，则在`be/log/be.INFO`从后向前搜`Deregister query/load memory tracker, queryId` 和 `Register query/load memory tracker, query/load id`，同一个 query id 若同时打出上述两行日志则表示查询或导入成功，若只有 Register 没有 Deregister，则这个查询或导入在 OOM 前仍在运行，这样可以得到 OOM 前所有正在运行的查询和导入，按照步骤 4 的方法对可疑大内存查询分析其内存使用。 6. `type=load`导入内存使用多时。 -7. `type=global`内存使用多时，继续查看`Memory Tracker Summary`日志后半部分已经打出得`type=global`详细统计。当 DataPageCache、IndexPageCache、SegmentCache、ChunkAllocator、LastestSuccessChannelCache 等内存使用多时，参考 [BE 配置项](../../../config/be-config) 考虑修改 cache 的大小；当 Orphan 内存使用过多时，如下继续分析。 +7. `type=global`内存使用多时，继续查看`Memory Tracker Summary`日志后半部分已经打出得`type=global`详细统计。当 DataPageCache、IndexPageCache、SegmentCache、ChunkAllocator、LastestSuccessChannelCache 等内存使用多时，参考 BE 配置项 考虑修改 cache 的大小；当 Orphan 内存使用过多时，如下继续分析。 - 若`Parent Label=Orphan`的 tracker 统计值相加只占 Orphan 内存的小部分，则说明当前有大量内存没有准确统计，比如 brpc 过程的内存，此时可以考虑借助 heap profile [Memory Tracker](https://doris.apache.org/zh-CN/community/developer-guide/debug-tool) 中的方法进一步分析内存位置。 - 若`Parent Label=Orphan`的 tracker 统计值相加占 Orphan 内存的大部分，当`Label=TabletManager`内存使用多时，进一步查看集群 Tablet 数量，若 Tablet 数量过多则考虑删除过时不会被使用的表或数据；当`Label=StorageEngine`内存使用过多时，进一步查看集群 Segment 文件个数，若 Segment 文件个数过多则考虑手动触发 compaction； diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/data-operate/update-delete/update.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/data-operate/update-delete/update.md index d27a33569356d..ff97fa77ad108 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/data-operate/update-delete/update.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/data-operate/update-delete/update.md @@ -103,7 +103,7 @@ Query OK, 1 row affected (0.11 sec) | 1 | 100 | 待发货 | ## 更新Key列 -目前Update操作只支持更新Value列，Key列的更新可参考[使用FlinkCDC更新Key列](../../ecosystem/flink-doris-connector.md#使用FlinkCDC更新Key列) +目前Update操作只支持更新Value列，Key列的更新可参考[使用FlinkCDC更新Key列](../../ecosystem/flink-doris-connector.md#使用-flink-cdc-更新-key-列) ## 更多帮助 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/data-table/data-partition.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/data-table/data-partition.md index 6dc01349d485d..ca1eb9d35e0fe 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/data-table/data-partition.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/data-table/data-partition.md @@ -396,7 +396,7 @@ Doris 支持两层的数据划分。第一层是 Partition，支持 Range 和 Li - 预分配内存失败。可能是表中一行的字节长度超过了 100KB。 - `Too many open files`。打开的文件句柄数超过了 Linux 系统限制。需修改 Linux 系统的句柄数限制。 - 如果创建数据分片时超时，也可以通过在 fe.conf 中设置 `tablet_create_timeout_second=xxx` 以及 `max_create_table_timeout_second=xxx` 来延长超时时间。其中 `tablet_create_timeout_second` 默认是 1 秒，`max_create_table_timeout_second` 默认是 60 秒，总体的超时时间为 min(tablet_create_timeout_second * replication_num, max_create_table_timeout_second)，具体参数设置可参阅 [FE 配置项](../../admin-manual/config/fe-config.md) 。 + 如果创建数据分片时超时，也可以通过在 fe.conf 中设置 `tablet_create_timeout_second=xxx` 以及 `max_create_table_timeout_second=xxx` 来延长超时时间。其中 `tablet_create_timeout_second` 默认是 1 秒，`max_create_table_timeout_second` 默认是 60 秒，总体的超时时间为 min(tablet_create_timeout_second * replication_num, max_create_table_timeout_second)，具体参数设置可参阅 FE 配置项 。 3. 建表命令长时间不返回结果。 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/ecosystem/dbt-doris-adapter.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/ecosystem/dbt-doris-adapter.md index 1df1a5264e595..bb983dbea2cf2 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/ecosystem/dbt-doris-adapter.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/ecosystem/dbt-doris-adapter.md @@ -103,7 +103,7 @@ models: 2. 判断 `this_table` 是否不存在，即是首次创建，执行`rename`，将临时表变更为最终表。 -3. 若已经存在，则 `alter table this_table REPLACE WITH TABLE this_table_temp PROPERTIES('swap' = 'False')`，此操作可以交换表名并且删除`this_table_temp`临时表，[此过程](../sql-manual/sql-statements/Data-Definition-Statements/Alter/ALTER-TABLE-REPLACE)通过 Doris 内核的事务机制保证本次操作原子性。 +3. 若已经存在，则 `alter table this_table REPLACE WITH TABLE this_table_temp PROPERTIES('swap' = 'False')`，此操作可以交换表名并且删除`this_table_temp`临时表，此过程通过 Doris 内核的事务机制保证本次操作原子性。 ``` 优点：table查询速度会比view快。 缺点：table需要较长时间才能构建或重建，会额外存储数据，而且不能够做增量数据同步。 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/ecosystem/flink-doris-connector.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/ecosystem/flink-doris-connector.md index 20b91a5ca4f3d..95c41a777de82 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/ecosystem/flink-doris-connector.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/ecosystem/flink-doris-connector.md @@ -7,6 +7,8 @@ } --- + + # Flink Doris Connector diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/ecosystem/hive-bitmap-udf.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/ecosystem/hive-bitmap-udf.md index bc43adf5950d9..bd298dfaba10a 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/ecosystem/hive-bitmap-udf.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/ecosystem/hive-bitmap-udf.md @@ -113,7 +113,7 @@ CREATE TABLE IF NOT EXISTS `test`.`hive_bitmap_table`( ) stored as textfile ``` -2. [在 Doris 中创建 Catalog](../lakehouse/datalake-analytics/hive.md) +2. 在 Doris 中创建 Catalog ```sql CREATE CATALOG hive PROPERTIES ( diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/ecosystem/seatunnel.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/ecosystem/seatunnel.md index 18afbf273daa3..a3b56aa353b2a 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/ecosystem/seatunnel.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/ecosystem/seatunnel.md @@ -58,7 +58,7 @@ Stream Load 导入使用的标签前缀。在 2pc 场景下，需要全局唯一 是否启用删除。该选项需要 Doris 表开启批量删除功能 (默认开启 0.15+ 版本)，且只支持 Unique 表模型。你可以在这个链接获得更多细节： -[批量删除](../data-operate/delete/batch-delete-manual.md) +批量删除 `doris.config [map]` diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/faq/install-faq.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/faq/install-faq.md index 4e9e4dd00d567..02d7187b5dee8 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/faq/install-faq.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/faq/install-faq.md @@ -246,7 +246,7 @@ http { 2. 集群内多数 Follower FE 节点未启动。比如有 3 个 Follower，只启动了一个。此时需要将另外至少一个 FE 也启动，FE 可选举组方能选举出 Master 已提供服务。 -如果以上情况都不能解决，可以按照 Doris 官网文档中的[元数据运维文档](../admin-manual/trouble-shooting/metadata-operation.md)进行恢复。 +如果以上情况都不能解决，可以按照 Doris 官网文档中的元数据运维文档进行恢复。 ### Q10. Lost connection to MySQL server at 'reading initial communication packet', system error: 0 @@ -256,7 +256,7 @@ http { 有时重启 FE，会出现如上错误（通常只会出现在多 Follower 的情况下）。并且错误中的两个数值相差 2。导致 FE 启动失败。 -这是 bdbje 的一个 bug，尚未解决。遇到这种情况，只能通过[元数据运维文档](../admin-manual/trouble-shooting/metadata-operation.md) 中的 故障恢复 进行操作来恢复元数据了。 +这是 bdbje 的一个 bug，尚未解决。遇到这种情况，只能通过元数据运维文档 中的 故障恢复 进行操作来恢复元数据了。 ### Q12. Doris 编译安装 JDK 版本不兼容问题 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/faq/sql-faq.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/faq/sql-faq.md index d92b061bf438a..068612c8f0d9b 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/faq/sql-faq.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/faq/sql-faq.md @@ -46,7 +46,7 @@ Doris 的 Master FE 节点会主动发送心跳给各个 FE 或 BE 节点，并 那么可能副本 1 的结果是 `1, "abc"`，而副本 2 的结果是 `1, "def"`。从而导致查询结果不一致。 -为了确保不同副本之间的数据先后顺序唯一，可以参考 [Sequence Column](../data-operate/update/update-of-unique-model) 功能。 +为了确保不同副本之间的数据先后顺序唯一，可以参考 Sequence Column 功能。 ### Q5. 查询 bitmap/hll 类型的数据返回 NULL 的问题 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/gettingStarted/quick-start.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/gettingStarted/quick-start.md index 22e19f5272401..f08cf7a87f97e 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/gettingStarted/quick-start.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/gettingStarted/quick-start.md @@ -93,7 +93,7 @@ mysql -uroot -P9030 -h127.0.0.1 :::caution 注意 -- 这里使用的 Root 用户是 Apache Doris 内置的超级管理员用户，具体的用户权限查看 [认证和鉴权](../admin-manual/auth/authentication-and-authorization.md) +- 这里使用的 Root 用户是 Apache Doris 内置的超级管理员用户，具体的用户权限查看 认证和鉴权 - -P：这里是我们连接 Apache Doris 的查询端口，默认端口是 9030，对应的是 fe.conf 里的 `query_port` - -h：这里是我们连接的 FE IP 地址，如果你的客户端和 FE 安装在同一个节点可以使用 127.0.0.1。 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/install/construct-docker/construct-docker-image.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/install/construct-docker/construct-docker-image.md index 88c2058488d08..d0e657ed7f18e 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/install/construct-docker/construct-docker-image.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/install/construct-docker/construct-docker-image.md @@ -55,7 +55,7 @@ Dockerfile 脚本编写需要注意以下几点： ### 准备二进制包 -需要注意的是，如有定制化开发需求，则需要自己修改源码后进行[编译](../source-install/compilation-general.md)打包，然后放置至构建目录即可。 +需要注意的是，如有定制化开发需求，则需要自己修改源码后进行编译打包，然后放置至构建目录即可。 若无特殊需求，直接[下载](https://doris.apache.org/zh-CN/download)官网提供的二进制包即可。 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/install/k8s-deploy.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/install/k8s-deploy.md index f734745671f00..f3d1b42fd55f3 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/install/k8s-deploy.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/install/k8s-deploy.md @@ -58,9 +58,9 @@ 用户需要自行挂载pvc，持久化元数据信息，数据信息或者日志信息等 - 怎么安全缩容BE节点？ - BE:当前缩容之前需要用户手动执行[ALTER-SYSTEM-DECOMMISSION-BACKEND](../../docs/sql-manual/sql-reference/Cluster-Management-Statements/ALTER-SYSTEM-DECOMMISSION-BACKEND) + BE:当前缩容之前需要用户手动执行ALTER-SYSTEM-DECOMMISSION-BACKEND - BE(角色类型为 Compute Node): 不存储数据文件，可以直接进行缩容，[关于计算节点](../../docs/advanced/compute_node) + BE(角色类型为 Compute Node): 不存储数据文件，可以直接进行缩容，关于计算节点 - FE启动报错"failed to init statefulSetName" doris_follower.yml的环境变量 statefulSetName和serviceName必须成对出现，比如配置了CN_SERVICE，就必须配置CN_STATEFULSET diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/install/standard-deployment.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/install/standard-deployment.md index 18a7fd01e6c54..e00a299444eaf 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/install/standard-deployment.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/install/standard-deployment.md @@ -135,7 +135,7 @@ BROKER 当前没有，也不需要 priority\_networks 这个选项。Broker 的 doris默认为表名大小写敏感，如有表名大小写不敏感的需求需在集群初始化时进行设置。表名大小写敏感性在集群初始化完成后不可再修改。 -详细参见 [变量](../advanced/variables.md##支持的变量) 中关于`lower_case_table_names`变量的介绍。 +详细参见 [变量](../advanced/variables.md#支持的变量) 中关于`lower_case_table_names`变量的介绍。 ## 集群部署 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/lakehouse/external-table/jdbc.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/lakehouse/external-table/jdbc.md index dbed70e7b7060..f02acb6386ff4 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/lakehouse/external-table/jdbc.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/lakehouse/external-table/jdbc.md @@ -5,6 +5,8 @@ } --- + + # JDBC 外表 @@ -378,8 +380,8 @@ PROPERTIES ( ### OceanBase -MySQL 模式请参考 [MySQL 类型映射](#MySQL) -Oracle 模式请参考 [Oracle 类型映射](#Oracle) +MySQL 模式请参考 [MySQL 类型映射](#mysql) +Oracle 模式请参考 [Oracle 类型映射](#oracle) ## Q&A diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/lakehouse/multi-catalog/jdbc.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/lakehouse/multi-catalog/jdbc.md index 4fb6ef6be7a14..8143c2d4e6236 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/lakehouse/multi-catalog/jdbc.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/lakehouse/multi-catalog/jdbc.md @@ -5,6 +5,8 @@ } --- + + # JDBC JDBC Catalog 通过标准 JDBC 协议，连接其他数据源。 @@ -483,8 +485,8 @@ set enable_odbc_transcation = true; ### OceanBase -MySQL 模式请参考 [MySQL 类型映射](#MySQL) -Oracle 模式请参考 [Oracle 类型映射](#Oracle) +MySQL 模式请参考 [MySQL 类型映射](#mysql) +Oracle 模式请参考 [Oracle 类型映射](#oracle) ## 常见问题 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/sql-manual/sql-functions/date-time-functions/day-ceil.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/sql-manual/sql-functions/date-time-functions/day-ceil.md index 7946c029c5599..a7abb61779ce8 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/sql-manual/sql-functions/date-time-functions/day-ceil.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/sql-manual/sql-functions/date-time-functions/day-ceil.md @@ -40,4 +40,4 @@ mysql> select day_ceil("2023-07-13 22:28:18", 5); ### Best Practices -还可参阅 [date_ceil](./date_ceil) +还可参阅 date_ceil diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/sql-manual/sql-functions/table-functions/hdfs.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/sql-manual/sql-functions/table-functions/hdfs.md index 8c32ed1f4d7a3..d8f993cf1907f 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/sql-manual/sql-functions/table-functions/hdfs.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/sql-manual/sql-functions/table-functions/hdfs.md @@ -49,7 +49,7 @@ hdfs( - `column_separator`：(选填) 列分割符, 默认为`,`。 - `line_delimiter`：(选填) 行分割符，默认为`\n`。 - 下面6个参数是用于json格式的导入，具体使用方法可以参照：[Json Load](../../../data-operate/import/file-format/json) + 下面6个参数是用于json格式的导入，具体使用方法可以参照：Json Load - `read_json_by_line`： (选填) 默认为 `"true"` - `strip_outer_array`： (选填) 默认为 `"false"` diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/sql-manual/sql-functions/table-functions/s3.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/sql-manual/sql-functions/table-functions/s3.md index 4ed51d4e6ed97..fac39b086f5be 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/sql-manual/sql-functions/table-functions/s3.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/sql-manual/sql-functions/table-functions/s3.md @@ -51,7 +51,7 @@ S3 tvf中的每一个参数都是一个 `"key"="value"` 对。 - `column_separator`：(选填) 列分割符, 默认为`,`。 - `line_delimiter`：(选填) 行分割符，默认为`\n`。 - 下面6个参数是用于json格式的导入，具体使用方法可以参照：[Json Load](../../../data-operate/import/file-format/json) + 下面6个参数是用于json格式的导入，具体使用方法可以参照：Json Load - `read_json_by_line`： (选填) 默认为 `"true"` - `strip_outer_array`： (选填) 默认为 `"false"` @@ -289,7 +289,7 @@ MySQL [(none)]> Desc function s3("uri" = "http://127.0.0.1:9312/test2/student_wi **json foramt** -`json` 格式：json格式涉及到较多的可选参数，各个参数的意义可以参考：[Json Load](../../../data-operate/import/file-format/json)。 S3 tvf查询json格式文件时根据 `json_root` 和 `jsonpaths` 参数定位到一个json对象，将该对象的中的`key` 作为table schema的列名，列类型都设置为String。举例： +`json` 格式：json格式涉及到较多的可选参数，各个参数的意义可以参考：Json Load。 S3 tvf查询json格式文件时根据 `json_root` 和 `jsonpaths` 参数定位到一个json对象，将该对象的中的`key` 作为table schema的列名，列类型都设置为String。举例： data.json文件 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/sql-manual/sql-reference/Data-Definition-Statements/Create/CREATE-TABLE.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/sql-manual/sql-reference/Data-Definition-Statements/Create/CREATE-TABLE.md index e570ea1789d63..5a92da6341dfd 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/sql-manual/sql-reference/Data-Definition-Statements/Create/CREATE-TABLE.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/sql-manual/sql-reference/Data-Definition-Statements/Create/CREATE-TABLE.md @@ -9,7 +9,7 @@ ## 描述 -该命令用于创建一张表。本文档主要介绍创建 Doris 自维护的表的语法。外部表语法请参阅 [CREATE-EXTERNAL-TABLE](./CREATE-EXTERNAL-TABLE.md)文档。 +该命令用于创建一张表。本文档主要介绍创建 Doris 自维护的表的语法。外部表语法请参阅 CREATE-EXTERNAL-TABLE文档。 ```sql CREATE TABLE [IF NOT EXISTS] [database.]table @@ -152,7 +152,7 @@ distribution_desc * `engine_type` - 表引擎类型。本文档中类型皆为 OLAP。其他外部表引擎类型见 [CREATE EXTERNAL TABLE](./CREATE-EXTERNAL-TABLE.md) 文档。示例： + 表引擎类型。本文档中类型皆为 OLAP。其他外部表引擎类型见 CREATE EXTERNAL TABLE 文档。示例： `ENGINE=olap` diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/sql-manual/sql-reference/Data-Manipulation-Statements/Load/CREATE-ROUTINE-LOAD.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/sql-manual/sql-reference/Data-Manipulation-Statements/Load/CREATE-ROUTINE-LOAD.md index 5b887593eb326..01d604cb39d99 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/sql-manual/sql-reference/Data-Manipulation-Statements/Load/CREATE-ROUTINE-LOAD.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/sql-manual/sql-reference/Data-Manipulation-Statements/Load/CREATE-ROUTINE-LOAD.md @@ -267,7 +267,7 @@ FROM data_source [data_source_properties] 当参数的 value 为一个文件时，需要在 value 前加上关键词："FILE:"。 - 关于如何创建文件，请参阅 [CREATE FILE](../../../Data-Definition-Statements/Create/CREATE-FILE) 命令文档。 + 关于如何创建文件，请参阅 CREATE FILE 命令文档。 更多支持的自定义参数，请参阅 librdkafka 的官方 CONFIGURATION 文档中，client 端的配置项。如： diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/sql-manual/sql-reference/Data-Manipulation-Statements/Load/MYSQL-LOAD.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/sql-manual/sql-reference/Data-Manipulation-Statements/Load/MYSQL-LOAD.md index 8e50449063cf5..558c9d361eb02 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/sql-manual/sql-reference/Data-Manipulation-Statements/Load/MYSQL-LOAD.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/sql-manual/sql-reference/Data-Manipulation-Statements/Load/MYSQL-LOAD.md @@ -42,7 +42,7 @@ INTO TABLE tbl_name 6. `COLUMNS TERMINATED BY`指定列分隔符 7. `LINES TERMINATED BY`指定行分隔符 8. `IGNORE num LINES`用户跳过CSV的表头, 可以跳过任意行数. 该语法也可以用`IGNORE num ROWS`代替 -9. 列映射语法, 具体参数详见[导入的数据转换](../../../../data-operate/import/import-way/mysql-load-manual.md) 的列映射章节 +9. 列映射语法, 具体参数详见导入的数据转换 的列映射章节 10. `PROPERTIES`参数配置, 详见下文 ### PROPERTIES diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/sql-manual/sql-reference/Data-Manipulation-Statements/Manipulation/UPDATE.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/sql-manual/sql-reference/Data-Manipulation-Statements/Manipulation/UPDATE.md index 3a5f437cdae01..a047e13843187 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/sql-manual/sql-reference/Data-Manipulation-Statements/Manipulation/UPDATE.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/sql-manual/sql-reference/Data-Manipulation-Statements/Manipulation/UPDATE.md @@ -15,7 +15,7 @@ UPDATE 该语句是为进行对数据进行更新的操作，UPDATE 语句目前仅支持 UNIQUE KEY 模型。 -UPDATE操作目前只支持更新Value列，Key列的更新可参考[使用FlinkCDC更新Key列](../../../../ecosystem/flink-doris-connector.md#使用flinkcdc更新key列)。 +UPDATE操作目前只支持更新Value列，Key列的更新可参考[使用FlinkCDC更新Key列](../../../../ecosystem/flink-doris-connector.md#使用-flink-cdc-更新-key-列)。 ## 语法 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/sql-manual/sql-reference/Show-Statements/SHOW-ALTER-TABLE-MATERIALIZED-VIEW.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/sql-manual/sql-reference/Show-Statements/SHOW-ALTER-TABLE-MATERIALIZED-VIEW.md index e8fd169246ab3..8fea0fdf6111b 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/sql-manual/sql-reference/Show-Statements/SHOW-ALTER-TABLE-MATERIALIZED-VIEW.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/sql-manual/sql-reference/Show-Statements/SHOW-ALTER-TABLE-MATERIALIZED-VIEW.md @@ -7,7 +7,7 @@ ## 描述 -该命令用于查看通过 [CREATE-MATERIALIZED-VIEW](../../../sql-statements/table-and-view/materialized-view/CREATE-MATERIALIZED-VIEW.md) 语句提交的创建物化视图作业的执行情况。 +该命令用于查看通过 CREATE-MATERIALIZED-VIEW 语句提交的创建物化视图作业的执行情况。 > 该语句等同于 `SHOW ALTER TABLE ROLLUP`; diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/sql-manual/sql-reference/Show-Statements/SHOW-STREAM-LOAD.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/sql-manual/sql-reference/Show-Statements/SHOW-STREAM-LOAD.md index 16f3a6940451e..a7709aa66c21f 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/sql-manual/sql-reference/Show-Statements/SHOW-STREAM-LOAD.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-1.2/sql-manual/sql-reference/Show-Statements/SHOW-STREAM-LOAD.md @@ -31,7 +31,7 @@ SHOW STREAM LOAD 说明： -1. 默认 BE 是不记录 Stream Load 的记录，如果你要查看需要在 BE 上启用记录，配置参数是：`enable_stream_load_record=true` ，具体怎么配置请参照 [BE 配置项](../../../config/be-config) +1. 默认 BE 是不记录 Stream Load 的记录，如果你要查看需要在 BE 上启用记录，配置参数是：`enable_stream_load_record=true` ，具体怎么配置请参照 BE 配置项 2. 如果不指定 db_name，使用当前默认db 2. 如果使用 LABEL LIKE，则会匹配Stream Load任务的 label 包含 label_matcher 的任务 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/admin-manual/config/fe-config-template.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/admin-manual/config/fe-config-template.md index 9bc4515ce233c..eef07ab9712aa 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/admin-manual/config/fe-config-template.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/admin-manual/config/fe-config-template.md @@ -72,7 +72,7 @@ FE 的配置项有两种方式进行配置： 3. 通过 HTTP 协议动态配置 - 具体请参阅 [Set Config Action](../http-actions/fe/set-config-action.md) + 具体请参阅 Set Config Action 该方式也可以持久化修改后的配置项。配置项将持久化在 `fe_custom.conf` 文件中，在 FE 重启后仍会生效。 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/admin-manual/data-admin/backup.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/admin-manual/data-admin/backup.md index 1c29eed06c559..20b1ed779d01d 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/admin-manual/data-admin/backup.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/admin-manual/data-admin/backup.md @@ -162,11 +162,11 @@ BACKUP 的更多用法可参考 [这里](../../sql-manual/sql-reference/Data-Def 3. SHOW BACKUP - 查看最近一次 backup 作业的执行情况。具体参考 [查看备份作业文档](../../sql-manual/sql-reference/Data-Definition-Statements/Backup-and-Restore/SHOW-BACKUP.md)。 + 查看最近一次 backup 作业的执行情况。具体参考 查看备份作业文档。 4. SHOW SNAPSHOT - 查看远端仓库中已存在的备份。具体参考 [查看备份文档](../../sql-manual/sql-reference/Data-Definition-Statements/Backup-and-Restore/SHOW-SNAPSHOT.md)。 + 查看远端仓库中已存在的备份。具体参考 查看备份文档。 5. CANCEL BACKUP diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/admin-manual/maint-monitor/disk-capacity.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/admin-manual/maint-monitor/disk-capacity.md index 9d69353588482..2022029d39a1c 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/admin-manual/maint-monitor/disk-capacity.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/admin-manual/maint-monitor/disk-capacity.md @@ -149,6 +149,6 @@ storage_flood_stage_left_capacity_bytes 默认 1GB。 `rm -rf data/0/12345/` - - 删除 Tablet 元数据（具体参考 [Tablet 元数据管理工具](../trouble-shooting/tablet-meta-tool.md)） + - 删除 Tablet 元数据（具体参考 Tablet 元数据管理工具） `./lib/meta_tool --operation=delete_header --root_path=/path/to/root_path --tablet_id=12345 --schema_hash= 352781111` diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/admin-manual/resource-admin/workload-group.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/admin-manual/resource-admin/workload-group.md index 8d53513865867..b1210122a06b0 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/admin-manual/resource-admin/workload-group.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/admin-manual/resource-admin/workload-group.md @@ -44,7 +44,7 @@ properties ( ); ``` -创建 workload group 详细可参考：[CREATE-WORKLOAD-GROUP](../../sql-manual/sql-reference/Data-Definition-Statements/Create/CREATE-WORKLOAD-GROUP)，另删除 Workload Group 可参考[DROP-WORKLOAD-GROUP](../../sql-manual/sql-reference/Data-Definition-Statements/Drop/DROP-WORKLOAD-GROUP)；修改 Workload Group 可参考：[ALTER-WORKLOAD-GROUP](../../sql-manual/sql-reference/Data-Definition-Statements/Alter/ALTER-WORKLOAD-GROUP)；查看 Workload Group 可参考：[WORKLOAD_GROUPS()](../../sql-manual/sql-functions/table-functions/workload-group)和[SHOW-WORKLOAD-GROUPS](../../sql-manual/sql-reference/Show-Statements/SHOW-WORKLOAD-GROUPS)。 +创建 workload group 详细可参考：[CREATE-WORKLOAD-GROUP](../../sql-manual/sql-reference/Data-Definition-Statements/Create/CREATE-WORKLOAD-GROUP)，另删除 Workload Group 可参考[DROP-WORKLOAD-GROUP](../../sql-manual/sql-reference/Data-Definition-Statements/Drop/DROP-WORKLOAD-GROUP)；修改 Workload Group 可参考：[ALTER-WORKLOAD-GROUP](../../sql-manual/sql-reference/Data-Definition-Statements/Alter/ALTER-WORKLOAD-GROUP)；查看 Workload Group 可参考：WORKLOAD_GROUPS()和[SHOW-WORKLOAD-GROUPS](../../sql-manual/sql-reference/Show-Statements/SHOW-WORKLOAD-GROUPS)。 4. 开启 Pipeline 执行引擎，Workload Group CPU 隔离基于 Pipeline 执行引擎实现，因此需开启 Session 变量： diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/data-operate/delete/batch-delete-manual.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/data-operate/delete/batch-delete-manual.md index 8894dcebdc7ff..091e01445d80e 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/data-operate/delete/batch-delete-manual.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/data-operate/delete/batch-delete-manual.md @@ -164,4 +164,4 @@ mysql> DESC table1; ``` ### Stream Load 使用示例 -请查阅[Stream Load使用手册](../import/import-way/stream-load-manual.md)中“指定 merge_type 进行 Delete 操作”和“指定 merge_type 进行 Merge 操作”章节的内容。 +请查阅Stream Load使用手册中“指定 merge_type 进行 Delete 操作”和“指定 merge_type 进行 Merge 操作”章节的内容。 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/data-operate/import/load-json-format.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/data-operate/import/load-json-format.md index a73149f7e604a..bcf0b99bbb050 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/data-operate/import/load-json-format.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/data-operate/import/load-json-format.md @@ -11,7 +11,7 @@ Doris 支持导入 JSON 格式的数据。本文档主要说明在进行 JSON 目前只有以下导入方式支持 JSON 格式的数据导入： -- 通过 [S3 表函数](../../sql-manual/sql-functions/table-functions/s3) 导入语句：insert into table select * from S3(); +- 通过 S3 表函数 导入语句：insert into table select * from S3(); - 将本地 JSON 格式的文件通过 [STREAM LOAD](../../sql-manual/sql-reference/Data-Manipulation-Statements/Load/STREAM-LOAD) 方式导入。 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/data-operate/import/routine-load-manual.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/data-operate/import/routine-load-manual.md index 07e3505d8763e..4b63ca996a301 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/data-operate/import/routine-load-manual.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/data-operate/import/routine-load-manual.md @@ -424,7 +424,7 @@ job_properties 子句具体参数选项如下： | max_batch_rows | 每个子任务最多读取的行数。必须大于等于 200000。默认是 200000(2.0.13 及更高版本为 20000000)。max_batch_interval/max_batch_rows/max_batch_size 共同形成子任务执行阈值。任一参数达到阈值，导入子任务结束，并生成新的导入子任务。 | | max_batch_size | 每个子任务最多读取的字节数。单位是字节，范围是 100MB 到 10GB。默认是 100MB(2.0.13 及更高版本为 1G)。max_batch_interval/max_batch_rows/max_batch_size 共同形成子任务执行阈值。任一参数达到阈值，导入子任务结束，并生成新的导入子任务。 | | max_error_number | 采样窗口内，允许的最大错误行数。必须大于等于 0。默认是 0，即不允许有错误行。采样窗口为 `max_batch_rows * 10`。即如果在采样窗口内，错误行数大于 `max_error_number`，则会导致例行作业被暂停，需要人工介入检查数据质量问题，通过 [SHOW ROUTINE LOAD](../../sql-manual/sql-reference/Show-Statements/SHOW-ROUTINE-LOAD) 命令中 `ErrorLogUrls` 检查数据的质量问题。被 where 条件过滤掉的行不算错误行。 | -| strict_mode | 是否开启严格模式，默认为关闭。严格模式表示对于导入过程中的列类型转换进行严格过滤。如果开启后，非空原始数据的列类型变换如果结果为 NULL，则会被过滤。
严格模式过滤策略如下：
- 某衍生列（由函数转换生成而来），Strict Mode 对其不产生影响
- 当列类型需要转换，错误的数据类型将被过滤掉，在 [SHOW ROUTINE LOAD](../../sql-manual/sql-reference/Show-Statements/SHOW-ROUTINE-LOAD) 的 `ErrorLogUrls` 中查看因为数据类型错误而被过滤掉的列
- 对于导入的某列类型包含范围限制的，如果原始数据能正常通过类型转换，但无法通过范围限制的，strict mode 对其也不产生影响。例如：如果类型是 decimal(1,0), 原始数据为 10，则属于可以通过类型转换但不在列声明的范围内。这种数据 strict 对其不产生影响。详细内容参考[严格模式](../../../data-operate/import/error-data-handling#严格模式)。 +| strict_mode | 是否开启严格模式，默认为关闭。严格模式表示对于导入过程中的列类型转换进行严格过滤。如果开启后，非空原始数据的列类型变换如果结果为 NULL，则会被过滤。
严格模式过滤策略如下：
- 某衍生列（由函数转换生成而来），Strict Mode 对其不产生影响
- 当列类型需要转换，错误的数据类型将被过滤掉，在 [SHOW ROUTINE LOAD](../../sql-manual/sql-reference/Show-Statements/SHOW-ROUTINE-LOAD) 的 `ErrorLogUrls` 中查看因为数据类型错误而被过滤掉的列
- 对于导入的某列类型包含范围限制的，如果原始数据能正常通过类型转换，但无法通过范围限制的，strict mode 对其也不产生影响。例如：如果类型是 decimal(1,0), 原始数据为 10，则属于可以通过类型转换但不在列声明的范围内。这种数据 strict 对其不产生影响。详细内容参考严格模式。 | timezone | 指定导入作业所使用的时区。默认为使用 Session 的 timezone 参数。该参数会影响所有导入涉及的和时区有关的函数结果。 | | format | 指定导入数据格式，默认是 csv，支持 json 格式。 | | jsonpaths | 当导入数据格式为 JSON 时，可以通过 jsonpaths 指定抽取 Json 数据中的字段。例如通过以下命令指定导入 jsonpaths：`"jsonpaths" = "[\"$.userid\",\"$.username\",\"$.age\",\"$.city\"]"` | diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/data-operate/import/stream-load-manual.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/data-operate/import/stream-load-manual.md index d11a3266c27d0..2051c1a9f7174 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/data-operate/import/stream-load-manual.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/data-operate/import/stream-load-manual.md @@ -17,7 +17,7 @@ Stream Load 支持通过 HTTP 协议将本地文件或数据流导入到 Doris - 断点续传，在导入过程中可能出现部分失败的情况，支持在失败点处进行继续传输。 - 自动重传，在导入出现失败的情况后，无需手动重传，工具会自动重传默认的次数，如果仍然不成功，打印出手动重传的命令。 -点击 [Doris Streamloader 文档](../../../ecosystem/doris-streamloader) 了解使用方法与实践详情。 +点击 Doris Streamloader 文档 了解使用方法与实践详情。 ::: ## 使用场景 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/ecosystem/datax.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/ecosystem/datax.md index 6c10e63919ed0..eb8809ec30dbb 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/ecosystem/datax.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/ecosystem/datax.md @@ -122,7 +122,7 @@ DataX 官方提供了安装包，已经包含了 DataX 可直接下载使用， * **loadProps** - - 描述：StreamLoad 的请求参数，详情参照 StreamLoad 介绍页面。[Stream load](../data-operate/import/import-way/stream-load-manual) + - 描述：StreamLoad 的请求参数，详情参照 StreamLoad 介绍页面。Stream load 这里包括导入的数据格式：format 等，导入数据格式默认我们使用 csv，支持 JSON，具体可以参照下面类型转换部分，也可以参照上面 Stream load 官方信息 @@ -246,7 +246,7 @@ my_import.json >1. 这里我们使用了 JSON 格式导入数据 >2. `line_delimiter` 默认是换行符，可能会和数据中的值冲突，我们可以使用一些特殊字符或者不可见字符，避免导入错误 >3. strip_outer_array：在一批导入数据中表示多行数据，Doris 在解析时会将数组展开，然后依次解析其中的每一个 Object 作为一行数据 ->4. 更多 Stream load 参数请参照 [Stream load 文档](../data-operate/import/import-way/stream-load-manual) +>4. 更多 Stream load 参数请参照 Stream load 文档 >5. 如果是 CSV 格式我们可以这样使用 > >```json diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/ecosystem/dbt-doris-adapter.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/ecosystem/dbt-doris-adapter.md index 1df1a5264e595..bb983dbea2cf2 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/ecosystem/dbt-doris-adapter.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/ecosystem/dbt-doris-adapter.md @@ -103,7 +103,7 @@ models: 2. 判断 `this_table` 是否不存在，即是首次创建，执行`rename`，将临时表变更为最终表。 -3. 若已经存在，则 `alter table this_table REPLACE WITH TABLE this_table_temp PROPERTIES('swap' = 'False')`，此操作可以交换表名并且删除`this_table_temp`临时表，[此过程](../sql-manual/sql-statements/Data-Definition-Statements/Alter/ALTER-TABLE-REPLACE)通过 Doris 内核的事务机制保证本次操作原子性。 +3. 若已经存在，则 `alter table this_table REPLACE WITH TABLE this_table_temp PROPERTIES('swap' = 'False')`，此操作可以交换表名并且删除`this_table_temp`临时表，此过程通过 Doris 内核的事务机制保证本次操作原子性。 ``` 优点：table查询速度会比view快。 缺点：table需要较长时间才能构建或重建，会额外存储数据，而且不能够做增量数据同步。 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/ecosystem/flink-doris-connector.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/ecosystem/flink-doris-connector.md index 9cb87eb81763d..ec573cd3d23ab 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/ecosystem/flink-doris-connector.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/ecosystem/flink-doris-connector.md @@ -7,6 +7,8 @@ } --- + + # Flink Doris Connector @@ -43,14 +45,14 @@ org.apache.doris flink-doris-connector-1.16 24.0.1 - + ``` **备注** 1.请根据不同的 Flink 版本替换对应的 Connector 和 Flink 依赖版本。 -2.也可从[这里](https://repo.maven.apache.org/maven2/org/apache/doris/)下载相关版本 jar 包。 +2.也可从[这里](https://repo.maven.apache.org/maven2/org/apache/doris/)下载相关版本 jar 包。 ### 编译 @@ -72,7 +74,7 @@ CREATE TABLE flink_doris_source ( age INT, price DECIMAL(5,2), sale DOUBLE - ) + ) WITH ( 'connector' = 'doris', 'fenodes' = 'FE_IP:HTTP_PORT', @@ -88,7 +90,7 @@ Flink Connector 24.0.0 版本之后支持使用[Arrow Flight SQL](https://doris. CREATE TABLE doris_source ( name STRING, age int -) +) WITH ( 'connector' = 'doris', 'fenodes' = 'FE_IP:HTTP_PORT', @@ -133,7 +135,7 @@ CREATE TABLE flink_doris_sink ( age INT, price DECIMAL(5,2), sale DOUBLE - ) + ) WITH ( 'connector' = 'doris', 'fenodes' = 'FE_IP:HTTP_PORT', @@ -174,11 +176,11 @@ Properties properties = new Properties(); DorisExecutionOptions.Builder executionBuilder = DorisExecutionOptions.builder(); executionBuilder.setLabelPrefix("label-doris") //streamload label prefix .setDeletable(false) - .setStreamLoadProp(properties); + .setStreamLoadProp(properties); builder.setDorisReadOptions(DorisReadOptions.builder().build()) .setDorisExecutionOptions(executionBuilder.build()) - .setSerializer(new SimpleStringSerializer()) //serialize according to string + .setSerializer(new SimpleStringSerializer()) //serialize according to string .setDorisOptions(dorisBuilder.build()); //mock csv string source @@ -224,7 +226,7 @@ DataType[] types = {DataTypes.VARCHAR(256), DataTypes.DOUBLE(), DataTypes.DOUBLE builder.setDorisReadOptions(DorisReadOptions.builder().build()) .setDorisExecutionOptions(executionBuilder.build()) - .setSerializer(RowDataSerializer.builder() //serialize according to rowdata + .setSerializer(RowDataSerializer.builder() //serialize according to rowdata .setFieldNames(fields) .setType("json") //json format .setFieldType(types).build()) @@ -308,7 +310,7 @@ create table dim_city( 'password' = '' ); -SELECT a.id, a.name, a.city, c.province, c.country,c.level +SELECT a.id, a.name, a.city, c.province, c.country,c.level FROM fact_table a LEFT JOIN dim_city FOR SYSTEM_TIME AS OF a.process_time AS c ON a.city = c.city @@ -357,9 +359,9 @@ ON a.city = c.city | Key | Default Value | Required | Comment | | --------------------------- | ------------- | -------- |---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| | sink.label-prefix | -- | Y | Stream load 导入使用的 label 前缀。2pc 场景下要求全局唯一，用来保证 Flink 的 EOS 语义。 | -| sink.properties.* | -- | N | Stream Load 的导入参数。
例如： 'sink.properties.column_separator' = ', ' 定义列分隔符， 'sink.properties.escape_delimiters' = 'true' 特殊字符作为分隔符，`\x01`会被转换为二进制的 0x01。

JSON 格式导入
'sink.properties.format' = 'json' 'sink.properties.read_json_by_line' = 'true'
详细参数参考[这里](../data-operate/import/import-way/stream-load-manual)。

Group Commit 模式
例如：'sink.properties.group_commit' = 'sync_mode' 设置 group commit 为同步模式。flink connector 从 1.6.2 开始支持导入配置 group commit，详细使用和限制参考 [group commit](https://doris.apache.org/zh-CN/docs/data-operate/import/import-way/group-commit-manual/) 。 +| sink.properties.* | -- | N | Stream Load 的导入参数。
例如： 'sink.properties.column_separator' = ', ' 定义列分隔符， 'sink.properties.escape_delimiters' = 'true' 特殊字符作为分隔符，`\x01`会被转换为二进制的 0x01。

JSON 格式导入
'sink.properties.format' = 'json' 'sink.properties.read_json_by_line' = 'true'
详细参数参考这里。

Group Commit 模式
例如：'sink.properties.group_commit' = 'sync_mode' 设置 group commit 为同步模式。flink connector 从 1.6.2 开始支持导入配置 group commit，详细使用和限制参考 [group commit](https://doris.apache.org/zh-CN/docs/data-operate/import/import-way/group-commit-manual/) 。 | sink.enable-delete | TRUE | N | 是否启用删除。此选项需要 Doris 表开启批量删除功能 (Doris0.15+ 版本默认开启)，只支持 Unique 模型。 | -| sink.enable-2pc | TRUE | N | 是否开启两阶段提交 (2pc)，默认为 true，保证 Exactly-Once 语义。关于两阶段提交可参考[这里](../data-operate/import/import-way/stream-load-manual)。 | +| sink.enable-2pc | TRUE | N | 是否开启两阶段提交 (2pc)，默认为 true，保证 Exactly-Once 语义。关于两阶段提交可参考这里。 | | sink.buffer-size | 1MB | N | 写数据缓存 buffer 大小，单位字节。不建议修改，默认配置即可 | | sink.buffer-count | 3 | N | 写数据缓存 buffer 个数。不建议修改，默认配置即可 | | sink.max-retries | 3 | N | Commit 失败后的最大重试次数，默认 3 次 | @@ -456,7 +458,7 @@ CREATE TABLE cdc_mysql_source ( CREATE TABLE doris_sink ( id INT, name STRING -) +) WITH ( 'connector' = 'doris', 'fenodes' = '127.0.0.1:8030', @@ -498,7 +500,7 @@ CREATE TABLE doris_sink ( name STRING, bank STRING, age int -) +) WITH ( 'connector' = 'doris', 'fenodes' = '127.0.0.1:8030', @@ -587,7 +589,7 @@ insert into doris_sink select id,name,bank,age from cdc_mysql_source; --sink-conf password=123456 \ --sink-conf jdbc-url=jdbc:mysql://127.0.0.1:9030 \ --sink-conf sink.label-prefix=label \ - --table-conf replication_num=1 + --table-conf replication_num=1 ``` ### Oracle 多表同步示例 @@ -691,7 +693,7 @@ insert into doris_sink select id,name,bank,age from cdc_mysql_source; --sink-conf password=123456 \ --sink-conf jdbc-url=jdbc:mysql://127.0.0.1:9030 \ --sink-conf sink.label-prefix=label \ - --table-conf replication_num=1 + --table-conf replication_num=1 ``` ### MongoDB 多表同步示例 @@ -766,8 +768,8 @@ CREATE TABLE DORIS_SINK( INSERT INTO DORIS_SINK SELECT json_value(data,'$.id') as id, -json_value(data,'$.name') as name, -if(op_type='delete',1,0) as __DORIS_DELETE_SIGN__ +json_value(data,'$.name') as name, +if(op_type='delete',1,0) as __DORIS_DELETE_SIGN__ from KAFKA_SOURCE; ``` @@ -784,7 +786,7 @@ from KAFKA_SOURCE; ### 其他 1. Flink Doris Connector 主要是依赖 Checkpoint 进行流式写入，所以 Checkpoint 的间隔即为数据的可见延迟时间。 -2. 为了保证 Flink 的 Exactly Once 语义，Flink Doris Connector 默认开启两阶段提交，Doris 在 1.1 版本后默认开启两阶段提交。1.0 可通过修改 BE 参数开启，可参考[two_phase_commit](../data-operate/import/import-way/stream-load-manual)。 +2. 为了保证 Flink 的 Exactly Once 语义，Flink Doris Connector 默认开启两阶段提交，Doris 在 1.1 版本后默认开启两阶段提交。1.0 可通过修改 BE 参数开启，可参考two_phase_commit。 ## 常见问题 @@ -802,7 +804,7 @@ from KAFKA_SOURCE; CREATE TABLE bitmap_sink ( dt int, page string, -user_id int +user_id int ) WITH ( 'connector' = 'doris', diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/ecosystem/seatunnel.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/ecosystem/seatunnel.md index 18afbf273daa3..1e166d509338c 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/ecosystem/seatunnel.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/ecosystem/seatunnel.md @@ -52,7 +52,7 @@ Stream Load 导入使用的标签前缀。在 2pc 场景下，需要全局唯一 `sink.enable-2pc [bool]` -是否启用两阶段提交 (2pc)，默认为 true，以确保 exact - once 语义。关于两阶段提交，请参考[这里](../data-operate/import/import-way/stream-load-manual) +是否启用两阶段提交 (2pc)，默认为 true，以确保 exact - once 语义。关于两阶段提交，请参考这里 `sink.enable-delete [bool]` @@ -64,7 +64,7 @@ Stream Load 导入使用的标签前缀。在 2pc 场景下，需要全局唯一 Stream Load `data_desc` 的参数，你可以在这个链接获得更多细节： -[更多 Stream Load 参数](../data-operate/import/import-way/stream-load-manual) +更多 Stream Load 参数 ### 使用示例 @@ -168,7 +168,7 @@ flush 间隔时间 (毫秒)，超过该时间后异步线程将 缓存中数据 Stream load 的导入参数。例如:'doris.column_separator' = ', '等 -[更多 Stream Load 参数配置](../data-operate/import/import-way/stream-load-manual) +更多 Stream Load 参数配置 **Examples** @@ -253,7 +253,7 @@ Spark 通过 Stream Load 方式写入，每个批次提交条数 Stream Load 方式写入的 Http 参数优化，在官网参数前加上'Doris.'前缀 -[更多 Stream Load 参数配置](../data-operate/import/import-way/stream-load-manual) +更多 Stream Load 参数配置 **Examples** diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/faq/install-faq.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/faq/install-faq.md index 4e9e4dd00d567..02d7187b5dee8 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/faq/install-faq.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/faq/install-faq.md @@ -246,7 +246,7 @@ http { 2. 集群内多数 Follower FE 节点未启动。比如有 3 个 Follower，只启动了一个。此时需要将另外至少一个 FE 也启动，FE 可选举组方能选举出 Master 已提供服务。 -如果以上情况都不能解决，可以按照 Doris 官网文档中的[元数据运维文档](../admin-manual/trouble-shooting/metadata-operation.md)进行恢复。 +如果以上情况都不能解决，可以按照 Doris 官网文档中的元数据运维文档进行恢复。 ### Q10. Lost connection to MySQL server at 'reading initial communication packet', system error: 0 @@ -256,7 +256,7 @@ http { 有时重启 FE，会出现如上错误（通常只会出现在多 Follower 的情况下）。并且错误中的两个数值相差 2。导致 FE 启动失败。 -这是 bdbje 的一个 bug，尚未解决。遇到这种情况，只能通过[元数据运维文档](../admin-manual/trouble-shooting/metadata-operation.md) 中的 故障恢复 进行操作来恢复元数据了。 +这是 bdbje 的一个 bug，尚未解决。遇到这种情况，只能通过元数据运维文档 中的 故障恢复 进行操作来恢复元数据了。 ### Q12. Doris 编译安装 JDK 版本不兼容问题 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/gettingStarted/quick-start.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/gettingStarted/quick-start.md index 22e19f5272401..f08cf7a87f97e 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/gettingStarted/quick-start.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/gettingStarted/quick-start.md @@ -93,7 +93,7 @@ mysql -uroot -P9030 -h127.0.0.1 :::caution 注意 -- 这里使用的 Root 用户是 Apache Doris 内置的超级管理员用户，具体的用户权限查看 [认证和鉴权](../admin-manual/auth/authentication-and-authorization.md) +- 这里使用的 Root 用户是 Apache Doris 内置的超级管理员用户，具体的用户权限查看 认证和鉴权 - -P：这里是我们连接 Apache Doris 的查询端口，默认端口是 9030，对应的是 fe.conf 里的 `query_port` - -h：这里是我们连接的 FE IP 地址，如果你的客户端和 FE 安装在同一个节点可以使用 127.0.0.1。 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/lakehouse/database/max-compute.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/lakehouse/database/max-compute.md index d7363b0ef5678..667914183a864 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/lakehouse/database/max-compute.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/lakehouse/database/max-compute.md @@ -39,7 +39,7 @@ CREATE CATALOG mc PROPERTIES ( ## 列类型映射 -和 Hive Catalog 一致，可参阅 [Hive Catalog](../../lakehouse/datalake/hive) 中 **列类型映射** 一节。 +和 Hive Catalog 一致，可参阅 Hive Catalog 中 **列类型映射** 一节。 ## 自定义服务地址 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/lakehouse/datalake-analytics/hive.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/lakehouse/datalake-analytics/hive.md index 135ecb12a8923..cf422e6b5bced 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/lakehouse/datalake-analytics/hive.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/lakehouse/datalake-analytics/hive.md @@ -297,7 +297,7 @@ CREATE CATALOG dlf_iceberg PROPERTIES ( ## 列类型映射 -和 Hive Catalog 一致，可参阅 [Hive Catalog](../../lakehouse/datalake/hive#列类型映射-1) 中 列类型映射 一节。 +和 Hive Catalog 一致，可参阅 Hive Catalog 中 列类型映射 一节。 ## 元数据缓存与刷新 @@ -512,7 +512,7 @@ Doris 支持为指定的 External Hive Catalog 使用 Apache Ranger 进行鉴权 目前支持 Ranger 的库、表、列的鉴权，暂不支持加密、行权限、Data Mask 等功能。 -如需使用 Apache Ranger 为整个 Doris 集群服务进行鉴权，请参阅 [使用 Apache Ranger 鉴权](../../admin-manual/privilege-ldap/apache-ranger) +如需使用 Apache Ranger 为整个 Doris 集群服务进行鉴权，请参阅 使用 Apache Ranger 鉴权 ### 环境配置 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/lakehouse/datalake-analytics/hudi.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/lakehouse/datalake-analytics/hudi.md index 24cedf981ead1..e3211375763b5 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/lakehouse/datalake-analytics/hudi.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/lakehouse/datalake-analytics/hudi.md @@ -14,11 +14,11 @@ | Copy On Write | Snapshot Query + Time Travel | | Merge On Read | Snapshot Queries + Read Optimized Queries + Time Travel | -1. 目前支持 Hive Metastore 和兼容 Hive Metastore 类型，例如[AWS Glue](../../lakehouse/datalake/hive.md)/Alibaba DLF 的 Catalog。 +1. 目前支持 Hive Metastore 和兼容 Hive Metastore 类型，例如AWS Glue/Alibaba DLF 的 Catalog。 ## 创建 Catalog -和 Hive Catalog 基本一致，这里仅给出简单示例。其他示例可参阅 [Hive Catalog](../../lakehouse/datalake/hive.md)。 +和 Hive Catalog 基本一致，这里仅给出简单示例。其他示例可参阅 Hive Catalog。 ```sql CREATE CATALOG hudi PROPERTIES ( @@ -41,7 +41,7 @@ CREATE CATALOG hudi PROPERTIES ( ## 列类型映射 -和 Hive Catalog 一致，可参阅 [Hive Catalog](../../lakehouse/datalake/hive) 中 **列类型映射** 一节。 +和 Hive Catalog 一致，可参阅 Hive Catalog 中 **列类型映射** 一节。 ## Skip Merge diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/lakehouse/datalake-analytics/iceberg.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/lakehouse/datalake-analytics/iceberg.md index da8b9c6b55c98..c45729617e9a9 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/lakehouse/datalake-analytics/iceberg.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/lakehouse/datalake-analytics/iceberg.md @@ -15,7 +15,7 @@ ### 基于 Hive Metastore 创建 Catalog -和 Hive Catalog 基本一致，这里仅给出简单示例。其他示例可参阅 [Hive Catalog](../../lakehouse/datalake/hive)。 +和 Hive Catalog 基本一致，这里仅给出简单示例。其他示例可参阅 Hive Catalog。 ```sql CREATE CATALOG iceberg PROPERTIES ( @@ -89,7 +89,7 @@ Iceberg 属性详情参见 [Iceberg Glue Catalog](https://iceberg.apache.org/doc **阿里云 DLF** -参见[阿里云 DLF Catalog 配置](../lakehouse/datalake-analytics/dlf.md) +参见阿里云 DLF Catalog 配置 **REST Catalog** @@ -209,5 +209,5 @@ CREATE CATALOG iceberg PROPERTIES ( `SELECT * FROM iceberg_tbl FOR VERSION AS OF 868895038966572;` -另外，可以使用 [iceberg_meta](../../sql-manual/sql-functions/table-functions/iceberg-meta) 表函数查询指定表的 snapshot 信息。 +另外，可以使用 iceberg_meta 表函数查询指定表的 snapshot 信息。 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/lakehouse/file.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/lakehouse/file.md index fe51dce708178..7f2b292853475 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/lakehouse/file.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/lakehouse/file.md @@ -13,9 +13,9 @@ 更多使用方式可参阅 Table Value Function 文档： -* [S3](../sql-manual/sql-functions/table-functions/s3.md)：支持 S3 兼容的对象存储上的文件分析。 +* S3：支持 S3 兼容的对象存储上的文件分析。 -* [HDFS](../sql-manual/sql-functions/table-functions/hdfs.md)：支持 HDFS 上的文件分析。 +* HDFS：支持 HDFS 上的文件分析。 ::: diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/lakehouse/lakehouse-overview.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/lakehouse/lakehouse-overview.md index 4d9eba790fde1..34627046c6409 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/lakehouse/lakehouse-overview.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/lakehouse/lakehouse-overview.md @@ -140,13 +140,13 @@ Doris 通过收集统计信息有助于优化器了解数据分布特性，在 - External Catalog - 可以通过 [CREATE CATALOG](../sql-manual/sql-statements/Data-Definition-Statements/Create/CREATE-CATALOG) 命令创建一个 External Catalog。创建后，可以通过 [SHOW CATALOGS](../sql-manual/sql-statements/Show-Statements/SHOW-CATALOGS) 命令查看已创建的 Catalog。 + 可以通过 CREATE CATALOG 命令创建一个 External Catalog。创建后，可以通过 SHOW CATALOGS 命令查看已创建的 Catalog。 - 切换 Catalog 用户登录 Doris 后，默认进入 Internal Catalog，因此默认的使用和之前版本并无差别，可以直接使用 `SHOW DATABASES`，`USE DB` 等命令查看和切换数据库。 - 用户可以通过 [SWITCH](../sql-manual/sql-statements/Utility-Statements/SWITCH) 命令切换 Catalog。如： + 用户可以通过 SWITCH 命令切换 Catalog。如： ```Plain SWITCH internal; @@ -157,7 +157,7 @@ Doris 通过收集统计信息有助于优化器了解数据分布特性，在 - 删除 Catalog - 可以通过 [DROP CATALOG](../sql-manual/sql-statements/Data-Definition-Statements/Drop/DROP-CATALOG) 命令删除一个 External Catalog，Internal Catalog 无法删除。该操作仅会删除 Doris 中该 Catalog 的映射信息，并不会修改或变更任何外部数据目录的内容。 + 可以通过 DROP CATALOG 命令删除一个 External Catalog，Internal Catalog 无法删除。该操作仅会删除 Doris 中该 Catalog 的映射信息，并不会修改或变更任何外部数据目录的内容。 ### 连接示例 @@ -176,7 +176,7 @@ CREATE CATALOG hive PROPERTIES ( ); ``` -更多查看：[CREATE CATALOG 语法帮助](../sql-manual/sql-statements/Data-Definition-Statements/Create/CREATE-CATALOG) +更多查看：CREATE CATALOG 语法帮助 **2. 查看 Catalog** @@ -192,11 +192,11 @@ mysql> SHOW CATALOGS; +-----------+-------------+----------+-----------+-------------------------+---------------------+------------------------+ ``` -- [SHOW CATALOGS 语法帮助](../sql-manual/sql-statements/Show-Statements/SHOW-CATALOGS) +- SHOW CATALOGS 语法帮助 -- 可以通过 [SHOW CREATE CATALOG](../sql-manual/sql-statements/Show-Statements/SHOW-CREATE-CATALOG) 查看创建 Catalog 的语句。 +- 可以通过 SHOW CREATE CATALOG 查看创建 Catalog 的语句。 -- 可以通过 [ALTER CATALOG](../sql-manual/sql-statements/Data-Definition-Statements/Alter/ALTER-CATALOG) 修改 Catalog 的属性。 +- 可以通过 ALTER CATALOG 修改 Catalog 的属性。 **4. 切换 Catalog** @@ -219,7 +219,7 @@ mysql> SHOW DATABASES; +-----------+ ``` -查看更多：[SWITCH 语法帮助](../sql-manual/sql-statements/Utility-Statements/SWITCH) +查看更多：SWITCH 语法帮助 **5. 使用 Catalog** @@ -355,7 +355,7 @@ select k1, k4 from table; // Query OK. 使用 Doris 对 External Catalog 中库表进行访问时，默认情况下，依赖 Doris 自身的权限访问管理功能。 -Doris 的权限管理功能提供了对 Catalog 层级的扩展，具体可参阅 [认证和鉴权](../admin-manual/auth/authentication-and-authorization.md) 文档。 +Doris 的权限管理功能提供了对 Catalog 层级的扩展，具体可参阅 认证和鉴权 文档。 用户也可以通过 `access_controller.class` 属性指定自定义的鉴权类。如通过指定： diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/query/pipeline-execution-engine.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/query/pipeline-execution-engine.md index d736942da120c..59595da1ab303 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/query/pipeline-execution-engine.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/query/pipeline-execution-engine.md @@ -63,4 +63,4 @@ set parallel_pipeline_task_num = 0; ### 导入 -导入的引擎选择设置，详见[导入](../../data-operate/import/load-manual)文档。 +导入的引擎选择设置，详见导入文档。 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-data-types/aggregate/BITMAP.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-data-types/aggregate/BITMAP.md index d98f7279b1569..6a8d96b653605 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-data-types/aggregate/BITMAP.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-data-types/aggregate/BITMAP.md @@ -48,6 +48,6 @@ BITMAP 类型的列可以在 Aggregate 表、Unique 表或 Duplicate 表中使 group by hour order by 1 ) final; -在查询时，可以设置[会话变量](../../sql-statements/session/variable/SET-VARIABLE.md)`return_object_data_as_binary`为 true，这样 bitmap 会以二进制的形式返回。 +在查询时，可以设置会话变量`return_object_data_as_binary`为 true，这样 bitmap 会以二进制的形式返回。 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-data-types/data-type-overview.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-data-types/data-type-overview.md index 1ae195b487044..af085a8180a9c 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-data-types/data-type-overview.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-data-types/data-type-overview.md @@ -40,7 +40,7 @@ 日期类型包括 DATE、TIME 和 DATETIME，DATE 类型只存储日期精确到天，DATETIME 类型存储日期和时间，可以精确到微秒。TIME 类型只存储时间，且**暂时不支持建表存储，只能在查询过程中使用**。 -对日期类型进行计算，或将其转换为数字，请使用类似 [TIME_TO_SEC](../../sql-functions/date-time-functions/time-to-sec), [DATE_DIFF](../../sql-functions/date-time-functions/datediff), [UNIX_TIMESTAMP](../../sql-functions/date-time-functions/unix-timestamp) 等函数，直接将其 CAST 为数字类型的结果不受保证。在未来的版本中，此类 CAST 行为将会被禁止。 +对日期类型进行计算，或将其转换为数字，请使用类似 TIME_TO_SEC, DATE_DIFF, UNIX_TIMESTAMP 等函数，直接将其 CAST 为数字类型的结果不受保证。在未来的版本中，此类 CAST 行为将会被禁止。 更多信息参考 [DATE](../../sql-manual/sql-data-types/date-time/DATE)、[TIME](../../sql-manual/sql-data-types/date-time/TIME) 和 [DATETIME](../../sql-manual/sql-data-types/date-time/DATETIME) 文档。 @@ -49,9 +49,9 @@ 字符串类型支持定长和不定长，总共有以下 3 种： -1. [CHAR(M)](../../sql-manual/sql-data-types/string/CHAR.md)：定长字符串，固定长度 M 字节，M 的范围是 [1, 255]。 +1. CHAR(M)：定长字符串，固定长度 M 字节，M 的范围是 [1, 255]。 -2. [STRING](../../sql-manual/sql-data-types/string/STRING.md)：不定长字符串，默认最长 1048576 字节（1MB），可调大到 2147483643 字节（2GB），BE 配置 string_type_length_soft_limit_bytes。 +2. STRING：不定长字符串，默认最长 1048576 字节（1MB），可调大到 2147483643 字节（2GB），BE 配置 string_type_length_soft_limit_bytes。 ## 半结构化类型 @@ -59,7 +59,7 @@ 1. 支持嵌套的固定 schema，适合分析的数据类型 **[ARRAY](../../sql-manual/sql-data-types/semi-structured/ARRAY.md)、 [MAP](../../sql-manual/sql-data-types/semi-structured/MAP.md) [STRUCT](../../sql-manual/sql-data-types/semi-structured/STRUCT.md)**：常用于用户行为和画像分析，湖仓一体查询数据湖中 Parquet 等格式的数据等场景。由于 schema 相对固定，没有动态 schema 推断的开销，写入和分析性能很高。 -2. 支持嵌套的不固定 schema，适合分析的数据类型 **[VARIANT](../../sql-manual/sql-data-types/semi-structured/VARIANT.md)**：常用于 Log, Trace, IoT 等分析场景，schema 灵活可以写入任何合法的 JSON 数据，并自动展开成子列采用列式存储，存储压缩率高，聚合 过滤 排序等分析性能很好。 +2. 支持嵌套的不固定 schema，适合分析的数据类型 **VARIANT**：常用于 Log, Trace, IoT 等分析场景，schema 灵活可以写入任何合法的 JSON 数据，并自动展开成子列采用列式存储，存储压缩率高，聚合 过滤 排序等分析性能很好。 3. 支持嵌套的不固定 schema，适合点查的数据类型 **[JSON](../../sql-manual/sql-data-types/semi-structured/JSON.md)**：常用于高并发点查场景，schema 灵活可以写入任何合法的 JSON 数据，采用二进制格式存储，提取字段的性能比普通 JSON String 快 2 倍以上。 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-data-types/date-time/DATETIME.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-data-types/date-time/DATETIME.md index c76dba3feacb6..8485b94eb2791 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-data-types/date-time/DATETIME.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-data-types/date-time/DATETIME.md @@ -14,7 +14,7 @@ DATETIME([P]) ### note -DATETIME 支持了最多到微秒的时间精度。在使用 BE 端解析导入的 DATETIME 类型数据时（如使用 Stream load、Spark load 等），或开启[新优化器](/docs/query/nereids/nereids-new)后在 FE 端解析 DATETIME 类型数据时，将会对超出当前精度的小数进行**四舍五入**。 +DATETIME 支持了最多到微秒的时间精度。在使用 BE 端解析导入的 DATETIME 类型数据时（如使用 Stream load、Spark load 等），或开启新优化器后在 FE 端解析 DATETIME 类型数据时，将会对超出当前精度的小数进行**四舍五入**。 将带有小数秒部分的 DATETIME 值插入到具有较少小数位的相同类型的列中会导致**四舍五入**。 DATETIME 读入时支持解析时区，格式为原本 DATETIME 字面量后紧贴时区： diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/date-ceil.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/date-ceil.md index f3f4eacff8dd4..0af0c963015ed 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/date-ceil.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/date-ceil.md @@ -79,9 +79,9 @@ mysql [(none)]>select date_ceil("2023-07-13 22:28:18",interval 5 year); ### Best Practice 还可参阅： -- [second_ceil](./second_ceil) -- [minute_ceil](./minute_ceil) -- [hour_ceil](./hour_ceil) -- [day_ceil](./day_ceil) -- [month_ceil](./month_ceil) -- [year_ceil](./year_ceil) +- second_ceil +- minute_ceil +- hour_ceil +- day_ceil +- month_ceil +- year_ceil diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/date-format.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/date-format.md index eecbc0266d0b7..dd83a961a7bd5 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/date-format.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/date-format.md @@ -5,6 +5,8 @@ } --- + + ## date_format ## 描述 ## 语法 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/day-ceil.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/day-ceil.md index e55062a50beab..c1f9a6a801398 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/day-ceil.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/day-ceil.md @@ -40,4 +40,4 @@ mysql> select day_ceil("2023-07-13 22:28:18", 5); ### Best Practice -还可参阅 [date_ceil](./date_ceil) +还可参阅 date_ceil diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/day-floor.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/day-floor.md index aaa7b7908c30b..a2784d4b6f191 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/day-floor.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/day-floor.md @@ -40,4 +40,4 @@ mysql> select day_floor("2023-07-13 22:28:18", 5); ### Best Practice -还可参阅 [date_floor](./date_floor) +还可参阅 date_floor diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/hour-ceil.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/hour-ceil.md index 4b3edde5be5ae..94c05f297fe73 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/hour-ceil.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/hour-ceil.md @@ -40,4 +40,4 @@ mysql> select hour_ceil("2023-07-13 22:28:18", 5); ### Best Practice -还可参阅 [date_ceil](./date_ceil) +还可参阅 date_ceil diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/hour-floor.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/hour-floor.md index 5f621e42d895c..290396ce901f2 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/hour-floor.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/hour-floor.md @@ -40,4 +40,4 @@ mysql> select hour_floor("2023-07-13 22:28:18", 5); ### Best Practice -还可参阅 [date_floor](./date_floor) +还可参阅 date_floor diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/minute-ceil.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/minute-ceil.md index 04783bcd3ba10..2cf12b0595087 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/minute-ceil.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/minute-ceil.md @@ -40,4 +40,4 @@ mysql> select minute_ceil("2023-07-13 22:28:18", 5); ### Best Practice -还可参阅 [date_ceil](./date_ceil) +还可参阅 date_ceil diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/minute-floor.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/minute-floor.md index ebdec29f63f6d..fb3186fe80e0d 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/minute-floor.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/minute-floor.md @@ -40,4 +40,4 @@ mysql> select minute_floor("2023-07-13 22:28:18", 5); ### Best Practice -还可参阅 [date_floor](./date_floor) +还可参阅 date_floor diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/month-ceil.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/month-ceil.md index fdc8724062a17..24a477af8d837 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/month-ceil.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/month-ceil.md @@ -40,4 +40,4 @@ mysql> select month_ceil("2023-07-13 22:28:18", 5); ### Best Practice -还可参阅 [date_ceil](./date_ceil) +还可参阅 date_ceil diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/month-floor.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/month-floor.md index a464ab7d7ab1a..5a4b24668052e 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/month-floor.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/month-floor.md @@ -40,4 +40,4 @@ mysql> select month_floor("2023-07-13 22:28:18", 5); ### Best Practice -还可参阅 [date_floor](./date_floor) +还可参阅 date_floor diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/str-to-date.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/str-to-date.md index f762f3fa2c31a..b59bcb74c3ef4 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/str-to-date.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/str-to-date.md @@ -20,7 +20,7 @@ STR_TO_DATE(, ) | 参数 | 说明 | |------------------|--------------------------------------------------------------| | `` | 必填，输入的日期时间字符串，表示要转换的日期或时间。 | -| `` | 必填，指定的日期时间格式字符串，如 `%Y-%m-%d %H:%i:%s` 等，具体格式参数详见[DATE_FORMAT](./date-format#参数)文档 | +| `` | 必填，指定的日期时间格式字符串，如 `%Y-%m-%d %H:%i:%s` 等，具体格式参数详见[DATE_FORMAT](./date-format#date_format)文档 | 除此之外，`` 额外支持以下若干代用格式，并按照正规 format 格式解读： diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/year-ceil.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/year-ceil.md index 0de695411fecb..d367493ed7dee 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/year-ceil.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/year-ceil.md @@ -40,4 +40,4 @@ mysql> select year_ceil("2023-07-13 22:28:18", 5); ### Best Practice -还可参阅 [date_ceil](./date_ceil) +还可参阅 date_ceil diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/year-floor.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/year-floor.md index 33e8be60079fa..73086f2178f3d 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/year-floor.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/date-time-functions/year-floor.md @@ -40,4 +40,4 @@ mysql> select year_floor("2023-07-13 22:28:18", 5); ### Best Practice -还可参阅 [date_floor](./date_floor) +还可参阅 date_floor diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/json-functions/json-exists-path.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/json-functions/json-exists-path.md index be828f058771b..6a26507322198 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/json-functions/json-exists-path.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/json-functions/json-exists-path.md @@ -19,7 +19,7 @@ BOOLEAN json_exists_path(JSON j, VARCHAR json_path) ## 举例 -参考 [json tutorial](../../sql-reference/Data-Types/JSON.md) 中的示例 +参考 json tutorial 中的示例 ### keywords diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/json-functions/json-extract.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/json-functions/json-extract.md index 3a3671d9e0790..0523c46f98da8 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/json-functions/json-extract.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/json-functions/json-extract.md @@ -50,7 +50,7 @@ json path的语法如下 ## 举例 -参考 [json tutorial](../../sql-reference/Data-Types/JSON.md) 中的示例 +参考 json tutorial 中的示例 ``` mysql> SELECT json_extract('{"id": 123, "name": "doris"}', '$.id'); diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/json-functions/json-type.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/json-functions/json-type.md index f862fbf520fd4..54105bc0cc88f 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/json-functions/json-type.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/json-functions/json-type.md @@ -29,7 +29,7 @@ STRING json_type(JSON j, VARCHAR json_path) ## 举例 -参考 [json tutorial](../../sql-reference/Data-Types/JSON.md) 中的示例 +参考 json tutorial 中的示例 ### keywords diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/table-valued-functions/hdfs.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/table-valued-functions/hdfs.md index 8f68926675907..16aca1496a82e 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/table-valued-functions/hdfs.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/table-valued-functions/hdfs.md @@ -48,7 +48,7 @@ hdfs( - `line_delimiter`：(选填) 行分割符，默认为`\n`。 - `compress_type`: (选填) 目前支持 `UNKNOWN/PLAIN/GZ/LZO/BZ2/LZ4FRAME/DEFLATE/SNAPPYBLOCK`。默认值为 `UNKNOWN`, 将会根据 `uri` 的后缀自动推断类型。 - 下面 6 个参数是用于 JSON 格式的导入，具体使用方法可以参照：[JSON Load](../../../data-operate/import/file-format/json) + 下面 6 个参数是用于 JSON 格式的导入，具体使用方法可以参照：JSON Load - `read_json_by_line`： (选填) 默认为 `"true"` - `strip_outer_array`： (选填) 默认为 `"false"` @@ -64,7 +64,7 @@ hdfs( 其他参数： - `path_partition_keys`：（选填）指定文件路径中携带的分区列名，例如/path/to/city=beijing/date="2023-07-09", 则填写`path_partition_keys="city,date"`，将会自动从路径中读取相应列名和列值进行导入。 -- `resource`：（选填）指定 Resource 名，HDFS TVF 可以利用已有的 HFDS Resource 来直接访问 HDFS。创建 HDFS Resource 的方法可以参照 [CREATE-RESOURCE](../../sql-statements/Data-Definition-Statements/Create/CREATE-RESOURCE.md)。该功能自 2.1.4 版本开始支持。 +- `resource`：（选填）指定 Resource 名，HDFS TVF 可以利用已有的 HFDS Resource 来直接访问 HDFS。创建 HDFS Resource 的方法可以参照 CREATE-RESOURCE。该功能自 2.1.4 版本开始支持。 :::tip 注意 直接查询 TVF 或基于该 TVF 创建 View ，需要拥有该 Resource 的 USAGE 权限，查询基于 TVF 创建的 View ，只需要该 View 的 SELECT 权限 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/table-valued-functions/local.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/table-valued-functions/local.md index cd16ac362afd5..12a58ef0f4f03 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/table-valued-functions/local.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-functions/table-valued-functions/local.md @@ -62,7 +62,7 @@ local( - `line_delimiter`：(选填) 行分割符，默认为`\n`。 - `compress_type`: (选填) 目前支持 `UNKNOWN/PLAIN/GZ/LZO/BZ2/LZ4FRAME/DEFLATE/SNAPPYBLOCK`。 默认值为 `UNKNOWN`, 将会根据 `uri` 的后缀自动推断类型。 -- 以下参数适用于json格式的导入，具体使用方法可以参照：[Json Load](../../../data-operate/import/file-format/json) +- 以下参数适用于json格式的导入，具体使用方法可以参照：Json Load - `read_json_by_line`： (选填) 默认为 `"true"` - `strip_outer_array`： (选填) 默认为 `"false"` diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-reference/Data-Definition-Statements/Backup-and-Restore/BACKUP.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-reference/Data-Definition-Statements/Backup-and-Restore/BACKUP.md index 4a71c0f266c29..7fbffc39129d7 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-reference/Data-Definition-Statements/Backup-and-Restore/BACKUP.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-reference/Data-Definition-Statements/Backup-and-Restore/BACKUP.md @@ -88,7 +88,7 @@ BACKUP 1. 同一个数据库下只能进行一个备份操作。 -2. 备份操作会备份指定表或分区的基础表及同步物化视图[物化视图](../../../../query-acceleration/materialized-view/sync-materialized-view)，并且仅备份一副本，[异步物化视图](../../../../query-acceleration/materialized-view/async-materialized-view/overview) 当前未支持。 +2. 备份操作会备份指定表或分区的基础表及同步物化视图物化视图，并且仅备份一副本，异步物化视图 当前未支持。 3. 备份操作的效率 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-reference/Data-Definition-Statements/Create/CREATE-RESOURCE.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-reference/Data-Definition-Statements/Create/CREATE-RESOURCE.md index caf28930188fa..d699eda977bf6 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-reference/Data-Definition-Statements/Create/CREATE-RESOURCE.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-reference/Data-Definition-Statements/Create/CREATE-RESOURCE.md @@ -182,7 +182,7 @@ Spark 用于 ETL 时需要指定 working_dir 和 broker。说明如下： 6. 创建 HMS resource - HMS resource 用于 [hms catalog](../../../../lakehouse/datalake/hive) + HMS resource 用于 hms catalog ```sql CREATE RESOURCE hms_resource PROPERTIES ( 'type'='hms', diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-reference/Data-Definition-Statements/Create/CREATE-TABLE.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-reference/Data-Definition-Statements/Create/CREATE-TABLE.md index 2645dc210aba6..d5bd3a4e27fdb 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-reference/Data-Definition-Statements/Create/CREATE-TABLE.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-reference/Data-Definition-Statements/Create/CREATE-TABLE.md @@ -779,7 +779,7 @@ Doris 中的表可以分为分区表和无分区的表。这个属性在建表 #### 动态分区 -动态分区功能主要用于帮助用户自动的管理分区。通过设定一定的规则，Doris 系统定期增加新的分区或删除历史分区。可参阅 [动态分区](../../../../table-design/data-partitioning/dynamic-partition) 文档查看更多帮助。 +动态分区功能主要用于帮助用户自动的管理分区。通过设定一定的规则，Doris 系统定期增加新的分区或删除历史分区。可参阅 动态分区 文档查看更多帮助。 #### 物化视图 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-reference/Data-Manipulation-Statements/Load/BROKER-LOAD.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-reference/Data-Manipulation-Statements/Load/BROKER-LOAD.md index d183d7234e012..9a4a7add0cf68 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-reference/Data-Manipulation-Statements/Load/BROKER-LOAD.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-reference/Data-Manipulation-Statements/Load/BROKER-LOAD.md @@ -175,7 +175,7 @@ WITH BROKER broker_name - `timezone` - 指定某些受时区影响的函数的时区，如 `strftime/alignment_timestamp/from_unixtime` 等等，具体请查阅 [时区](../../../../query/query-variables/time-zone) 文档。如果不指定，则使用 "Asia/Shanghai" 时区 + 指定某些受时区影响的函数的时区，如 `strftime/alignment_timestamp/from_unixtime` 等等，具体请查阅 时区 文档。如果不指定，则使用 "Asia/Shanghai" 时区 - `load_parallelism` diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-reference/Data-Manipulation-Statements/Manipulation/UPDATE.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-reference/Data-Manipulation-Statements/Manipulation/UPDATE.md index f2cf18ba53948..aa8bf66c0c65c 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-reference/Data-Manipulation-Statements/Manipulation/UPDATE.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-reference/Data-Manipulation-Statements/Manipulation/UPDATE.md @@ -15,7 +15,7 @@ UPDATE 该语句是为进行对数据进行更新的操作，UPDATE 语句目前仅支持 UNIQUE KEY 模型。 -UPDATE 操作目前只支持更新 Value 列，Key 列的更新可参考[使用 FlinkCDC 更新 Key 列](../../../../ecosystem/flink-doris-connector.md#使用flinkcdc更新key列)。 +UPDATE 操作目前只支持更新 Value 列，Key 列的更新可参考[使用 FlinkCDC 更新 Key 列](../../../../ecosystem/flink-doris-connector.md#使用-flink-cdc-更新-key-列)。 ## 语法 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-reference/Show-Statements/SHOW-ALTER-TABLE-MATERIALIZED-VIEW.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-reference/Show-Statements/SHOW-ALTER-TABLE-MATERIALIZED-VIEW.md index e8fd169246ab3..8fea0fdf6111b 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-reference/Show-Statements/SHOW-ALTER-TABLE-MATERIALIZED-VIEW.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-reference/Show-Statements/SHOW-ALTER-TABLE-MATERIALIZED-VIEW.md @@ -7,7 +7,7 @@ ## 描述 -该命令用于查看通过 [CREATE-MATERIALIZED-VIEW](../../../sql-statements/table-and-view/materialized-view/CREATE-MATERIALIZED-VIEW.md) 语句提交的创建物化视图作业的执行情况。 +该命令用于查看通过 CREATE-MATERIALIZED-VIEW 语句提交的创建物化视图作业的执行情况。 > 该语句等同于 `SHOW ALTER TABLE ROLLUP`; diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-reference/Show-Statements/SHOW-FRONTENDS-DISKS.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-reference/Show-Statements/SHOW-FRONTENDS-DISKS.md index 98858c62cd260..ad5b0107152d1 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-reference/Show-Statements/SHOW-FRONTENDS-DISKS.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-reference/Show-Statements/SHOW-FRONTENDS-DISKS.md @@ -40,7 +40,7 @@ SHOW FRONTENDS DISKS; ## 注意事项 -如果需要对查询结果进行进一步的过滤，可以使用表值函数[frontends_disks()](../../../sql-functions/table-valued-functions/frontends_disks.md)。`SHOW FRONTENDS DISKS` 与下面语句等价： +如果需要对查询结果进行进一步的过滤，可以使用表值函数frontends_disks()。`SHOW FRONTENDS DISKS` 与下面语句等价： ```sql SELECT * FROM FRONTENDS_DISKS(); diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-reference/Show-Statements/SHOW-STREAM-LOAD.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-reference/Show-Statements/SHOW-STREAM-LOAD.md index 16f3a6940451e..a7709aa66c21f 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-reference/Show-Statements/SHOW-STREAM-LOAD.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/sql-manual/sql-reference/Show-Statements/SHOW-STREAM-LOAD.md @@ -31,7 +31,7 @@ SHOW STREAM LOAD 说明： -1. 默认 BE 是不记录 Stream Load 的记录，如果你要查看需要在 BE 上启用记录，配置参数是：`enable_stream_load_record=true` ，具体怎么配置请参照 [BE 配置项](../../../config/be-config) +1. 默认 BE 是不记录 Stream Load 的记录，如果你要查看需要在 BE 上启用记录，配置参数是：`enable_stream_load_record=true` ，具体怎么配置请参照 BE 配置项 2. 如果不指定 db_name，使用当前默认db 2. 如果使用 LABEL LIKE，则会匹配Stream Load任务的 label 包含 label_matcher 的任务 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/table-design/data-type.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/table-design/data-type.md index 880d20c0320a6..95eebcca09442 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/table-design/data-type.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/table-design/data-type.md @@ -44,7 +44,7 @@ Apache Doris 已支持的数据类型列表如下： | [MAP](../sql-manual/sql-data-types/semi-structured/MAP) | 不定长 | 由 K, V 类型元素组成的 map，不能作为 Key 列使用。目前支持在 Duplicate 和 Unique 模型的表中使用。 | | [STRUCT](../sql-manual/sql-data-types/semi-structured/STRUCT) | 不定长 | 由多个 Field 组成的结构体，也可被理解为多个列的集合。不能作为 Key 使用，目前 STRUCT 仅支持在 Duplicate 模型的表中使用。一个 Struct 中的 Field 的名字和数量固定，总是为 Nullable。| | [JSON](../sql-manual/sql-data-types/semi-structured/JSON) | 不定长 | 二进制 JSON 类型，采用二进制 JSON 格式存储，通过 JSON 函数访问 JSON 内部字段。长度限制和配置方式与 String 相同 | -| [VARIANT](../sql-manual/sql-data-types/semi-structured/VARIANT) | 不定长 | 动态可变数据类型，专为半结构化数据如 JSON 设计，可以存入任意 JSON，自动将 JSON 中的字段拆分成子列存储，提升存储效率和查询分析性能。长度限制和配置方式与 String 相同。Variant 类型只能用在 Value 列，不能用在 Key 列和分区分桶列。| +| VARIANT | 不定长 | 动态可变数据类型，专为半结构化数据如 JSON 设计，可以存入任意 JSON，自动将 JSON 中的字段拆分成子列存储，提升存储效率和查询分析性能。长度限制和配置方式与 String 相同。Variant 类型只能用在 Value 列，不能用在 Key 列和分区分桶列。| ### [聚合类型](../sql-manual/sql-data-types/data-type-overview#聚合类型) diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/table-design/schema-change.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/table-design/schema-change.md index 43a8b12e0ad00..d0eb04939862e 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/table-design/schema-change.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0/table-design/schema-change.md @@ -57,7 +57,7 @@ 在开始转换历史数据之前，Doris 会获取一个最新的 Transaction ID。并等待这个 Transaction ID 之前的所有导入事务完成。这个 Transaction ID 成为分水岭。意思是，Doris 保证在分水岭之后的所有导入任务，都会同时为原表 /Index 和新表 /Index 生成数据。这样当历史数据转换完成后，可以保证新的表中的数据是完整的。 -创建 Schema Change 的具体语法可以查看帮助 [ALTER TABLE COLUMN](../sql-manual/sql-statements/Data-Definition-Statements/Alter/ALTER-TABLE-COLUMN) 中 Schema Change 部分的说明。 +创建 Schema Change 的具体语法可以查看帮助 ALTER TABLE COLUMN 中 Schema Change 部分的说明。 ## 向指定 Index 的指定位置添加一列 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/admin-manual/auth/authentication-and-authorization.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/admin-manual/auth/authentication-and-authorization.md index f782fa6d7c044..9a4b26dbae398 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/admin-manual/auth/authentication-and-authorization.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/admin-manual/auth/authentication-and-authorization.md @@ -91,7 +91,7 @@ Doris 支持以下密码策略，可以帮助用户更好的进行密码管理 ### 基于 LDAP 的认证方案 -请参阅[基于 LDAP 的认证方案](./ldap.md)。 +请参阅[基于 LDAP 的认证方案](./authentication/federation.md)。 ## 鉴权 @@ -219,7 +219,7 @@ Doris 目前支持以下几种权限 例如，管理员可以选择将信用卡号、身份证号等敏感字段的部分或全部数字替换为星号 `*` 或其他字符，或者将真实姓名替换为假名。 -从 2.1.2 版本开始，支持通过 Apache Ranger 的 Data Masking 来为某些列设置脱敏策略，目前仅支持通过 [Apache Ranger](./ranger.md) 来设置。 +从 2.1.2 版本开始，支持通过 Apache Ranger 的 Data Masking 来为某些列设置脱敏策略，目前仅支持通过 [Apache Ranger](./authorization/ranger.md) 来设置。 ### Doris 内置的鉴权方案 @@ -264,7 +264,7 @@ userN 通过 role3 拥有了 priv1 的权限，通过 roleN 拥有了 priv2 和 ### 基于 Apache Ranger 的鉴权方案 -请参阅[基于 Apache Ranger 的鉴权方案](./ranger.md) +请参阅[基于 Apache Ranger 的鉴权方案](./authorization/ranger.md) ## 常见问题 @@ -379,4 +379,3 @@ userN 通过 role3 拥有了 priv1 的权限，通过 roleN 拥有了 priv2 和 3. 黑名单 Doris 本身不支持黑名单，只有白名单功能，但我们可以通过某些方式来模拟黑名单。假设先创建了名为 `user@'192.%'` 的用户，表示允许来自 `192.*` 的用户登录。此时如果想禁止来自 `192.168.10.1` 的用户登录。则可以再创建一个用户 `cmy@'192.168.10.1'` 的用户，并设置一个新的密码。因为 `192.168.10.1` 的优先级高于 `192.%`，所以来自 `192.168.10.1` 将不能再使用旧密码进行登录。 - diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/admin-manual/auth/authorization/ranger.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/admin-manual/auth/authorization/ranger.md index eac784ed4ff7b..d0d9807478993 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/admin-manual/auth/authorization/ranger.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/admin-manual/auth/authorization/ranger.md @@ -109,6 +109,7 @@ Ranger 的安装和配置见下文：安装和配置 Doris Ranger 插件 3. 使用 user1 登录 Doris。执行 `select * from internal.db1.user`，只能看到满足 `id > 3` 且 `age = 2` 的数据。 + ### 数据脱敏示例 > 2.1.3 版本支持 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/data-operate/import/data-source/bigquery.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/data-operate/import/data-source/bigquery.md index 388d54c710d99..a7c78547c2540 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/data-operate/import/data-source/bigquery.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/data-operate/import/data-source/bigquery.md @@ -106,7 +106,7 @@ PROPERTIES ( 导入使用 S3 Load 进行导入，**S3 Load 是一种异步的数据导入方式，执行后 Doris 会主动从数据源拉取数据**，数据源支持兼容 S3 协议的对象存储，包括 ([AWS S3](./amazon-s3.md)，[GCS](./google-cloud-storage.md)，[AZURE](./azure-storage.md)等)。 -该方式适用于数据量大、需要后台异步处理的场景。对于需要同步处理的数据导入，可以参考 [TVF 导入](./amazon-s3.md#load-with-tvf)。 +该方式适用于数据量大、需要后台异步处理的场景。对于需要同步处理的数据导入，可以参考 [TVF 导入](./amazon-s3.md#使用-tvf-导入)。 *注意：对于含有复杂类型（Struct/Array/Map）的 Parquet/ORC 格式文件导入，目前必须使用 TVF 导入* @@ -197,7 +197,7 @@ PROPERTIES ( Reason: column_name[country], the length of input is too long than schema. first 32 bytes of input str: [Australia] schema length: 1; actual length: 9; . src line []; ``` - 同时对于数据质量的错误，如果可以允许错误数据跳过的，可以通过在 S3 Load 任务中 Properties 设置容错率，具体可参考[导入配置参数](../../import/import-way/broker-load-manual.md#related-configurations)。 + 同时对于数据质量的错误，如果可以允许错误数据跳过的，可以通过在 S3 Load 任务中 Properties 设置容错率，具体可参考[导入配置参数](../../import/import-way/broker-load-manual.md#导入配置参数)。 3.4. **导入多个文件的数据** diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/data-operate/import/data-source/redshift.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/data-operate/import/data-source/redshift.md index 0faf76b19bb10..dec2e79ff2d3d 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/data-operate/import/data-source/redshift.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/data-operate/import/data-source/redshift.md @@ -109,7 +109,7 @@ PARTITION BY (order_date) INCLUDE 导入使用 S3 Load 进行导入，**S3 Load 是一种异步的数据导入方式，执行后 Doris 会主动从数据源拉取数据**，数据源支持兼容 S3 协议的对象存储，包括 ([AWS S3](./amazon-s3.md)，[GCS](./google-cloud-storage.md)，[AZURE](./azure-storage.md)等)。 -该方式适用于数据量大、需要后台异步处理的场景。对于需要同步处理的数据导入，可以参考 [TVF 导入](./amazon-s3.md#load-with-tvf)。 +该方式适用于数据量大、需要后台异步处理的场景。对于需要同步处理的数据导入，可以参考 [TVF 导入](./amazon-s3.md#使用-tvf-导入)。 *注意：对于**含有**复杂类型（Struct/Array/Map）的**Parquet/ORC格式文件**导入，目前必须使用 TVF 导入* diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/data-operate/import/data-source/snowflake.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/data-operate/import/data-source/snowflake.md index 47944ae5b99c3..cc4930ca53488 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/data-operate/import/data-source/snowflake.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/data-operate/import/data-source/snowflake.md @@ -111,7 +111,7 @@ PROPERTIES ( 导入使用 S3 Load 进行导入，**S3 Load 是一种异步的数据导入方式，执行后 Doris 会主动从数据源拉取数据，**数据源支持兼容 S3 协议的对象存储，包括 ([AWS S3](./amazon-s3.md)，[GCS](./google-cloud-storage.md)，[AZURE](./azure-storage.md)等)。 -该方式适用于数据量大、需要后台异步处理的场景。对于需要同步处理的数据导入，可以参考 [TVF 导入](./amazon-s3.md#load-with-tvf)。 +该方式适用于数据量大、需要后台异步处理的场景。对于需要同步处理的数据导入，可以参考 [TVF 导入](./amazon-s3.md#使用-tvf-导入)。 *注意：对于**含有**复杂类型（Struct/Array/Map）的**Parquet/ORC格式文件**导入，目前必须使用 TVF 导入* @@ -202,7 +202,7 @@ PROPERTIES ( Reason: column_name[country], the length of input is too long than schema. first 32 bytes of input str: [Australia] schema length: 1; actual length: 9; . src line []; ``` - 同时对于数据质量的错误，如果可以允许错误数据跳过的，可以通过在 S3 Load 任务中 Properties 设置容错率，具体可参考[导入配置参数](../../import/import-way/broker-load-manual.md#related-configurations)。 + 同时对于数据质量的错误，如果可以允许错误数据跳过的，可以通过在 S3 Load 任务中 Properties 设置容错率，具体可参考[导入配置参数](../../import/import-way/broker-load-manual.md#导入配置参数)。 3.4. **导入多个分区的数据** diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/data-operate/import/import-way/log-storage-analysis.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/data-operate/import/import-way/log-storage-analysis.md index 99c0724dde145..31f121b122bb2 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/data-operate/import/import-way/log-storage-analysis.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/data-operate/import/import-way/log-storage-analysis.md @@ -55,7 +55,7 @@ ### 第 2 步：部署集群 -完成资源评估后，可以开始部署 Apache Doris 集群，推荐在物理机及虚拟机环境中进行部署。手动部署集群，可参考 [手动部署](./install/deploy-manually/integrated-storage-compute-deploy-manually)。 +完成资源评估后，可以开始部署 Apache Doris 集群，推荐在物理机及虚拟机环境中进行部署。手动部署集群，可参考 [手动部署](../../../install/deploy-manually/integrated-storage-compute-deploy-manually)。 ### 第 3 步：优化 FE 和 BE 配置 @@ -74,7 +74,7 @@ | `autobucket_min_buckets = 10` | 将自动分桶的最小分桶数从 1 调大到 10，避免日志量增加时分桶不够。 | | `max_backend_heartbeat_failure_tolerance_count = 10` | 日志场景下 BE 服务器压力较大，可能短时间心跳超时，因此将容忍次数从 1 调大到 10。 | -更多关于 FE 配置项的信息，可参考 [FE 配置项](./admin-manual/config/fe-config)。 +更多关于 FE 配置项的信息，可参考 [FE 配置项](../../../admin-manual/config/fe-config)。 **优化 BE 配置** @@ -102,7 +102,7 @@ | 其他 | `string_type_length_soft_limit_bytes = 10485760` | 将 String 类型数据的长度限制调高至 10 MB。 | | - | `trash_file_expire_time_sec = 300` `path_gc_check_interval_second = 900` `path_scan_interval_second = 900` | 调快垃圾文件的回收时间。 | -更多关于 BE 配置项的信息，可参考 [BE 配置项](./admin-manual/config/be-config)。 +更多关于 BE 配置项的信息，可参考 [BE 配置项](../../../admin-manual/config/be-config)。 ### 第 4 步：建表 @@ -111,14 +111,14 @@ **配置分区分桶参数** 分区时，按照以下说明配置： -- 使用时间字段上的 [Range 分区](./table-design/data-partitioning/manual-partitioning.md#range-分区) (`PARTITION BY RANGE(`ts`)`)，并开启 [动态分区](./table-design/data-partitioning/dynamic-partitioning) (`"dynamic_partition.enable" = "true"`)，按天自动管理分区。 +- 使用时间字段上的 [Range 分区](../../../table-design/data-partitioning/manual-partitioning#range-分区) (`PARTITION BY RANGE(`ts`)`)，并开启 [动态分区](../../../table-design/data-partitioning/dynamic-partitioning) (`"dynamic_partition.enable" = "true"`)，按天自动管理分区。 - 使用 Datetime 类型的时间字段作为 Key (`DUPLICATE KEY(ts)`)，在查询最新 N 条日志时有数倍加速。 分桶时，按照以下说明配置： - 分桶数量大致为集群磁盘总数的 3 倍，每个桶的数据量压缩后 5GB 左右。 - 使用 Random 策略 (`DISTRIBUTED BY RANDOM BUCKETS 60`)，配合写入时的 Single Tablet 导入，可以提升批量（Batch）写入的效率。 -更多关于分区分桶的信息，可参考 [数据划分](./table-design/data-partitioning/data-distribution)。 +更多关于分区分桶的信息，可参考 [数据划分](../../../table-design/data-partitioning/data-distribution)。 **配置压缩参数** - 使用 zstd 压缩算法 (`"compression" = "zstd"`), 提高数据压缩率。 @@ -269,7 +269,7 @@ output { ./bin/logstash -f logstash_demo.conf ``` -更多关于 Logstash 配置和使用的说明，可参考 [Logstash Doris Output Plugin](./ecosystem/observability/logstash)。 +更多关于 Logstash 配置和使用的说明，可参考 [Logstash Doris Output Plugin](../../../ecosystem/observability/logstash)。 **对接 Filebeat** @@ -345,7 +345,7 @@ chmod +x filebeat-doris-2.1.1 ./filebeat-doris-2.1.1 -c filebeat_demo.yml ``` -更多关于 Filebeat 配置和使用的说明，可参考 [Beats Doris Output Plugin](./ecosystem/observability/beats)。 +更多关于 Filebeat 配置和使用的说明，可参考 [Beats Doris Output Plugin](../../../ecosystem/observability/beats)。 **对接 Kafka** @@ -379,7 +379,7 @@ FROM KAFKA ( SHOW ROUTINE LOAD; ``` -更多关于 Kafka 配置和使用的说明，可参考 [Routine Load](./data-operate/import/import-way/routine-load-manual.md)。 +更多关于 Kafka 配置和使用的说明，可参考 [Routine Load](./routine-load-manual)。 **使用自定义程序采集日志** diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/ecosystem/flink-doris-connector.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/ecosystem/flink-doris-connector.md index 97b114df47beb..f41d1ba53fa30 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/ecosystem/flink-doris-connector.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/ecosystem/flink-doris-connector.md @@ -836,7 +836,7 @@ Flink Doris Connector 中集成了[Flink CDC](https://nightlies.apache.org/flink | sink.label-prefix | -- | Y | Stream load 导入使用的 label 前缀。2pc 场景下要求全局唯一，用来保证 Flink 的 EOS 语义。 | | sink.properties.* | -- | N | Stream Load 的导入参数。例如： 'sink.properties.column_separator' = ', ' 定义列分隔符， 'sink.properties.escape_delimiters' = 'true' 特殊字符作为分隔符，\x01 会被转换为二进制的 0x01。JSON 格式导入 'sink.properties.format' = 'json' , 'sink.properties.read_json_by_line' = 'true' 详细参数参考[这里](../data-operate/import/import-way/stream-load-manual.md#导入配置参数)。Group Commit 模式 例如：'sink.properties.group_commit' = 'sync_mode' 设置 group commit 为同步模式。flink connector 从 1.6.2 开始支持导入配置 group commit，详细使用和限制参考 [group commit](../data-operate/import/group-commit-manual.md) 。 | | sink.enable-delete | TRUE | N | 是否启用删除。此选项需要 Doris 表开启批量删除功能 (Doris0.15+ 版本默认开启)，只支持 Unique 模型。 | -| sink.enable-2pc | TRUE | N | 是否开启两阶段提交 (2pc)，默认为 true，保证 Exactly-Once 语义。关于两阶段提交可参考[这里](../data-operate/transaction.md#streamload-2pc)。 | +| sink.enable-2pc | TRUE | N | 是否开启两阶段提交 (2pc)，默认为 true，保证 Exactly-Once 语义。关于两阶段提交可参考[这里](../data-operate/transaction.md#stream-load-2pc)。 | | sink.buffer-size | 1MB | N | 写数据缓存 buffer 大小，单位字节。不建议修改，默认配置即可 | | sink.buffer-count | 3 | N | 写数据缓存 buffer 个数。不建议修改，默认配置即可 | | sink.max-retries | 3 | N | Commit 失败后的最大重试次数，默认 3 次 | diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/install/deploy-on-kubernetes/install-config-cluster.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/install/deploy-on-kubernetes/install-config-cluster.md index b4b570f9fe9d4..c78253aebbb2f 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/install/deploy-on-kubernetes/install-config-cluster.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/install/deploy-on-kubernetes/install-config-cluster.md @@ -617,7 +617,7 @@ mysql -h ac4828493dgrftb884g67wg4tb68gyut-1137856348.us-east-1.elb.amazonaws.com ## 配置管理用户名和密码 -Doris 节点的管理需要通过用户名、密码以 MySQL 协议连接活着的 FE 节点进行操作。Doris 实现[类似 RBAC 的权限管理机制](../../admin-manual/auth/authentication-and-authorization)，节点的管理需要用户拥有 [Node_priv](../../admin-manual/auth/authentication-and-authorization#types-of-permissions) 权限。Doris Operator 默认使用拥有所有权限的 root 用户无密码模式对 DorisCluster 资源配置的集群进行部署和管理。root 用户添加密码后，需要在 DorisCluster 资源中显示配置拥有 Node_Priv 权限的用户名和密码，以便 Doris Operator 对集群进行自动化管理操作。 +Doris 节点的管理需要通过用户名、密码以 MySQL 协议连接活着的 FE 节点进行操作。Doris 实现[类似 RBAC 的权限管理机制](../../admin-manual/auth/authentication-and-authorization)，节点的管理需要用户拥有 [Node_priv](../../admin-manual/auth/authentication-and-authorization#权限类型) 权限。Doris Operator 默认使用拥有所有权限的 root 用户无密码模式对 DorisCluster 资源配置的集群进行部署和管理。root 用户添加密码后，需要在 DorisCluster 资源中显示配置拥有 Node_Priv 权限的用户名和密码，以便 Doris Operator 对集群进行自动化管理操作。 DorisCluster 资源提供两种方式来配置管理集群节点所需的用户名、密码，包括：环境变量配置的方式，以及使用 [Secret](https://kubernetes.io/docs/concepts/configuration/secret/) 配置的方式。配置集群管理的用户名和密码分为 3 种情况： diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/lakehouse/catalogs/iceberg-catalog.mdx b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/lakehouse/catalogs/iceberg-catalog.mdx index e2c420b1893e3..8c2b714efa72f 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/lakehouse/catalogs/iceberg-catalog.mdx +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/lakehouse/catalogs/iceberg-catalog.mdx @@ -2085,7 +2085,7 @@ EXECUTE rewrite_data_files ( 1. `rewrite_data_files` 操作会读取数据文件并重新写入，会产生额外的 I/O 和计算开销，请合理分配集群资源。 2. 执行前可以通过[查看数据文件分布](#查看数据文件分布)章节中的 SQL 来评估是否需要执行重写操作 3. WHERE 条件可用于限制重写的分区或数据范围，这个条件会过滤掉那些不包含 符合 WHERE 条件的数据的文件，从而减少重写的文件数量和数据量 -4. 执行前可以通过[重写文件选择逻辑](#重写文件选择逻辑)章节中的 SQL 来计算哪些文件会被重写 +4. 执行前可以通过[重写文件选择逻辑](#rewrite_data_files-文件选择策略)章节中的 SQL 来计算哪些文件会被重写 ### cherrypick_snapshot diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/lakehouse/statistics.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/lakehouse/statistics.md index 0e499837e0c68..04f9422952f1c 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/lakehouse/statistics.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/lakehouse/statistics.md @@ -11,6 +11,6 @@ Doris 支持对外部数据源的表，如 Hive、Iceberg、Paimon 等进行自动或手动的统计信息收集。统计信息准确性直接决定了代价估算的准确性，对于选择最优查询计划至关重要，尤其在复杂查询场景下能显著提升查询执行效率。 -具体可参阅 [统计信息](../query-acceleration/optimization-technology-principle/statistics#external-table-collection) 文档中的【外表收集】部分。 +具体可参阅 [统计信息](../query-acceleration/optimization-technology-principle/statistics#外表收集) 文档中的【外表收集】部分。 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/query-acceleration/materialized-view/async-materialized-view/faq.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/query-acceleration/materialized-view/async-materialized-view/faq.md index d23582aab642f..32109da4199d9 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/query-acceleration/materialized-view/async-materialized-view/faq.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/query-acceleration/materialized-view/async-materialized-view/faq.md @@ -70,7 +70,7 @@ Unable to find a suitable base table for partitioning 出现该报错通常指的是物化视图的 SQL 定义和物化视图分区字段的选择，导致不能分区增量更新，所以创建分区物化视图会报错。 -- 物化视图想要分区增量更新，需要满足以下要求，详情见[物化视图刷新模式](../../../sql-manual/sql-statements/table-and-view/async-materialized-view/CREATE-ASYNC-MATERIALIZED-VIEW#optional-parameters) +- 物化视图想要分区增量更新，需要满足以下要求，详情见[物化视图刷新模式](../../../sql-manual/sql-statements/table-and-view/async-materialized-view/CREATE-ASYNC-MATERIALIZED-VIEW#可选参数) - 最新的代码可以提示分区构建失败的原因，原因摘要和说明见附录 2 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/query-acceleration/materialized-view/async-materialized-view/use-guide.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/query-acceleration/materialized-view/async-materialized-view/use-guide.md index 29e33c700df59..f4955ac240f48 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/query-acceleration/materialized-view/async-materialized-view/use-guide.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/query-acceleration/materialized-view/async-materialized-view/use-guide.md @@ -37,7 +37,7 @@ - 物化视图使用的表除了分区表外，其他表不经常变化。 -- 物化视图的定义 SQL 和分区字段满足分区推导的要求，即符合分区增量更新的要求。详细要求可参考：[CREATE-ASYNC-MATERIALIZED-VIEW](../../../sql-manual/sql-statements/table-and-view/async-materialized-view/CREATE-ASYNC-MATERIALIZED-VIEW#optional-parameters) +- 物化视图的定义 SQL 和分区字段满足分区推导的要求，即符合分区增量更新的要求。详细要求可参考：[CREATE-ASYNC-MATERIALIZED-VIEW](../../../sql-manual/sql-statements/table-and-view/async-materialized-view/CREATE-ASYNC-MATERIALIZED-VIEW#可选参数) - 物化视图分区数不多，分区过多会导致分区多物化视图构建时间会过长。 @@ -47,7 +47,7 @@ ## 分区物化视图常见使用方式 -当物化视图的基表数据量很大，且基表是分区表时，如果物化视图的定义 SQL 和分区字段满足分区推导的要求，此种场景比较适合构建分区物化视图。分区推导的详细要求可参考 [CREATE-ASYNC-MATERIALIZED-VIEW ](../../../sql-manual/sql-statements/table-and-view/async-materialized-view/CREATE-ASYNC-MATERIALIZED-VIEW#optional-parameters)和[异步物化视图 FAQ 构建问题 12](../../../query-acceleration/materialized-view/async-materialized-view/faq#q12-error-when-building-a-partition-materialized-view)。 +当物化视图的基表数据量很大，且基表是分区表时，如果物化视图的定义 SQL 和分区字段满足分区推导的要求，此种场景比较适合构建分区物化视图。分区推导的详细要求可参考 [CREATE-ASYNC-MATERIALIZED-VIEW ](../../../sql-manual/sql-statements/table-and-view/async-materialized-view/CREATE-ASYNC-MATERIALIZED-VIEW#可选参数)和[异步物化视图 FAQ 构建问题 12](../../../query-acceleration/materialized-view/async-materialized-view/faq#q12构建分区物化视图报错)。 物化视图的分区是跟随基表的分区映射创建的，一般和基表的分区是 1:1 或者 1:n 的关系。 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/sql-manual/basic-element/sql-data-types/date-time/DATETIME.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/sql-manual/basic-element/sql-data-types/date-time/DATETIME.md index c3aeaa9c7d3a0..abbeaa0d646ad 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/sql-manual/basic-element/sql-data-types/date-time/DATETIME.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/sql-manual/basic-element/sql-data-types/date-time/DATETIME.md @@ -19,7 +19,7 @@ DATETIME([P]) ### note -DATETIME 支持了最多到微秒的时间精度。在使用 BE 端解析导入的 DATETIME 类型数据时（如使用 Stream load、Spark load 等），或开启[新优化器](/docs/query/nereids/nereids-new)后在 FE 端解析 DATETIME 类型数据时，将会对超出当前精度的小数进行**四舍五入**。 +DATETIME 支持了最多到微秒的时间精度。在使用 BE 端解析导入的 DATETIME 类型数据时（如使用 Stream load、Spark load 等），或开启[新优化器](../../../../query-acceleration/optimization-technology-principle/query-optimizer)后在 FE 端解析 DATETIME 类型数据时，将会对超出当前精度的小数进行**四舍五入**。 将带有小数秒部分的 DATETIME 值插入到具有较少小数位的相同类型的列中会导致**四舍五入**。 DATETIME 读入时支持解析时区，格式为原本 DATETIME 字面量后紧贴时区： diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/sql-manual/sql-statements/data-modification/backup-and-restore/BACKUP.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/sql-manual/sql-statements/data-modification/backup-and-restore/BACKUP.md index 91ac001ec68fa..5b9a0286016c2 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/sql-manual/sql-statements/data-modification/backup-and-restore/BACKUP.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/sql-manual/sql-statements/data-modification/backup-and-restore/BACKUP.md @@ -8,7 +8,7 @@ ## 描述 -该语句用于备份指定数据库下的数据。该命令为异步操作，提交成功后，需通过 [SHOW BACKUP](./SHOW-BACKUP.md) 命令查看进度。 +该语句用于备份指定数据库下的数据。该命令为异步操作，提交成功后，需通过 `SHOW BACKUP` 命令查看进度。 ## 语法 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/admin-manual/auth/authentication-and-authorization.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/admin-manual/auth/authentication-and-authorization.md index f782fa6d7c044..8e063fb26f533 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/admin-manual/auth/authentication-and-authorization.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/admin-manual/auth/authentication-and-authorization.md @@ -379,4 +379,3 @@ userN 通过 role3 拥有了 priv1 的权限，通过 roleN 拥有了 priv2 和 3. 黑名单 Doris 本身不支持黑名单，只有白名单功能，但我们可以通过某些方式来模拟黑名单。假设先创建了名为 `user@'192.%'` 的用户，表示允许来自 `192.*` 的用户登录。此时如果想禁止来自 `192.168.10.1` 的用户登录。则可以再创建一个用户 `cmy@'192.168.10.1'` 的用户，并设置一个新的密码。因为 `192.168.10.1` 的优先级高于 `192.%`，所以来自 `192.168.10.1` 将不能再使用旧密码进行登录。 - diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/admin-manual/auth/integrations/aws-authentication-and-authorization.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/admin-manual/auth/integrations/aws-authentication-and-authorization.md index 76d40ff6e9f39..6fb32daa23680 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/admin-manual/auth/integrations/aws-authentication-and-authorization.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/admin-manual/auth/integrations/aws-authentication-and-authorization.md @@ -613,4 +613,4 @@ be.conf和doris_cloud.conf配置aws_log_level=5,并重启进程生效 #### 2.设置Aws Sdk DEBUG级别日志后，be.log/recycler.log报如下错误： `OpenSSL SSL_connect: Connection reset by peer in connection to sts.me-south-1.amazonaws.com:443 ` -请检查aws vpc网络配置或者防火墙端口配置是否存在问题，导致无法访问aws对应region的sts服务(可通过telnet host:port确认) \ No newline at end of file +请检查aws vpc网络配置或者防火墙端口配置是否存在问题，导致无法访问aws对应region的sts服务(可通过telnet host:port确认) diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/admin-manual/auth/integrations/aws-iam-role.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/admin-manual/auth/integrations/aws-iam-role.md index 1ec8806f6add6..179bb25942d75 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/admin-manual/auth/integrations/aws-iam-role.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/admin-manual/auth/integrations/aws-iam-role.md @@ -79,4 +79,4 @@ AWS Assume Role 是一种安全身份切换机制，允许一个可信实体（ ); ``` 其中"s3.role_arn" 对应填入AWS IAM Account2下的Iam role2的arn值,"s3.external_id"对应填入Trust Relationships Policies中配置的externalId的值(可选配置), 更多功能SQL语句功能详细参考： -[AWS 认证和鉴权](../../../admin-manual/auth/integrations/aws-authentication-and-authorization.md#assumed-role-authentication). \ No newline at end of file +[AWS 认证和鉴权](../../../admin-manual/auth/integrations/aws-authentication-and-authorization.md#assumed-role-认证鉴权). \ No newline at end of file diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/data-operate/import/data-source/amazon-s3.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/data-operate/import/data-source/amazon-s3.md index 776218f6cb2dd..7126ec085c6b1 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/data-operate/import/data-source/amazon-s3.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/data-operate/import/data-source/amazon-s3.md @@ -170,4 +170,4 @@ mysql> select * from test_s3load; 10 rows in set (0.04 sec) ``` -Doris也支持`AWS Assume Role`的方式使用S3 Load 和 TVF 请参考[AWS 集成](../../../admin-manual/auth/integrations/aws-authentication-and-authorization.md#assumed-role-authentication). \ No newline at end of file +Doris也支持`AWS Assume Role`的方式使用S3 Load 和 TVF 请参考[AWS 集成](../../../admin-manual/auth/integrations/aws-authentication-and-authorization.md#assumed-role-认证鉴权). \ No newline at end of file diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/data-operate/import/data-source/bigquery.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/data-operate/import/data-source/bigquery.md index 388d54c710d99..a7c78547c2540 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/data-operate/import/data-source/bigquery.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/data-operate/import/data-source/bigquery.md @@ -106,7 +106,7 @@ PROPERTIES ( 导入使用 S3 Load 进行导入，**S3 Load 是一种异步的数据导入方式，执行后 Doris 会主动从数据源拉取数据**，数据源支持兼容 S3 协议的对象存储，包括 ([AWS S3](./amazon-s3.md)，[GCS](./google-cloud-storage.md)，[AZURE](./azure-storage.md)等)。 -该方式适用于数据量大、需要后台异步处理的场景。对于需要同步处理的数据导入，可以参考 [TVF 导入](./amazon-s3.md#load-with-tvf)。 +该方式适用于数据量大、需要后台异步处理的场景。对于需要同步处理的数据导入，可以参考 [TVF 导入](./amazon-s3.md#使用-tvf-导入)。 *注意：对于含有复杂类型（Struct/Array/Map）的 Parquet/ORC 格式文件导入，目前必须使用 TVF 导入* @@ -197,7 +197,7 @@ PROPERTIES ( Reason: column_name[country], the length of input is too long than schema. first 32 bytes of input str: [Australia] schema length: 1; actual length: 9; . src line []; ``` - 同时对于数据质量的错误，如果可以允许错误数据跳过的，可以通过在 S3 Load 任务中 Properties 设置容错率，具体可参考[导入配置参数](../../import/import-way/broker-load-manual.md#related-configurations)。 + 同时对于数据质量的错误，如果可以允许错误数据跳过的，可以通过在 S3 Load 任务中 Properties 设置容错率，具体可参考[导入配置参数](../../import/import-way/broker-load-manual.md#导入配置参数)。 3.4. **导入多个文件的数据** diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/data-operate/import/data-source/redshift.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/data-operate/import/data-source/redshift.md index 0faf76b19bb10..dec2e79ff2d3d 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/data-operate/import/data-source/redshift.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/data-operate/import/data-source/redshift.md @@ -109,7 +109,7 @@ PARTITION BY (order_date) INCLUDE 导入使用 S3 Load 进行导入，**S3 Load 是一种异步的数据导入方式，执行后 Doris 会主动从数据源拉取数据**，数据源支持兼容 S3 协议的对象存储，包括 ([AWS S3](./amazon-s3.md)，[GCS](./google-cloud-storage.md)，[AZURE](./azure-storage.md)等)。 -该方式适用于数据量大、需要后台异步处理的场景。对于需要同步处理的数据导入，可以参考 [TVF 导入](./amazon-s3.md#load-with-tvf)。 +该方式适用于数据量大、需要后台异步处理的场景。对于需要同步处理的数据导入，可以参考 [TVF 导入](./amazon-s3.md#使用-tvf-导入)。 *注意：对于**含有**复杂类型（Struct/Array/Map）的**Parquet/ORC格式文件**导入，目前必须使用 TVF 导入* diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/data-operate/import/data-source/snowflake.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/data-operate/import/data-source/snowflake.md index 47944ae5b99c3..cc4930ca53488 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/data-operate/import/data-source/snowflake.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/data-operate/import/data-source/snowflake.md @@ -111,7 +111,7 @@ PROPERTIES ( 导入使用 S3 Load 进行导入，**S3 Load 是一种异步的数据导入方式，执行后 Doris 会主动从数据源拉取数据，**数据源支持兼容 S3 协议的对象存储，包括 ([AWS S3](./amazon-s3.md)，[GCS](./google-cloud-storage.md)，[AZURE](./azure-storage.md)等)。 -该方式适用于数据量大、需要后台异步处理的场景。对于需要同步处理的数据导入，可以参考 [TVF 导入](./amazon-s3.md#load-with-tvf)。 +该方式适用于数据量大、需要后台异步处理的场景。对于需要同步处理的数据导入，可以参考 [TVF 导入](./amazon-s3.md#使用-tvf-导入)。 *注意：对于**含有**复杂类型（Struct/Array/Map）的**Parquet/ORC格式文件**导入，目前必须使用 TVF 导入* @@ -202,7 +202,7 @@ PROPERTIES ( Reason: column_name[country], the length of input is too long than schema. first 32 bytes of input str: [Australia] schema length: 1; actual length: 9; . src line []; ``` - 同时对于数据质量的错误，如果可以允许错误数据跳过的，可以通过在 S3 Load 任务中 Properties 设置容错率，具体可参考[导入配置参数](../../import/import-way/broker-load-manual.md#related-configurations)。 + 同时对于数据质量的错误，如果可以允许错误数据跳过的，可以通过在 S3 Load 任务中 Properties 设置容错率，具体可参考[导入配置参数](../../import/import-way/broker-load-manual.md#导入配置参数)。 3.4. **导入多个分区的数据** diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/data-operate/import/import-way/log-storage-analysis.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/data-operate/import/import-way/log-storage-analysis.md index 81098d306afb0..637c947a7a563 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/data-operate/import/import-way/log-storage-analysis.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/data-operate/import/import-way/log-storage-analysis.md @@ -55,7 +55,7 @@ ### 第 2 步：部署集群 -完成资源评估后，可以开始部署 Apache Doris 集群，推荐在物理机及虚拟机环境中进行部署。手动部署集群，可参考 [手动部署](./install/deploy-manually/integrated-storage-compute-deploy-manually)。 +完成资源评估后，可以开始部署 Apache Doris 集群，推荐在物理机及虚拟机环境中进行部署。手动部署集群，可参考 [手动部署](../../../install/deploy-manually/integrated-storage-compute-deploy-manually)。 ### 第 3 步：优化 FE 和 BE 配置 @@ -74,7 +74,7 @@ | `autobucket_min_buckets = 10` | 将自动分桶的最小分桶数从 1 调大到 10，避免日志量增加时分桶不够。 | | `max_backend_heartbeat_failure_tolerance_count = 10` | 日志场景下 BE 服务器压力较大，可能短时间心跳超时，因此将容忍次数从 1 调大到 10。 | -更多关于 FE 配置项的信息，可参考 [FE 配置项](./admin-manual/config/fe-config)。 +更多关于 FE 配置项的信息，可参考 [FE 配置项](../../../admin-manual/config/fe-config)。 **优化 BE 配置** @@ -102,7 +102,7 @@ | 其他 | `string_type_length_soft_limit_bytes = 10485760` | 将 String 类型数据的长度限制调高至 10 MB。 | | - | `trash_file_expire_time_sec = 300` `path_gc_check_interval_second = 900` `path_scan_interval_second = 900` | 调快垃圾文件的回收时间。 | -更多关于 BE 配置项的信息，可参考 [BE 配置项](./admin-manual/config/be-config)。 +更多关于 BE 配置项的信息，可参考 [BE 配置项](../../../admin-manual/config/be-config)。 ### 第 4 步：建表 @@ -111,14 +111,14 @@ **配置分区分桶参数** 分区时，按照以下说明配置： -- 使用时间字段上的 [Range 分区](./table-design/data-partitioning/manual-partitioning.md#range-分区) (`PARTITION BY RANGE(`ts`)`)，并开启 [动态分区](./table-design/data-partitioning/dynamic-partitioning) (`"dynamic_partition.enable" = "true"`)，按天自动管理分区。 +- 使用时间字段上的 [Range 分区](../../../table-design/data-partitioning/manual-partitioning#range-分区) (`PARTITION BY RANGE(`ts`)`)，并开启 [动态分区](../../../table-design/data-partitioning/dynamic-partitioning) (`"dynamic_partition.enable" = "true"`)，按天自动管理分区。 - 使用 Datetime 类型的时间字段作为 Key (`DUPLICATE KEY(ts)`)，在查询最新 N 条日志时有数倍加速。 分桶时，按照以下说明配置： - 分桶数量大致为集群磁盘总数的 3 倍，每个桶的数据量压缩后 5GB 左右。 - 使用 Random 策略 (`DISTRIBUTED BY RANDOM BUCKETS 60`)，配合写入时的 Single Tablet 导入，可以提升批量（Batch）写入的效率。 -更多关于分区分桶的信息，可参考 [数据划分](./table-design/data-partitioning/data-distribution)。 +更多关于分区分桶的信息，可参考 [数据划分](../../../table-design/data-partitioning/data-distribution)。 **配置压缩参数** - 使用 zstd 压缩算法 (`"compression" = "zstd"`), 提高数据压缩率。 @@ -269,7 +269,7 @@ output { ./bin/logstash -f logstash_demo.conf ``` -更多关于 Logstash 配置和使用的说明，可参考 [Logstash Doris Output Plugin](./ecosystem/observability/logstash)。 +更多关于 Logstash 配置和使用的说明，可参考 [Logstash Doris Output Plugin](../../../ecosystem/observability/logstash)。 **对接 Filebeat** @@ -345,7 +345,7 @@ chmod +x filebeat-doris-2.1.1 ./filebeat-doris-2.1.1 -c filebeat_demo.yml ``` -更多关于 Filebeat 配置和使用的说明，可参考 [Beats Doris Output Plugin](./ecosystem/observability/beats)。 +更多关于 Filebeat 配置和使用的说明，可参考 [Beats Doris Output Plugin](../../../ecosystem/observability/beats)。 **对接 Kafka** @@ -379,7 +379,7 @@ FROM KAFKA ( SHOW ROUTINE LOAD; ``` -更多关于 Kafka 配置和使用的说明，可参考 [Routine Load](./data-operate/import/import-way/routine-load-manual.md)。 +更多关于 Kafka 配置和使用的说明，可参考 [Routine Load](./routine-load-manual)。 **使用自定义程序采集日志** diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/data-operate/import/import-way/routine-load-manual.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/data-operate/import/import-way/routine-load-manual.md index 9c7c8ab550eee..69f039bcd820b 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/data-operate/import/import-way/routine-load-manual.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/data-operate/import/import-way/routine-load-manual.md @@ -1159,6 +1159,7 @@ ReasonOfStateChanged: ### JSON 格式导入 + **以简单模式导入 JSON 格式数据** 1. 导入数据样例 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/data-operate/transaction.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/data-operate/transaction.md index c3048a8ccd755..1b923de48bdbe 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/data-operate/transaction.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/data-operate/transaction.md @@ -52,7 +52,7 @@ Label 通常被设置为 `业务逻辑+时间` 的格式。如 `my_business1_202 #### StreamLoad 2PC -[StreamLoad 2PC](#stream-load)，主要用于支持 Flink 写入 Doris 时的 EOS 语义。 +[StreamLoad 2PC](#stream-load-2pc)，主要用于支持 Flink 写入 Doris 时的 EOS 语义。 ## 显式事务操作 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/ecosystem/flink-doris-connector.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/ecosystem/flink-doris-connector.md index 1444476784ee0..4e45aa1df49fc 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/ecosystem/flink-doris-connector.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/ecosystem/flink-doris-connector.md @@ -836,7 +836,7 @@ Flink Doris Connector 中集成了[Flink CDC](https://nightlies.apache.org/flink | sink.label-prefix | -- | Y | Stream load 导入使用的 label 前缀。2pc 场景下要求全局唯一，用来保证 Flink 的 EOS 语义。 | | sink.properties.* | -- | N | Stream Load 的导入参数。例如： 'sink.properties.column_separator' = ', ' 定义列分隔符， 'sink.properties.escape_delimiters' = 'true' 特殊字符作为分隔符，\x01 会被转换为二进制的 0x01。JSON 格式导入 'sink.properties.format' = 'json' , 'sink.properties.read_json_by_line' = 'true' 详细参数参考[这里](../data-operate/import/import-way/stream-load-manual.md#导入配置参数)。Group Commit 模式 例如：'sink.properties.group_commit' = 'sync_mode' 设置 group commit 为同步模式。flink connector 从 1.6.2 开始支持导入配置 group commit，详细使用和限制参考 [group commit](../data-operate/import/group-commit-manual.md) 。 | | sink.enable-delete | TRUE | N | 是否启用删除。此选项需要 Doris 表开启批量删除功能 (Doris0.15+ 版本默认开启)，只支持 Unique 模型。 | -| sink.enable-2pc | TRUE | N | 是否开启两阶段提交 (2pc)，默认为 true，保证 Exactly-Once 语义。关于两阶段提交可参考[这里](../data-operate/transaction.md#streamload-2pc)。 | +| sink.enable-2pc | TRUE | N | 是否开启两阶段提交 (2pc)，默认为 true，保证 Exactly-Once 语义。关于两阶段提交可参考[这里](../data-operate/transaction.md#stream-load-2pc)。 | | sink.buffer-size | 1MB | N | 写数据缓存 buffer 大小，单位字节。不建议修改，默认配置即可 | | sink.buffer-count | 3 | N | 写数据缓存 buffer 个数。不建议修改，默认配置即可 | | sink.max-retries | 3 | N | Commit 失败后的最大重试次数，默认 3 次 | diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/install/deploy-on-kubernetes/integrated-storage-compute/install-config-cluster.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/install/deploy-on-kubernetes/integrated-storage-compute/install-config-cluster.md index df632115d001d..1e6285c5f676a 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/install/deploy-on-kubernetes/integrated-storage-compute/install-config-cluster.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/install/deploy-on-kubernetes/integrated-storage-compute/install-config-cluster.md @@ -683,7 +683,7 @@ mysql -h ac4828493dgrftb884g67wg4tb68gyut-1137856348.us-east-1.elb.amazonaws.com ## 配置管理用户名和密码 -Doris 节点的管理需要通过用户名、密码以 MySQL 协议连接活着的 FE 节点进行操作。Doris 实现[类似 RBAC 的权限管理机制](../../../admin-manual/auth/authentication-and-authorization)，节点的管理需要用户拥有 [Node_priv](../../../admin-manual/auth/authentication-and-authorization#types-of-permissions) 权限。Doris Operator 默认使用拥有所有权限的 root 用户无密码模式对 DorisCluster 资源配置的集群进行部署和管理。root 用户添加密码后，需要在 DorisCluster 资源中显示配置拥有 Node_Priv 权限的用户名和密码，以便 Doris Operator 对集群进行自动化管理操作。 +Doris 节点的管理需要通过用户名、密码以 MySQL 协议连接活着的 FE 节点进行操作。Doris 实现[类似 RBAC 的权限管理机制](../../../admin-manual/auth/authentication-and-authorization)，节点的管理需要用户拥有 [Node_priv](../../../admin-manual/auth/authentication-and-authorization#权限类型) 权限。Doris Operator 默认使用拥有所有权限的 root 用户无密码模式对 DorisCluster 资源配置的集群进行部署和管理。root 用户添加密码后，需要在 DorisCluster 资源中显示配置拥有 Node_Priv 权限的用户名和密码，以便 Doris Operator 对集群进行自动化管理操作。 DorisCluster 资源提供两种方式来配置管理集群节点所需的用户名、密码，包括：环境变量配置的方式，以及使用 [Secret](https://kubernetes.io/docs/concepts/configuration/secret/) 配置的方式。配置集群管理的用户名和密码分为 3 种情况： diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/install/deploy-on-kubernetes/separating-storage-compute/config-cluster.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/install/deploy-on-kubernetes/separating-storage-compute/config-cluster.md index 8463c488cac78..686f9d49df236 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/install/deploy-on-kubernetes/separating-storage-compute/config-cluster.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/install/deploy-on-kubernetes/separating-storage-compute/config-cluster.md @@ -10,7 +10,7 @@ ## 配置管理用户名和密码 -Doris 节点的管理需要通过用户名、密码以 MySQL 协议连接活着的 FE 节点进行操作。Doris 实现[类似 RBAC 的权限管理机制](../../../admin-manual/auth/authentication-and-authorization)，节点的管理需要用户拥有 [Node_priv](../../../admin-manual/auth/authentication-and-authorization#types-of-permissions) 权限。Doris Operator 默认使用拥有所有权限的 root 用户无密码模式对 DorisDisaggregatedCluster 资源配置的集群进行部署和管理。root 用户添加密码后，需要在 DorisDisaggregatedCluster 资源中显示配置拥有 Node_Priv 权限的用户名和密码，以便 Doris Operator 对集群进行自动化管理操作。 +Doris 节点的管理需要通过用户名、密码以 MySQL 协议连接活着的 FE 节点进行操作。Doris 实现[类似 RBAC 的权限管理机制](../../../admin-manual/auth/authentication-and-authorization)，节点的管理需要用户拥有 [Node_priv](../../../admin-manual/auth/authentication-and-authorization#权限类型) 权限。Doris Operator 默认使用拥有所有权限的 root 用户无密码模式对 DorisDisaggregatedCluster 资源配置的集群进行部署和管理。root 用户添加密码后，需要在 DorisDisaggregatedCluster 资源中显示配置拥有 Node_Priv 权限的用户名和密码，以便 Doris Operator 对集群进行自动化管理操作。 无论何种方式配置密码，请注意以下几点： - root、admin 等已经存在用户的密码，任何情况下 operator 都不会自动进行修改，需要用户自己去配置或者修改。 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/install/deploy-on-kubernetes/separating-storage-compute/config-ms.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/install/deploy-on-kubernetes/separating-storage-compute/config-ms.md index 69c98fd2c983f..dddf5213eed1a 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/install/deploy-on-kubernetes/separating-storage-compute/config-ms.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/install/deploy-on-kubernetes/separating-storage-compute/config-ms.md @@ -20,7 +20,7 @@ MetaService 是 Doris 存算分离集群元数据管理组件，不对外暴漏 name: ${foundationdbConfigMapName} namespace: ${namespace} ``` - 其中，`${foundationdbConfigMapName}` 为 ConfigMap 的名称。`${namespace}` 为 FoundationDB 部署的命名空间。查找 `fdb-kubernetes-operator` 生成的 ConfigMap，请参考部署 FoundationDB 章节的 [获取包含 FoundationDB 访问信息的 ConfigMap](install-fdb.md#get-the-configmap-that-contains-foundationdb-access-information)。 + 其中，`${foundationdbConfigMapName}` 为 ConfigMap 的名称。`${namespace}` 为 FoundationDB 部署的命名空间。查找 `fdb-kubernetes-operator` 生成的 ConfigMap，请参考部署 FoundationDB 章节的 [获取包含 FoundationDB 访问信息的 ConfigMap](install-fdb.md#获取包含-foundationdb-访问信息的-configmap)。 - 直接配置 FoundationDB 访问地址 如果 FoundationDB 是直接在物理机上部署，则可以直接在 MetaService 配置中指定访问地址： diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/install/deploy-on-kubernetes/separating-storage-compute/install-doris-cluster.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/install/deploy-on-kubernetes/separating-storage-compute/install-doris-cluster.md index 8ed398f150c0c..1987fedfff5a9 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/install/deploy-on-kubernetes/separating-storage-compute/install-doris-cluster.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/install/deploy-on-kubernetes/separating-storage-compute/install-doris-cluster.md @@ -60,7 +60,7 @@ Doris 存算分离版本使用 FDB 存储元数据，在 `DorisDisaggregatedClus - 配置包含访问信息的 ConfigMap 使用 [fdb-kubernetes-operator](https://github.com/FoundationDB/fdb-kubernetes-operator) 部署 FoundationDB，`fdb-kubernetes-operator` 会在部署的命名空间下生成一个特定的，包含 FoundationDB 访问信息的 ConfigMap。 - 生成的 ConfigMap 名称为部署 FoundationDB 的资源名称加上 "-config"。如何获取 `ConfigMap`，请参考文档 FoundationDB 在 Kubernetes 上部署中的[访问信息获取](./install-fdb.md#get-the-configmap-that-contains-foundationdb-access-information)章节。获取 `ConfigMap` 的命名空间和名称后，请按照如下格式配置 `DorisDisaggregatedCluster` 资源： + 生成的 ConfigMap 名称为部署 FoundationDB 的资源名称加上 "-config"。如何获取 `ConfigMap`，请参考文档 FoundationDB 在 Kubernetes 上部署中的[访问信息获取](./install-fdb.md#获取包含-foundationdb-访问信息的-configmap)章节。获取 `ConfigMap` 的命名空间和名称后，请按照如下格式配置 `DorisDisaggregatedCluster` 资源： ```yaml spec: metaService: diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/install/preparation/cluster-planning.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/install/preparation/cluster-planning.md index e3df946519bc6..f04d41ad587a7 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/install/preparation/cluster-planning.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/install/preparation/cluster-planning.md @@ -10,9 +10,9 @@ 在部署 Doris 时，可以根据业务选择存算一体或存算分离架构： -- [存算一体](../../gettingStarted/what-is-apache-doris.md#存算一体)：存算一体架构部署简单，性能优异，不依赖与外部的共享存储设备，适合不需要极致弹性扩缩容的业务场景； +- [存算一体](../../gettingStarted/what-is-apache-doris.md#存算一体架构)：存算一体架构部署简单，性能优异，不依赖与外部的共享存储设备，适合不需要极致弹性扩缩容的业务场景； -- [存算分离](../../gettingStarted/what-is-apache-doris.md#存算分离)：存算分离架构依赖于共享存储，实现了计算资源的弹性伸缩，适合需要动态调整计算资源的业务场景。 +- [存算分离](../../gettingStarted/what-is-apache-doris.md#存算分离架构)：存算分离架构依赖于共享存储，实现了计算资源的弹性伸缩，适合需要动态调整计算资源的业务场景。 ## 端口规划 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/lakehouse/catalog-overview.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/lakehouse/catalog-overview.md index 427a17e141d6b..d6ae19c93feb2 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/lakehouse/catalog-overview.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/lakehouse/catalog-overview.md @@ -53,8 +53,8 @@ CREATE CATALOG iceberg_catalog PROPERTIES ( | `include_database_list` | 支持只同步指定的多个 Database，以 `,` 分隔。默认同步所有 Database。Database 名称是大小写敏感的。当外部数据源有大量 Database，但仅需访问个别 Database 时，可以使用此参数，避免大量的元数据同步。 | `'include_database_list' = 'db1,db2'` | | `exclude_database_list` | 支持指定不需要同步的多个 Database，以 `,` 分隔。默认不做任何过滤，同步所有 Database。Database 名称是大小写敏感的。适用场景同上，反向排除不需要访问的数据库。如果冲突，`exclude` 优先级高于 `include`。 | `'exclude_database_list' = 'db1,db2'` | | `include_table_list` | 支持只同步指定的多个表，以 `db.tbl` 格式指定，多个表之间以 `,` 分隔。设置后，列举某个 Database 下的表时将仅返回指定的表，而不会从远端元数据服务获取完整的表列表。适用于外部数据源表数量庞大、获取全量表列表可能超时的场景。 | `'include_table_list' = 'db1.tbl1,db1.tbl2,db2.tbl3'` | -| `lower_case_table_names` | Catalog 级别的表名大小写控制。取值及含义见下方 [表名大小写](#表名大小写lower_case_table_names) 小节。默认值继承全局变量 `lower_case_table_names` 的设置。 | `'lower_case_table_names' = '1'` | -| `lower_case_database_names` | Catalog 级别的数据库名大小写控制。取值及含义见下方 [数据库名大小写](#数据库名大小写lower_case_database_names) 小节。默认值为 `0`（大小写敏感）。 | `'lower_case_database_names' = '2'` | +| `lower_case_table_names` | Catalog 级别的表名大小写控制。取值及含义见下方 [表名大小写](#表名大小写) 小节。默认值继承全局变量 `lower_case_table_names` 的设置。 | `'lower_case_table_names' = '1'` | +| `lower_case_database_names` | Catalog 级别的数据库名大小写控制。取值及含义见下方 [数据库名大小写](#数据库名大小写) 小节。默认值为 `0`（大小写敏感）。 | `'lower_case_database_names' = '2'` | ### 指定表列表 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/lakehouse/catalogs/iceberg-catalog.mdx b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/lakehouse/catalogs/iceberg-catalog.mdx index b544297618da5..b2f1666ff082b 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/lakehouse/catalogs/iceberg-catalog.mdx +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/lakehouse/catalogs/iceberg-catalog.mdx @@ -2759,7 +2759,7 @@ EXECUTE rewrite_data_files ( 1. `rewrite_data_files` 操作会读取数据文件并重新写入，会产生额外的 I/O 和计算开销，请合理分配集群资源。 2. 执行前可以通过[查看数据文件分布](#查看数据文件分布)章节中的 SQL 来评估是否需要执行重写操作。 3. WHERE 条件可用于限制重写的分区或数据范围，这个条件会过滤掉那些不包含符合 WHERE 条件的数据的文件，从而减少重写的文件数量和数据量。 -4. 执行前可以通过[重写文件选择逻辑](#重写文件选择逻辑)章节中的 SQL 来计算哪些文件会被重写。 +4. 执行前可以通过[重写文件选择逻辑](#rewrite_data_files-文件选择策略)章节中的 SQL 来计算哪些文件会被重写。 ### rewrite_manifests diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/lakehouse/statistics.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/lakehouse/statistics.md index 0e499837e0c68..04f9422952f1c 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/lakehouse/statistics.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/lakehouse/statistics.md @@ -11,6 +11,6 @@ Doris 支持对外部数据源的表，如 Hive、Iceberg、Paimon 等进行自动或手动的统计信息收集。统计信息准确性直接决定了代价估算的准确性，对于选择最优查询计划至关重要，尤其在复杂查询场景下能显著提升查询执行效率。 -具体可参阅 [统计信息](../query-acceleration/optimization-technology-principle/statistics#external-table-collection) 文档中的【外表收集】部分。 +具体可参阅 [统计信息](../query-acceleration/optimization-technology-principle/statistics#外表收集) 文档中的【外表收集】部分。 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/query-acceleration/materialized-view/async-materialized-view/faq.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/query-acceleration/materialized-view/async-materialized-view/faq.md index fd9543c11401e..7d1c1f53a813a 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/query-acceleration/materialized-view/async-materialized-view/faq.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/query-acceleration/materialized-view/async-materialized-view/faq.md @@ -70,7 +70,7 @@ Unable to find a suitable base table for partitioning 出现该报错通常指的是物化视图的 SQL 定义和物化视图分区字段的选择，导致不能分区增量更新，所以创建分区物化视图会报错。 -- 物化视图想要分区增量更新，需要满足以下要求，详情见[物化视图刷新模式](../../../sql-manual/sql-statements/table-and-view/async-materialized-view/CREATE-ASYNC-MATERIALIZED-VIEW#optional-parameters) +- 物化视图想要分区增量更新，需要满足以下要求，详情见[物化视图刷新模式](../../../sql-manual/sql-statements/table-and-view/async-materialized-view/CREATE-ASYNC-MATERIALIZED-VIEW#可选参数) - 最新的代码可以提示分区构建失败的原因，原因摘要和说明见附录 2 @@ -312,7 +312,7 @@ your_query_sql; - 物化视图可能处于不可用状态，从而导致透明改写无法命中。要查看物化视图的构建状态，请参见查看物化视图状态。 -- 若经过前两步的检查后，物化视图仍然无法命中，那么可能是物化视图的定义 SQL 和查询 SQL 不在当前物化视图改写能力的范围内。详情请参考 [物化视图透明改写能力](../../../query-acceleration/materialized-view/async-materialized-view/functions-and-demands#透明改写能力)。 +- 若经过前两步的检查后，物化视图仍然无法命中，那么可能是物化视图的定义 SQL 和查询 SQL 不在当前物化视图改写能力的范围内。详情请参考 [物化视图透明改写能力](../../../query-acceleration/materialized-view/async-materialized-view/functions-and-demands#查询透明改写)。 - 对于失败命中的详细信息和说明，请查阅[附录 1](#附录)。 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/query-acceleration/materialized-view/async-materialized-view/use-guide.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/query-acceleration/materialized-view/async-materialized-view/use-guide.md index 4fb713da490a5..18226a0bcf8a4 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/query-acceleration/materialized-view/async-materialized-view/use-guide.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/query-acceleration/materialized-view/async-materialized-view/use-guide.md @@ -37,7 +37,7 @@ - 物化视图使用的表除了分区表外，其他表不经常变化。 -- 物化视图的定义 SQL 和分区字段满足分区推导的要求，即符合分区增量更新的要求。详细要求可参考：[CREATE-ASYNC-MATERIALIZED-VIEW](../../../sql-manual/sql-statements/table-and-view/async-materialized-view/CREATE-ASYNC-MATERIALIZED-VIEW#optional-parameters) +- 物化视图的定义 SQL 和分区字段满足分区推导的要求，即符合分区增量更新的要求。详细要求可参考：[CREATE-ASYNC-MATERIALIZED-VIEW](../../../sql-manual/sql-statements/table-and-view/async-materialized-view/CREATE-ASYNC-MATERIALIZED-VIEW#可选参数) - 物化视图分区数不多，分区过多会导致分区多物化视图构建时间会过长。 @@ -47,7 +47,7 @@ ## 分区物化视图常见使用方式 -当物化视图的基表数据量很大，且基表是分区表时，如果物化视图的定义 SQL 和分区字段满足分区推导的要求，此种场景比较适合构建分区物化视图。分区推导的详细要求可参考 [CREATE-ASYNC-MATERIALIZED-VIEW ](../../../sql-manual/sql-statements/table-and-view/async-materialized-view/CREATE-ASYNC-MATERIALIZED-VIEW#optional-parameters)和[异步物化视图 FAQ 构建问题 12](../../../query-acceleration/materialized-view/async-materialized-view/faq#q12-error-when-building-a-partition-materialized-view)。 +当物化视图的基表数据量很大，且基表是分区表时，如果物化视图的定义 SQL 和分区字段满足分区推导的要求，此种场景比较适合构建分区物化视图。分区推导的详细要求可参考 [CREATE-ASYNC-MATERIALIZED-VIEW ](../../../sql-manual/sql-statements/table-and-view/async-materialized-view/CREATE-ASYNC-MATERIALIZED-VIEW#可选参数)和[异步物化视图 FAQ 构建问题 12](../../../query-acceleration/materialized-view/async-materialized-view/faq#q12构建分区物化视图报错)。 物化视图的分区是跟随基表的分区映射创建的，一般和基表的分区是 1:1 或者 1:n 的关系。 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/sql-manual/basic-element/sql-data-types/date-time/DATETIME.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/sql-manual/basic-element/sql-data-types/date-time/DATETIME.md index c3aeaa9c7d3a0..abbeaa0d646ad 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/sql-manual/basic-element/sql-data-types/date-time/DATETIME.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/sql-manual/basic-element/sql-data-types/date-time/DATETIME.md @@ -19,7 +19,7 @@ DATETIME([P]) ### note -DATETIME 支持了最多到微秒的时间精度。在使用 BE 端解析导入的 DATETIME 类型数据时（如使用 Stream load、Spark load 等），或开启[新优化器](/docs/query/nereids/nereids-new)后在 FE 端解析 DATETIME 类型数据时，将会对超出当前精度的小数进行**四舍五入**。 +DATETIME 支持了最多到微秒的时间精度。在使用 BE 端解析导入的 DATETIME 类型数据时（如使用 Stream load、Spark load 等），或开启[新优化器](../../../../query-acceleration/optimization-technology-principle/query-optimizer)后在 FE 端解析 DATETIME 类型数据时，将会对超出当前精度的小数进行**四舍五入**。 将带有小数秒部分的 DATETIME 值插入到具有较少小数位的相同类型的列中会导致**四舍五入**。 DATETIME 读入时支持解析时区，格式为原本 DATETIME 字面量后紧贴时区： diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/sql-manual/sql-statements/cluster-management/compute-management/CREATE-RESOURCE.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/sql-manual/sql-statements/cluster-management/compute-management/CREATE-RESOURCE.md index 851a387c3236a..d71b30605f88c 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/sql-manual/sql-statements/cluster-management/compute-management/CREATE-RESOURCE.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/sql-manual/sql-statements/cluster-management/compute-management/CREATE-RESOURCE.md @@ -143,7 +143,7 @@ S3 相关参数如下： - `s3.connection.request.timeout`：s3 请求超时时间，单位毫秒，默认为 3000 - `s3.connection.timeout`：s3 连接超时时间，单位毫秒，默认为 1000 - Doris 也支持通过 `AWS Assume Role` 的方式创建 S3 Resource, 请参考如下文档配置和使用[AWS integration](../../../../admin-manual/auth/integrations/aws-authentication-and-authorization.md#assumed-role-authentication). + Doris 也支持通过 `AWS Assume Role` 的方式创建 S3 Resource, 请参考如下文档配置和使用[AWS integration](../../../../admin-manual/auth/integrations/aws-authentication-and-authorization.md#assumed-role-认证鉴权). **4. 创建 JDBC resource** diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/sql-manual/sql-statements/cluster-management/storage-management/CREATE-STORAGE-VAULT.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/sql-manual/sql-statements/cluster-management/storage-management/CREATE-STORAGE-VAULT.md index c173f66699e35..81481b3eae84d 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/sql-manual/sql-statements/cluster-management/storage-management/CREATE-STORAGE-VAULT.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/sql-manual/sql-statements/cluster-management/storage-management/CREATE-STORAGE-VAULT.md @@ -52,7 +52,7 @@ CREATE STORAGE VAULT [IF NOT EXISTS] <`vault_name`> [ <`properties`> ] 1. `s3.endpoint` 如果不提供`http://` 或 `https://` 前缀, 则默认使用http; 如提供，则会以前缀为准; -2. Doris也支持`AWS Assume Role`的方式创建Storage Vault(仅限于AWS S3)，配置方式请参考[AWS集成](../../../../admin-manual/auth/integrations/aws-authentication-and-authorization.md#assumed-role-authentication)。 +2. Doris也支持`AWS Assume Role`的方式创建Storage Vault(仅限于AWS S3)，配置方式请参考[AWS集成](../../../../admin-manual/auth/integrations/aws-authentication-and-authorization.md#assumed-role-认证鉴权)。 ### HDFS vault @@ -169,7 +169,7 @@ PROPERTIES ( **注意: ** -Doris也支持`AWS Assume Role`的方式创建Storage Vault(仅限于AWS S3)，配置方式请参考[AWS集成](../../../../admin-manual/auth/integrations/aws-authentication-and-authorization.md#assumed-role-authentication). +Doris也支持`AWS Assume Role`的方式创建Storage Vault(仅限于AWS S3)，配置方式请参考[AWS集成](../../../../admin-manual/auth/integrations/aws-authentication-and-authorization.md#assumed-role-认证鉴权). ### 7. 创建 MinIO storage vault。 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/sql-manual/sql-statements/data-modification/DML/UPDATE.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/sql-manual/sql-statements/data-modification/DML/UPDATE.md index cf6ec4496a5f4..7eabc576d2770 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/sql-manual/sql-statements/data-modification/DML/UPDATE.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/sql-manual/sql-statements/data-modification/DML/UPDATE.md @@ -10,7 +10,7 @@ 该语句是为进行对数据进行更新的操作，UPDATE 语句目前仅支持 UNIQUE KEY 模型。 -UPDATE 操作目前只支持更新 Value 列，Key 列的更新可参考[使用 FlinkCDC 更新 Key 列](../../../../ecosystem/flink-doris-connector.md#使用flinkcdc更新key列)。 +UPDATE 操作目前只支持更新 Value 列，Key 列的更新可参考[使用 FlinkCDC 更新 Key 列](../../../../ecosystem/flink-doris-connector.md#flinkcdc-更新-key-列)。 ## 语法 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/sql-manual/sql-statements/data-modification/backup-and-restore/BACKUP.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/sql-manual/sql-statements/data-modification/backup-and-restore/BACKUP.md index 91ac001ec68fa..5b9a0286016c2 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/sql-manual/sql-statements/data-modification/backup-and-restore/BACKUP.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/sql-manual/sql-statements/data-modification/backup-and-restore/BACKUP.md @@ -8,7 +8,7 @@ ## 描述 -该语句用于备份指定数据库下的数据。该命令为异步操作，提交成功后，需通过 [SHOW BACKUP](./SHOW-BACKUP.md) 命令查看进度。 +该语句用于备份指定数据库下的数据。该命令为异步操作，提交成功后，需通过 `SHOW BACKUP` 命令查看进度。 ## 语法 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/sql-manual/sql-statements/data-modification/backup-and-restore/CREATE-REPOSITORY.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/sql-manual/sql-statements/data-modification/backup-and-restore/CREATE-REPOSITORY.md index 4914f5f6f2753..a60c58e192923 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/sql-manual/sql-statements/data-modification/backup-and-restore/CREATE-REPOSITORY.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/sql-manual/sql-statements/data-modification/backup-and-restore/CREATE-REPOSITORY.md @@ -47,7 +47,7 @@ CREATE [READ ONLY] REPOSITORY **Note: ** -Doris 支持使用`AWS Assume Role`的方式创建位于 AWS S3 上的 Repository，请参考[AWS 集成](../../../../admin-manual/auth/integrations/aws-authentication-and-authorization.md#assumed-role-authentication). +Doris 支持使用`AWS Assume Role`的方式创建位于 AWS S3 上的 Repository，请参考[AWS 集成](../../../../admin-manual/auth/integrations/aws-authentication-and-authorization.md#assumed-role-认证鉴权). ## 权限控制 | 权限 | 对象 | 说明 | @@ -82,7 +82,7 @@ PROPERTIES **Note: ** -Doris 支持使用`AWS Assume Role`的方式创建位于 AWS S3 上的 Repository，请参考[AWS 集成](../../../../admin-manual/auth/integrations/aws-authentication-and-authorization.md#assumed-role-authentication). +Doris 支持使用`AWS Assume Role`的方式创建位于 AWS S3 上的 Repository，请参考[AWS 集成](../../../../admin-manual/auth/integrations/aws-authentication-and-authorization.md#assumed-role-认证鉴权). 创建名为 hdfs_repo 的仓库 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/sql-manual/sql-statements/table-and-view/table/CREATE-TABLE.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/sql-manual/sql-statements/table-and-view/table/CREATE-TABLE.md index dbd87142532e0..e7de0cb4d3e64 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/sql-manual/sql-statements/table-and-view/table/CREATE-TABLE.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/sql-manual/sql-statements/table-and-view/table/CREATE-TABLE.md @@ -370,7 +370,7 @@ rollup 可以创建的同步物化视图功能有限。已不再推荐使用。 | group_commit_data_bytes | 配置这个表的 Group Commit 攒批数据大小。单位为 bytes，默认值为 134217728，即 128MB。Group Commit 的下刷时机取决于 `group_commit_interval_ms`以及`group_commit_data_bytes` 哪个先到设置的值。 | | enable_mow_light_delete | 是否在 Unique 表 Mow 上开启 Delete 语句写 Delete predicate。若开启，会提升 Delete 语句的性能，但 Delete 后进行部分列更新可能会出现部分数据错误的情况。若关闭，会降低 Delete 语句的性能来保证正确性。此属性的默认值为 `false`。此属性只能在 Unique Merge-on-Write 表上开启。 | | 动态分区相关属性 | 动态分区相关参考[数据划分 - 动态分区](../../../../table-design/data-partitioning/dynamic-partitioning) | -| enable_unique_key_skip_bitmap_column | 是否在 Unique Merge-on-Write 表上开启[灵活列更新功能](../../../../data-operate/update/update-of-unique-model.md#灵活部分列更新)。此属性只能在 Unique Merge-on-Write 表上开启。(自 3.1.0 版本起支持) | +| enable_unique_key_skip_bitmap_column | 是否在 Unique Merge-on-Write 表上开启[灵活列更新功能](../../../../data-operate/update/update-of-unique-model.md#部分列更新)。此属性只能在 Unique Merge-on-Write 表上开启。(自 3.1.0 版本起支持) | ## 权限控制 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/table-design/overview.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/table-design/overview.md index 59b9fc2d08fea..45733a9dd7a02 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/table-design/overview.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.x/table-design/overview.md @@ -19,7 +19,7 @@ Doris 中表名默认是大小写敏感的，可以在第一次初始化集群 ## 表属性 -Doris 的建表语句中可以指定[建表属性](../sql-manual/sql-statements/table-and-view/table/CREATE-TABLE#properties)，包括： +Doris 的建表语句中可以指定[建表属性](../sql-manual/sql-statements/table-and-view/table/CREATE-TABLE#可选参数)，包括： - 分桶数 (buckets)：决定数据在表中的分布； diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/admin-manual/auth/certificate.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/admin-manual/auth/certificate.md index f5eebecef6b1b..07616ab610861 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/admin-manual/auth/certificate.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/admin-manual/auth/certificate.md @@ -77,7 +77,7 @@ MySQL 客户端通过 `--ssl-mode` 参数控制连接行为，可选模式如下 | PREFERRED（默认） | 优先尝试 SSL 连接，失败则回退到普通连接 | `mysql -uroot -P9030 -h127.0.0.1` | | DISABLE | 禁用 SSL，使用普通连接 | `mysql --ssl-mode=DISABLE -uroot -P9030 -h127.0.0.1` | | REQUIRED | 强制使用 SSL 连接 | `mysql --ssl-mode=REQUIRED -uroot -P9030 -h127.0.0.1` | -| VERIFY_CA | 强制 SSL 并校验服务端证书的 CA（mTLS 场景使用） | 参考 [配置双向认证（mTLS）](#配置双向认证-mtls) | +| VERIFY_CA | 强制 SSL 并校验服务端证书的 CA（mTLS 场景使用） | 参考 [配置双向认证（mTLS）](#配置双向认证mtls) | :::note 注意 `--ssl-mode` 参数是 MySQL 5.7.11 版本引入的，低于此版本的 MySQL 客户端请参考 [MySQL 官方文档](https://dev.mysql.com/doc/connector-j/en/connector-j-connp-props-security.html)。 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/admin-manual/auth/integrations/aws-iam-role.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/admin-manual/auth/integrations/aws-iam-role.md index 5054de1def89c..193f84c269aa1 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/admin-manual/auth/integrations/aws-iam-role.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/admin-manual/auth/integrations/aws-iam-role.md @@ -156,4 +156,4 @@ PROPERTIES ( | `s3.external_id` | 否 | 填入 Trust Relationships Policies 中配置的 externalId 的值 | | `timeout` | 否 | 操作超时时间，单位秒 | -更多功能 SQL 语句的详细使用方式，参考：[AWS 认证和鉴权](../../../admin-manual/auth/integrations/aws-authentication-and-authorization#assumed-role-authentication)。 +更多功能 SQL 语句的详细使用方式，参考：[AWS 认证和鉴权](../../../admin-manual/auth/integrations/aws-authentication-and-authorization#assumed-role-认证鉴权)。 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/admin-manual/system-tables/information_schema/column_statistics.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/admin-manual/system-tables/information_schema/column_statistics.md index bfc4a3b1fd065..6dabb4f6ccf72 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/admin-manual/system-tables/information_schema/column_statistics.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/admin-manual/system-tables/information_schema/column_statistics.md @@ -11,7 +11,7 @@ ## 概述 -此表仅用于兼容 MySQL 行为，永远为空。并不能真实反映 Doris 内数据的统计信息。如需查看 Doris 收集的统计信息，请[查看统计信息章节](../../../query-acceleration/optimization-technology-principle/statistics#查看统计信息)。 +此表仅用于兼容 MySQL 行为，永远为空。并不能真实反映 Doris 内数据的统计信息。如需查看 Doris 收集的统计信息，请[查看统计信息章节](../../../query-acceleration/optimization-technology-principle/statistics#统计信息)。 ## 所属数据库 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/admin-manual/trouble-shooting/memory-management/memory-analysis/query-memory-analysis.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/admin-manual/trouble-shooting/memory-management/memory-analysis/query-memory-analysis.md index e890c61ac1b87..630ce1c6977c0 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/admin-manual/trouble-shooting/memory-management/memory-analysis/query-memory-analysis.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/admin-manual/trouble-shooting/memory-management/memory-analysis/query-memory-analysis.md @@ -26,7 +26,7 @@ MemTrackerLimiter Label=query, Type=overview, Limit=-1.00 B(-1 B), Used=83.32 MB ## 使用 Query Profile 分析查询内存使用 -依据 QueryID 在 `fe/log/fe.audit.log` 中找到包括 SQL 在内的查询信息，`explain SQL` 得到查询计划，`set enable_profile=true`后执行 SQL 得到查询的 Query Profile，有关 Query Profile 的详细介绍参考文档 [Query Profile](../../../../query-acceleration/performance-tuning-overview/analysis-tools#doris-profile)，这里只介绍 Query Profile 中内存相关的内容，并据此定位使用大量内存的 Operator 和数据结构。 +依据 QueryID 在 `fe/log/fe.audit.log` 中找到包括 SQL 在内的查询信息，`explain SQL` 得到查询计划，`set enable_profile=true`后执行 SQL 得到查询的 Query Profile，有关 Query Profile 的详细介绍参考文档 [Query Profile](../../../../query-acceleration/performance-tuning-overview/analysis-tools#doris-profile分析执行层瓶颈)，这里只介绍 Query Profile 中内存相关的内容，并据此定位使用大量内存的 Operator 和数据结构。 1. 定位使用大量内存的 Operator 或内存数据结构 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/compute-storage-decoupled/file-cache/file-cache.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/compute-storage-decoupled/file-cache/file-cache.md index 9294ba956db3b..fa62eb77f655a 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/compute-storage-decoupled/file-cache/file-cache.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/compute-storage-decoupled/file-cache/file-cache.md @@ -305,7 +305,7 @@ SQL Profile 中缓存相关指标位于 `SegmentIterator` 节点下： | `RemoteIOUseTimer` | 读取远程存储的耗时 | | `WriteCacheIOUseTimer` | 写入 File Cache 的耗时 | -您可以通过[查询性能分析](../../query-acceleration/performance-tuning-overview/analysis-tools#doris-profile)查看完整的查询性能报告。 +您可以通过[查询性能分析](../../query-acceleration/performance-tuning-overview/analysis-tools#doris-profile分析执行层瓶颈)查看完整的查询性能报告。 ## TTL 缓存策略 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/connection-integration/data-integration/flink-doris-connector.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/connection-integration/data-integration/flink-doris-connector.md index cc7d0deb5f99c..276f8bc2f2abd 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/connection-integration/data-integration/flink-doris-connector.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/connection-integration/data-integration/flink-doris-connector.md @@ -819,7 +819,7 @@ Flink Doris Connector 集成了 [Flink CDC](https://nightlies.apache.org/flink/f | sink.label-prefix | -- | Y | Stream Load 导入使用的 label 前缀。2pc 场景下要求全局唯一，用来保证 Flink 的 EOS 语义。 | | sink.properties.* | -- | N | Stream Load 的导入参数。例如：`'sink.properties.column_separator' = ', '` 定义列分隔符；`'sink.properties.escape_delimiters' = 'true'` 表示特殊字符作为分隔符，`\x01` 会被转换为二进制的 `0x01`；JSON 格式导入：`'sink.properties.format' = 'json'`、`'sink.properties.read_json_by_line' = 'true'`，详细参数参考 [Stream Load](../../data-operate/import/import-way/stream-load-manual.md#导入配置参数)。Group Commit 模式：`'sink.properties.group_commit' = 'sync_mode'` 设置 group commit 为同步模式。Flink Connector 从 1.6.2 开始支持导入配置 group commit，详细使用与限制参考 [Group Commit](../../data-operate/import/load-best-practices/group-commit-manual.md)。从 26.1.0 开始 Stream Load 默认启用 gz 压缩，可通过设置 `'sink.properties.compress_type' = ''` 关闭压缩。 | | sink.enable-delete | TRUE | N | 是否启用删除。此选项需要 Doris 表开启批量删除功能（Doris 0.15+ 版本默认开启），只支持 Unique 模型。 | -| sink.enable-2pc | TRUE | N | 是否开启两阶段提交（2pc），默认为 true，保证 Exactly-Once 语义。关于两阶段提交可参考 [Stream Load 2PC](../../data-operate/transaction.md#streamload-2pc)。 | +| sink.enable-2pc | TRUE | N | 是否开启两阶段提交（2pc），默认为 true，保证 Exactly-Once 语义。关于两阶段提交可参考 [Stream Load 2PC](../../data-operate/transaction.md#stream-load-2pc)。 | | sink.buffer-size | 1MB | N | 写数据缓存 buffer 大小，单位字节。不建议修改，默认配置即可 | | sink.buffer-count | 3 | N | 写数据缓存 buffer 个数。不建议修改，默认配置即可 | | sink.max-retries | 3 | N | Commit 失败后的最大重试次数，默认 3 次 | diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/data-operate/import/data-source/amazon-s3.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/data-operate/import/data-source/amazon-s3.md index 8d5a1437b3623..073b238747b75 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/data-operate/import/data-source/amazon-s3.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/data-operate/import/data-source/amazon-s3.md @@ -223,7 +223,7 @@ mysql> select * from test_s3load; -除了使用 Access Key / Secret Key，Doris 也支持通过 `AWS Assume Role` 的方式使用 S3 Load 与 TVF 进行鉴权，适合企业内对密钥下发受限的场景。详细配置请参考 [AWS 集成 - Assumed Role 认证](../../../admin-manual/auth/integrations/aws-authentication-and-authorization.md#assumed-role-authentication)。 +除了使用 Access Key / Secret Key，Doris 也支持通过 `AWS Assume Role` 的方式使用 S3 Load 与 TVF 进行鉴权，适合企业内对密钥下发受限的场景。详细配置请参考 [AWS 集成 - Assumed Role 认证](../../../admin-manual/auth/integrations/aws-authentication-and-authorization.md#assumed-role-认证鉴权)。 ## FAQ @@ -263,4 +263,4 @@ mysql> select * from test_s3load; ## 相关文档 - [Broker Load 手册](../import-way/broker-load-manual.md) -- [AWS 集成 - Assumed Role 认证](../../../admin-manual/auth/integrations/aws-authentication-and-authorization.md#assumed-role-authentication) +- [AWS 集成 - Assumed Role 认证](../../../admin-manual/auth/integrations/aws-authentication-and-authorization.md#assumed-role-认证鉴权) diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/data-operate/import/data-source/bigquery.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/data-operate/import/data-source/bigquery.md index d4de31cb74726..dbc4c1b8046bd 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/data-operate/import/data-source/bigquery.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/data-operate/import/data-source/bigquery.md @@ -30,7 +30,7 @@ - **表结构设计**：需要根据 BigQuery 的表结构选择 Doris 的[数据模型](../../../table-design/data-model/intro.mdx)，以及[分区](../../../table-design/data-partitioning/dynamic-partitioning.md)和[分桶](../../../table-design/data-partitioning/data-bucketing.md)的策略，更多创建表策略可参考[导入最佳实践](../load-best-practices/load-best-practices.md)。 - **JSON 类型导出**：BigQuery 导出 JSON 类型时不支持 Parquet 格式，需要使用 JSON 格式导出。 - **Time 类型导出**：BigQuery 导出 Time 类型时，需要 Cast 为 String 类型导出。 -- **复杂类型导入**：含有复杂类型（Struct/Array/Map）的 Parquet/ORC 格式文件导入，目前必须使用 [TVF 导入](./amazon-s3.md#method-2-load-with-tvf-synchronous)。 +- **复杂类型导入**：含有复杂类型（Struct/Array/Map）的 Parquet/ORC 格式文件导入，目前必须使用 [TVF 导入](./amazon-s3.md#方式二使用-tvf-导入同步)。 ## 数据类型映射 @@ -133,7 +133,7 @@ AS ( 导入采用 S3 Load 方式。**S3 Load 是一种异步的数据导入方式，执行后 Doris 会主动从数据源拉取数据**，数据源支持兼容 S3 协议的对象存储，包括 [AWS S3](./amazon-s3.md)、[GCS](./google-cloud-storage.md)、[AZURE](./azure-storage.md) 等。 -该方式适用于数据量大、需要后台异步处理的场景。对于需要同步处理的数据导入，可参考 [TVF 导入](./amazon-s3.md#method-2-load-with-tvf-synchronous)。 +该方式适用于数据量大、需要后台异步处理的场景。对于需要同步处理的数据导入，可参考 [TVF 导入](./amazon-s3.md#方式二使用-tvf-导入同步)。 > **注意**：对于含有复杂类型（Struct/Array/Map）的 Parquet/ORC 格式文件导入，目前必须使用 TVF 导入。 @@ -228,7 +228,7 @@ Reason: column_name[country], the length of input is too long than schema. first Reason: column_name[country], the length of input is too long than schema. first 32 bytes of input str: [Australia] schema length: 1; actual length: 9; . src line []; ``` -对于数据质量错误，如果允许跳过部分错误数据，可以在 S3 Load 任务的 `PROPERTIES` 中设置容错率，具体参数请参考[导入配置参数](../../import/import-way/broker-load-manual.md#related-configurations)。 +对于数据质量错误，如果允许跳过部分错误数据，可以在 S3 Load 任务的 `PROPERTIES` 中设置容错率，具体参数请参考[导入配置参数](../../import/import-way/broker-load-manual.md#导入配置参数)。 #### 3.4 导入多个文件的数据 @@ -260,7 +260,7 @@ BigQuery 的 Time 类型在导出时需 Cast 为 String 类型，Doris 中对应 **Q4：含有 Struct/Array/Map 的 Parquet/ORC 文件能用 S3 Load 导入吗？** -不能。这类复杂类型的文件目前必须使用 [TVF 导入](./amazon-s3.md#method-2-load-with-tvf-synchronous)。 +不能。这类复杂类型的文件目前必须使用 [TVF 导入](./amazon-s3.md#方式二使用-tvf-导入同步)。 **Q5：迁移大量历史数据时如何避免单任务失败造成的重试成本？** diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/data-operate/import/data-source/migrate-data-from-other-oltp.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/data-operate/import/data-source/migrate-data-from-other-oltp.md index 9e3bc7ccfeb8c..15f4e47170693 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/data-operate/import/data-source/migrate-data-from-other-oltp.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/data-operate/import/data-source/migrate-data-from-other-oltp.md @@ -185,7 +185,7 @@ insert into doris_sink select id,name from cdc_mysql_source; --table-conf replication_num=1 ``` -更多细节参见 [整库同步](../../../connection-integration/data-integration/flink-doris-connector.md#整库同步)。 +更多细节参见 [整库同步](../../../connection-integration/data-integration/flink-doris-connector.md#整库同步配置项)。 --- @@ -213,7 +213,7 @@ val jdbcDF = spark.read 相关文档： - [JDBC To Other Databases](https://spark.apache.org/docs/latest/sql-data-sources-jdbc.html) -- [Spark Doris Connector 批量写入](../../../connection-integration/data-integration/spark-doris-connector.md#批量写入) +- [Spark Doris Connector 批量写入](../../../connection-integration/data-integration/spark-doris-connector.md#场景二批量写入-doris-数据) --- diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/data-operate/import/data-source/redshift.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/data-operate/import/data-source/redshift.md index ae32e9cc34ad1..49453981fee9a 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/data-operate/import/data-source/redshift.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/data-operate/import/data-source/redshift.md @@ -30,7 +30,7 @@ - **建模与分区策略**：根据 Redshift 源表结构选择合适的 Doris [数据模型](../../../table-design/data-model/intro.mdx)，并制定[分区](../../../table-design/data-partitioning/dynamic-partitioning.md)与[分桶](../../../table-design/data-partitioning/data-bucketing.md)策略。更多建表建议见[导入最佳实践](../load-best-practices/load-best-practices.md)。 - **类型转换**：Redshift 导出 `TIME` 类型时，需要先 `CAST` 成 `VARCHAR` 类型再导出。 -- **复杂类型限制**：含有复杂类型（Struct/Array/Map）的 Parquet/ORC 格式文件，目前必须使用 [TVF 导入](./amazon-s3.md#method-2-load-with-tvf-synchronous)。 +- **复杂类型限制**：含有复杂类型（Struct/Array/Map）的 Parquet/ORC 格式文件，目前必须使用 [TVF 导入](./amazon-s3.md#方式二使用-tvf-导入同步)。 ## 数据类型映射 @@ -150,8 +150,8 @@ PARTITION BY (order_date) INCLUDE | 场景 | 推荐方式 | | ------------------------------------ | ---------------------------------------------- | | 数据量大、可后台异步处理 | S3 Load | -| 需要同步处理的数据导入 | [TVF 导入](./amazon-s3.md#method-2-load-with-tvf-synchronous) | -| 含复杂类型（Struct/Array/Map）文件 | 必须使用 [TVF 导入](./amazon-s3.md#method-2-load-with-tvf-synchronous) | +| 需要同步处理的数据导入 | [TVF 导入](./amazon-s3.md#方式二使用-tvf-导入同步) | +| 含复杂类型（Struct/Array/Map）文件 | 必须使用 [TVF 导入](./amazon-s3.md#方式二使用-tvf-导入同步) | #### 3.1 导入单个分区数据 @@ -263,7 +263,7 @@ Doris 不支持 `TIME` 类型，因此 Redshift 在导出 `TIME/TIMEZ` 类型时 **Q2：含有 Struct/Array/Map 等复杂类型的 Parquet/ORC 文件可以用 S3 Load 吗？** -不可以。当前必须使用 [TVF 导入](./amazon-s3.md#method-2-load-with-tvf-synchronous) 处理含复杂类型的文件。 +不可以。当前必须使用 [TVF 导入](./amazon-s3.md#方式二使用-tvf-导入同步) 处理含复杂类型的文件。 **Q3：S3 Load 是同步还是异步导入？如何查询执行结果？** diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/data-operate/import/data-source/snowflake.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/data-operate/import/data-source/snowflake.md index f6f17f3f027a3..f0b13d2b3c0cd 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/data-operate/import/data-source/snowflake.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/data-operate/import/data-source/snowflake.md @@ -155,7 +155,7 @@ HEADER=TRUE; S3 Load 是一种**异步的数据导入方式**：执行后 Doris 会主动从数据源拉取数据。它支持兼容 S3 协议的对象存储，包括 [AWS S3](./amazon-s3.md)、[GCS](./google-cloud-storage.md)、[Azure](./azure-storage.md) 等。 -S3 Load 适用于**数据量大、需要后台异步处理**的场景。如需同步处理小批量数据，可使用 [TVF 导入](./amazon-s3.md#method-2-load-with-tvf-synchronous)。 +S3 Load 适用于**数据量大、需要后台异步处理**的场景。如需同步处理小批量数据，可使用 [TVF 导入](./amazon-s3.md#方式二使用-tvf-导入同步)。 :::caution 注意 对于含有**复杂类型（Struct / Array / Map）的 Parquet / ORC 格式文件**，目前必须使用 TVF 导入。 @@ -250,7 +250,7 @@ Reason: column_name[country], the length of input is too long than schema. first Reason: column_name[country], the length of input is too long than schema. first 32 bytes of input str: [Australia] schema length: 1; actual length: 9; . src line []; ``` -对于数据质量错误，如允许跳过部分错误数据，可在 S3 Load 任务的 `PROPERTIES` 中设置容错率，详见[导入配置参数](../../import/import-way/broker-load-manual.md#related-configurations)。 +对于数据质量错误，如允许跳过部分错误数据，可在 S3 Load 任务的 `PROPERTIES` 中设置容错率，详见[导入配置参数](../../import/import-way/broker-load-manual.md#导入配置参数)。 #### 3.4 批量导入多个分区的数据 @@ -279,7 +279,7 @@ Reason: column_name[country], the length of input is too long than schema. first ### Q2：含有复杂类型的 Parquet 文件如何导入？ -对于含有 Struct / Array / Map 等复杂类型的 Parquet / ORC 文件，**S3 Load 暂不支持**，必须使用 [TVF 导入](./amazon-s3.md#method-2-load-with-tvf-synchronous)。 +对于含有 Struct / Array / Map 等复杂类型的 Parquet / ORC 文件，**S3 Load 暂不支持**，必须使用 [TVF 导入](./amazon-s3.md#方式二使用-tvf-导入同步)。 ### Q3：Snowflake 的 TIME 类型为什么要转换成 String？ @@ -301,6 +301,6 @@ Doris 没有与 Snowflake `TIME` 完全对应的类型，因此在 Snowflake 端 - [S3 导入](./amazon-s3.md) - [GCS 导入](./google-cloud-storage.md) - [Azure 导入](./azure-storage.md) -- [TVF 导入](./amazon-s3.md#method-2-load-with-tvf-synchronous) +- [TVF 导入](./amazon-s3.md#方式二使用-tvf-导入同步) - [导入最佳实践](../load-best-practices/load-best-practices.md) -- [导入配置参数](../../import/import-way/broker-load-manual.md#related-configurations) +- [导入配置参数](../../import/import-way/broker-load-manual.md#导入配置参数) diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/data-operate/import/import-way/routine-load-manual.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/data-operate/import/import-way/routine-load-manual.md index e7583021bab92..b1271d327f822 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/data-operate/import/import-way/routine-load-manual.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/data-operate/import/import-way/routine-load-manual.md @@ -451,7 +451,7 @@ PROPERTIES ("" = ""[, "" = "" ...]) | max_batch_rows | 每个子任务最多读取的行数。必须大于等于 200000，默认 20000000。`max_batch_interval`/`max_batch_rows`/`max_batch_size` 共同形成子任务执行阈值。任一参数达到阈值，导入子任务结束，并生成新的导入子任务。 | | max_batch_size | 每个子任务最多读取的字节数。单位是字节，范围是 100MB 到 1GB，默认 1G。`max_batch_interval`/`max_batch_rows`/`max_batch_size` 共同形成子任务执行阈值。任一参数达到阈值，导入子任务结束，并生成新的导入子任务。 | | max_error_number | 采样窗口内允许的最大错误行数，必须大于等于 0，默认 0（即不允许有错误行）。采样窗口为 `max_batch_rows * 10`。如果采样窗口内错误行数大于 `max_error_number`，则会导致例行作业被暂停，需要人工介入检查数据质量问题，可通过 [SHOW ROUTINE LOAD](../../../sql-manual/sql-statements/data-modification/load-and-export/SHOW-ROUTINE-LOAD) 命令中的 `ErrorLogUrls` 检查数据的质量问题。被 where 条件过滤掉的行不算错误行。 | -| strict_mode | 是否开启严格模式，默认关闭。严格模式表示对于导入过程中的列类型转换进行严格过滤。开启后，非空原始数据的列类型变换如果结果为 NULL 则会被过滤。

过滤策略：

- 某衍生列（由函数转换生成而来），Strict Mode 对其不产生影响；

- 当列类型需要转换，错误的数据类型将被过滤掉，可在 [SHOW ROUTINE LOAD](../../../sql-manual/sql-statements/data-modification/load-and-export/SHOW-ROUTINE-LOAD) 的 `ErrorLogUrls` 中查看；

- 对于导入的某列类型包含范围限制的，如果原始数据能正常通过类型转换但无法通过范围限制的，strict mode 对其不产生影响。例如类型是 `decimal(1,0)`，原始数据为 10，则属于可以通过类型转换但不在列声明的范围内。详细内容参考[严格模式](../../../data-operate/import/handling-messy-data#严格模式)。

| +| strict_mode | 是否开启严格模式，默认关闭。严格模式表示对于导入过程中的列类型转换进行严格过滤。开启后，非空原始数据的列类型变换如果结果为 NULL 则会被过滤。

过滤策略：

- 某衍生列（由函数转换生成而来），Strict Mode 对其不产生影响；

- 当列类型需要转换，错误的数据类型将被过滤掉，可在 [SHOW ROUTINE LOAD](../../../sql-manual/sql-statements/data-modification/load-and-export/SHOW-ROUTINE-LOAD) 的 `ErrorLogUrls` 中查看；

- 对于导入的某列类型包含范围限制的，如果原始数据能正常通过类型转换但无法通过范围限制的，strict mode 对其不产生影响。例如类型是 `decimal(1,0)`，原始数据为 10，则属于可以通过类型转换但不在列声明的范围内。详细内容参考[严格模式](../../../data-operate/import/handling-messy-data#开启严格模式)。

| | timezone | 指定导入作业所使用的时区。默认为使用 Session 的 timezone 参数。该参数会影响所有导入涉及的与时区有关的函数结果。 | | format | 指定导入数据格式，默认是 CSV，支持 JSON 格式。 | | jsonpaths | 当导入数据格式为 JSON 时，可以通过 `jsonpaths` 指定抽取 JSON 数据中的字段。例如：`"jsonpaths" = "[\"$.userid\",\"$.username\",\"$.age\",\"$.city\"]"` | @@ -460,7 +460,7 @@ PROPERTIES ("" = ""[, "" = "" ...]) | send_batch_parallelism | 用于设置发送批量数据的并行度。如果并行度的值超过 BE 配置中的 `max_send_batch_parallelism_per_job`，那么作为协调点的 BE 将使用 `max_send_batch_parallelism_per_job` 的值。 | | load_to_single_tablet | 支持一个任务只导入数据到对应分区的一个 tablet，默认值为 false。该参数只允许在对带有 random 分桶的 olap 表导数的时候设置。 | | partial_columns | 指定是否开启部分列更新功能。默认值为 false。该参数只允许在表模型为 Unique 且采用 Merge on Write 时设置。一流多表不支持此参数。具体参考文档[部分列更新](../../../data-operate/update/partial-column-update.md)。 | -| unique_key_update_mode | 指定 Unique Key 表的更新模式。可选值：
  • `UPSERT`（默认）：标准的整行插入或更新操作。
  • `UPDATE_FIXED_COLUMNS`：部分列更新，所有行更新相同的列。等同于 `partial_columns=true`。
  • `UPDATE_FLEXIBLE_COLUMNS`：灵活部分列更新，每行可以更新不同的列。需要 JSON 格式且表必须设置 `enable_unique_key_skip_bitmap_column=true`。不能与 `jsonpaths`、`fuzzy_parse`、`COLUMNS` 子句或 `WHERE` 子句一起使用。
详情参考[部分列更新](../../../data-operate/update/partial-column-update#灵活部分列更新)。 | +| unique_key_update_mode | 指定 Unique Key 表的更新模式。可选值：
  • `UPSERT`（默认）：标准的整行插入或更新操作。
  • `UPDATE_FIXED_COLUMNS`：部分列更新，所有行更新相同的列。等同于 `partial_columns=true`。
  • `UPDATE_FLEXIBLE_COLUMNS`：灵活部分列更新，每行可以更新不同的列。需要 JSON 格式且表必须设置 `enable_unique_key_skip_bitmap_column=true`。不能与 `jsonpaths`、`fuzzy_parse`、`COLUMNS` 子句或 `WHERE` 子句一起使用。
详情参考[部分列更新](../../../data-operate/update/partial-column-update#灵活列更新)。 | | partial_update_new_key_behavior | 在 Unique Merge on Write 表上进行部分列更新时，对新插入行的处理方式。有两种类型 `APPEND`、`ERROR`。
- `APPEND`：允许插入新行数据；
- `ERROR`：插入新行时导入失败并报错。 | | max_filter_ratio | 采样窗口内允许的最大过滤率。必须在大于等于 0 到小于等于 1 之间。默认值是 1.0，表示可以容忍任何错误行。采样窗口为 `max_batch_rows * 10`。如果采样窗口内错误行数/总行数大于 `max_filter_ratio`，则会导致例行作业被暂停，需要人工介入检查数据质量问题。被 where 条件过滤掉的行不算错误行。 | | enclose | 指定包围符。当 CSV 数据字段中含有行分隔符或列分隔符时，为防止意外截断，可指定单字节字符作为包围符起到保护作用。例如列分隔符为 `,`，包围符为 `'`，数据为 `a,'b,c'`，则 `b,c` 会被解析为一个字段。 | diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/data-operate/import/import-way/stream-load-manual.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/data-operate/import/import-way/stream-load-manual.md index b2e83963c3a46..5c022ac9e61d5 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/data-operate/import/import-way/stream-load-manual.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/data-operate/import/import-way/stream-load-manual.md @@ -369,7 +369,7 @@ Stream Load 操作支持 HTTP 分块导入（HTTP chunked）与 HTTP 非分块 | enclose | 指定包围符。当 CSV 数据字段中含有行分隔符或列分隔符时，为防止意外截断，可指定单字节字符作为包围符起到保护作用。例如列分隔符为 ","，包围符为 "'"，数据为 "a,'b,c'"，则 "b,c" 会被解析为一个字段。注意：当 enclose 设置为 `"` 时，trim_double_quotes 一定要设置为 true。 | | escape | 指定转义符。用于转义在字段中出现的与包围符相同的字符。例如数据为 "a,'b,'c'"，包围符为 "'"，希望 "b,'c" 被作为一个字段解析，则需要指定单字节转义符，例如 "\\"，将数据修改为 "a,'b,\\'c'"。 | | memtable_on_sink_node | 导入数据的时候是否开启 MemTable 前移，默认为 false。 | -| unique_key_update_mode | Unique 表上的更新模式，目前仅对 Merge-On-Write Unique 表有效，一共支持三种类型 `UPSERT`, `UPDATE_FIXED_COLUMNS`, `UPDATE_FLEXIBLE_COLUMNS`。`UPSERT`：表示以 upsert 语义导入数据；`UPDATE_FIXED_COLUMNS`：表示以[部分列更新](../../../data-operate/update/partial-column-update.md#主键模型的列更新)的方式导入数据；`UPDATE_FLEXIBLE_COLUMNS`：表示以[灵活部分列更新](../../../data-operate/update/partial-column-update.md#灵活部分列更新)的方式导入数据。 | +| unique_key_update_mode | Unique 表上的更新模式，目前仅对 Merge-On-Write Unique 表有效，一共支持三种类型 `UPSERT`, `UPDATE_FIXED_COLUMNS`, `UPDATE_FLEXIBLE_COLUMNS`。`UPSERT`：表示以 upsert 语义导入数据；`UPDATE_FIXED_COLUMNS`：表示以[部分列更新](../../../data-operate/update/partial-column-update.md#主键模型的列更新)的方式导入数据；`UPDATE_FLEXIBLE_COLUMNS`：表示以[灵活部分列更新](../../../data-operate/update/partial-column-update.md#灵活列更新)的方式导入数据。 | | partial_update_new_key_behavior | Unique 表上进行部分列更新或灵活列更新时，对新插入行的处理方式。有两种类型 `APPEND`、`ERROR`。
- `APPEND`：允许插入新行数据
- `ERROR`：插入新行时倒入失败并报错 | ### 导入返回值 @@ -1058,7 +1058,7 @@ Doris 可以在导入语句中支持非常丰富的列转换和过滤操作。 ### 启用严格模式导入 -`strict_mode` 属性用于设置导入任务是否运行在严格模式下。该属性会对列映射、转换和过滤的结果产生影响。关于严格模式的具体说明，可参阅 [严格模式](../handling-messy-data#严格模式) 文档。 +`strict_mode` 属性用于设置导入任务是否运行在严格模式下。该属性会对列映射、转换和过滤的结果产生影响。关于严格模式的具体说明，可参阅 [严格模式](../handling-messy-data#开启严格模式) 文档。 ### 导入时进行部分列更新/灵活部分列更新 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/data-operate/import/load-best-practices/load-best-practices.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/data-operate/import/load-best-practices/load-best-practices.md index a0393f89f0ff6..88a8d02524e6a 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/data-operate/import/load-best-practices/load-best-practices.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/data-operate/import/load-best-practices/load-best-practices.md @@ -116,7 +116,7 @@ Doris 提供多种导入方式，共享相同的核心流程，但针对不同 - 集中写入单一 Tablet 减少了小 Segment 文件的生成，避免频繁 Compaction 带来的写放大； - 显著提升大规模数据导入的并发度与吞吐量。 -详细参考：[Random 分桶](../../../table-design/data-partitioning/data-bucketing#random-分桶)。 +详细参考：[Random 分桶](../../../table-design/data-partitioning/data-bucketing#2-random-分桶)。 ### 攒批策略 @@ -279,7 +279,7 @@ MemTable 前移是 Apache Doris 2.1.0 版本引入的优化机制，针对 `INSE #### Flink 端到端时延 -采用 Flink Connector 使用攒批模式进行写入，主要关注数据端到端的时延和导入吞吐。攒批时间通过 Flink Connector 的 `sink.buffer-flush.interval` 参数来控制，Flink Connector 的详细使用参考 [Flink-Doris-Connector](../../../connection-integration/data-integration/flink-doris-connector#使用说明)。 +采用 Flink Connector 使用攒批模式进行写入，主要关注数据端到端的时延和导入吞吐。攒批时间通过 Flink Connector 的 `sink.buffer-flush.interval` 参数来控制，Flink Connector 的详细使用参考 [Flink-Doris-Connector](../../../connection-integration/data-integration/flink-doris-connector#使用场景)。 **机器配置：** diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/data-operate/transaction.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/data-operate/transaction.md index 505613f08cca6..d799d7db9b856 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/data-operate/transaction.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/data-operate/transaction.md @@ -52,7 +52,7 @@ Label 通常被设置为 `业务逻辑+时间` 的格式。如 `my_business1_202 #### StreamLoad 2PC -[StreamLoad 2PC](#stream-load)，主要用于支持 Flink 写入 Doris 时的 EOS 语义。 +[StreamLoad 2PC](#stream-load-2pc)，主要用于支持 Flink 写入 Doris 时的 EOS 语义。 ## 显式事务操作 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/install/deploy-on-kubernetes/integrated-storage-compute/install-config-cluster.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/install/deploy-on-kubernetes/integrated-storage-compute/install-config-cluster.md index 6717973bbcd29..e512b4f851405 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/install/deploy-on-kubernetes/integrated-storage-compute/install-config-cluster.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/install/deploy-on-kubernetes/integrated-storage-compute/install-config-cluster.md @@ -684,7 +684,7 @@ mysql -h ac4828493dgrftb884g67wg4tb68gyut-1137856348.us-east-1.elb.amazonaws.com ## 配置管理用户名和密码 -Doris 节点的管理需要通过用户名、密码以 MySQL 协议连接活着的 FE 节点进行操作。Doris 实现[类似 RBAC 的权限管理机制](../../../admin-manual/auth/security-overview)，节点的管理需要用户拥有 [Node_priv](../../../admin-manual/auth/authorization/internal#所有权限) 权限。Doris Operator 默认使用拥有所有权限的 root 用户无密码模式对 DorisCluster 资源配置的集群进行部署和管理。root 用户添加密码后，需要在 DorisCluster 资源中显示配置拥有 Node_Priv 权限的用户名和密码，以便 Doris Operator 对集群进行自动化管理操作。 +Doris 节点的管理需要通过用户名、密码以 MySQL 协议连接活着的 FE 节点进行操作。Doris 实现[类似 RBAC 的权限管理机制](../../../admin-manual/auth/security-overview)，节点的管理需要用户拥有 [Node_priv](../../../admin-manual/auth/authorization/internal#所有权限项) 权限。Doris Operator 默认使用拥有所有权限的 root 用户无密码模式对 DorisCluster 资源配置的集群进行部署和管理。root 用户添加密码后，需要在 DorisCluster 资源中显示配置拥有 Node_Priv 权限的用户名和密码，以便 Doris Operator 对集群进行自动化管理操作。 DorisCluster 资源提供两种方式来配置管理集群节点所需的用户名、密码，包括：环境变量配置的方式，以及使用 [Secret](https://kubernetes.io/docs/concepts/configuration/secret/) 配置的方式。配置集群管理的用户名和密码分为 3 种情况： @@ -851,7 +851,7 @@ func main() { ### 集群部署后设置 root 用户密码 -Doris 集群在部署后，若未设置 root 用户的密码。需要配置一个具有 [Node_priv](../../../admin-manual/auth/authorization/internal#所有权限) 权限的用户，便于 Doris Operator 自动化的管理集群节点。建议不要使用 root 用户，请参考[用户新建和权限赋值章节](../../../sql-manual/sql-statements/account-management/CREATE-USER)来创建新用户并赋予 Node_priv 权限。创建用户后，通过环境变量或者 Secret 配置新的管理用户和密码，并在 DorisCluster 资源中配置。 +Doris 集群在部署后，若未设置 root 用户的密码。需要配置一个具有 [Node_priv](../../../admin-manual/auth/authorization/internal#所有权限项) 权限的用户，便于 Doris Operator 自动化的管理集群节点。建议不要使用 root 用户，请参考[用户新建和权限赋值章节](../../../sql-manual/sql-statements/account-management/CREATE-USER)来创建新用户并赋予 Node_priv 权限。创建用户后，通过环境变量或者 Secret 配置新的管理用户和密码，并在 DorisCluster 资源中配置。 #### 第 1 步：新建拥有 Node_priv 权限用户 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/install/deploy-on-kubernetes/separating-storage-compute/config-cg.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/install/deploy-on-kubernetes/separating-storage-compute/config-cg.md index 2cbf5951dcb68..87f58dd828e6f 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/install/deploy-on-kubernetes/separating-storage-compute/config-cg.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/install/deploy-on-kubernetes/separating-storage-compute/config-cg.md @@ -83,7 +83,7 @@ spec: memory: 8Gi ``` -将上述配置更新到需要部署的 [`DorisDisaggregatedCluster` 资源](./install-doris-cluster.md#3-配置-dorisdisaggregatedcluster-资源)中即可生效。 +将上述配置更新到需要部署的 [`DorisDisaggregatedCluster` 资源](./install-doris-cluster.md#第-3-步部署存算分离集群)中即可生效。 ## 场景 4：配置计算组的访问方式 @@ -228,7 +228,7 @@ kubectl -n ${namespace} -f ${beConfigMapFileName}.yaml ### 第 3 步：更新 DorisDisaggregatedCluster 资源 -更新 [`DorisDisaggregatedCluster` 资源](./install-doris-cluster.md#3-配置-dorisdisaggregatedcluster-资源)以挂载 ConfigMap，配置如下： +更新 [`DorisDisaggregatedCluster` 资源](./install-doris-cluster.md#第-3-步部署存算分离集群)以挂载 ConfigMap，配置如下： ```yaml spec: diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/install/deploy-on-kubernetes/separating-storage-compute/config-cluster.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/install/deploy-on-kubernetes/separating-storage-compute/config-cluster.md index 62cef1c83d560..895978864fcb4 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/install/deploy-on-kubernetes/separating-storage-compute/config-cluster.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/install/deploy-on-kubernetes/separating-storage-compute/config-cluster.md @@ -18,7 +18,7 @@ ### 为什么需要配置管理凭证 -Doris 节点的管理需要通过用户名、密码以 MySQL 协议连接活着的 FE 节点进行操作。Doris 实现[类似 RBAC 的权限管理机制](../../../admin-manual/auth/security-overview)，节点的管理需要用户拥有 [Node_priv](../../../admin-manual/auth/authorization/internal#所有权限) 权限。 +Doris 节点的管理需要通过用户名、密码以 MySQL 协议连接活着的 FE 节点进行操作。Doris 实现[类似 RBAC 的权限管理机制](../../../admin-manual/auth/security-overview)，节点的管理需要用户拥有 [Node_priv](../../../admin-manual/auth/authorization/internal#所有权限项) 权限。 Doris Operator 默认使用拥有所有权限的 root 用户无密码模式对 DorisDisaggregatedCluster 资源配置的集群进行部署和管理。当 root 用户添加密码后，需要在 DorisDisaggregatedCluster 资源中显式配置拥有 Node_Priv 权限的用户名和密码，以便 Doris Operator 对集群进行自动化管理操作。 @@ -234,7 +234,7 @@ spec: ## 场景三：集群部署后设置 root 用户密码 -Doris 集群在部署后若未设置 root 用户的密码，需要配置一个具有 [Node_priv](../../../admin-manual/auth/authorization/internal#所有权限) 权限的用户，便于 Doris Operator 自动化的管理集群节点。建议不要使用 root 用户，请参考[用户新建和权限赋值章节](../../../sql-manual/sql-statements/account-management/CREATE-USER)来创建新用户并赋予 Node_priv 权限。创建用户后，再通过环境变量或者 Secret 配置新的管理用户和密码，并在 DorisDisaggregatedCluster 资源中配置。 +Doris 集群在部署后若未设置 root 用户的密码，需要配置一个具有 [Node_priv](../../../admin-manual/auth/authorization/internal#所有权限项) 权限的用户，便于 Doris Operator 自动化的管理集群节点。建议不要使用 root 用户，请参考[用户新建和权限赋值章节](../../../sql-manual/sql-statements/account-management/CREATE-USER)来创建新用户并赋予 Node_priv 权限。创建用户后，再通过环境变量或者 Secret 配置新的管理用户和密码，并在 DorisDisaggregatedCluster 资源中配置。 配置流程概览： diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/install/deploy-on-kubernetes/separating-storage-compute/config-fe.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/install/deploy-on-kubernetes/separating-storage-compute/config-fe.md index b9a54adacbd4a..74f946551c5c3 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/install/deploy-on-kubernetes/separating-storage-compute/config-fe.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/install/deploy-on-kubernetes/separating-storage-compute/config-fe.md @@ -44,7 +44,7 @@ spec: memory: 8Gi ``` -将上述配置信息更新到[需要部署的 `DorisDisaggregatedCluster` 资源](./install-doris-cluster.md#配置-dorisdisaggregatedcluster-资源)中。 +将上述配置信息更新到[需要部署的 `DorisDisaggregatedCluster` 资源](./install-doris-cluster.md#第-3-步部署存算分离集群)中。 ## 配置 Follower 节点数量 @@ -123,7 +123,7 @@ kubectl apply -n ${namespace} -f ${feConfigMapName}.yaml ### 第 3 步：在 DorisDisaggregatedCluster 中引用 ConfigMap -更新[`DorisDisaggregatedCluster` 资源](./install-doris-cluster.md#配置-dorisdisaggregatedcluster-资源)，通过 `feSpec.configMaps` 数组挂载 ConfigMap，示例如下： +更新[`DorisDisaggregatedCluster` 资源](./install-doris-cluster.md#第-3-步部署存算分离集群)，通过 `feSpec.configMaps` 数组挂载 ConfigMap，示例如下： ```yaml spec: diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/install/deploy-on-kubernetes/separating-storage-compute/config-ms.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/install/deploy-on-kubernetes/separating-storage-compute/config-ms.md index 4d42d4bced621..3571315760da4 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/install/deploy-on-kubernetes/separating-storage-compute/config-ms.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/install/deploy-on-kubernetes/separating-storage-compute/config-ms.md @@ -57,7 +57,7 @@ spec: - `${foundationdbConfigMapName}`：ConfigMap 的名称 - `${namespace}`：FoundationDB 部署所在的命名空间 -查找 `fdb-kubernetes-operator` 生成的 ConfigMap，请参考部署 FoundationDB 章节的 [获取包含 FoundationDB 访问信息的 ConfigMap](install-fdb.md#get-the-configmap-that-contains-foundationdb-access-information)。 +查找 `fdb-kubernetes-operator` 生成的 ConfigMap，请参考部署 FoundationDB 章节的 [获取包含 FoundationDB 访问信息的 ConfigMap](install-fdb.md#获取包含-foundationdb-访问信息的-configmap)。 ### 方式二：直接配置访问地址 @@ -105,7 +105,7 @@ spec: memory: 4Gi ``` -将上述配置更新到需要[部署的 DorisDisaggregatedCluster 资源](./install-doris-cluster.md#3-配置-dorisdisaggregatedcluster-资源)中。 +将上述配置更新到需要[部署的 DorisDisaggregatedCluster 资源](./install-doris-cluster.md#第-3-步部署存算分离集群)中。 ## 4. 定制化启动配置 @@ -175,7 +175,7 @@ spec: - `${msConfigMapName}`：包含 MetaService 启动配置的 ConfigMap 名称 - `mountPath`：挂载点必须为 `/etc/doris` -将上述配置更新到需要部署的 [DorisDisaggregatedCluster 资源](./install-doris-cluster.md#3-配置-dorisdisaggregatedcluster-资源)中。 +将上述配置更新到需要部署的 [DorisDisaggregatedCluster 资源](./install-doris-cluster.md#第-3-步部署存算分离集群)中。 ## 5. 配置服务探测超时 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/install/deploy-on-kubernetes/separating-storage-compute/install-doris-cluster.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/install/deploy-on-kubernetes/separating-storage-compute/install-doris-cluster.md index 24b7ec0577fb6..92dbc77e2f5e1 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/install/deploy-on-kubernetes/separating-storage-compute/install-doris-cluster.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/install/deploy-on-kubernetes/separating-storage-compute/install-doris-cluster.md @@ -190,7 +190,7 @@ spec: namespace: ${namespace} # 必改：ConfigMap 所在命名空间 ``` -ConfigMap 的获取方法可执行 `kubectl get configmap` 查看（详见 [部署 FoundationDB - 获取访问信息 ConfigMap](install-fdb.md#get-the-configmap-that-contains-foundationdb-access-information)）。 +ConfigMap 的获取方法可执行 `kubectl get configmap` 查看（详见 [部署 FoundationDB - 获取访问信息 ConfigMap](install-fdb.md#获取包含-foundationdb-访问信息的-configmap)）。 参数说明： diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/lakehouse/catalogs/iceberg-catalog.mdx b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/lakehouse/catalogs/iceberg-catalog.mdx index 662bda6fc0811..7886aaea661a3 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/lakehouse/catalogs/iceberg-catalog.mdx +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/lakehouse/catalogs/iceberg-catalog.mdx @@ -2779,7 +2779,7 @@ EXECUTE rewrite_data_files ( 1. `rewrite_data_files` 操作会读取数据文件并重新写入，会产生额外的 I/O 和计算开销，请合理分配集群资源。 2. 执行前可以通过[查看数据文件分布](#查看数据文件分布)章节中的 SQL 来评估是否需要执行重写操作。 3. WHERE 条件可用于限制重写的分区或数据范围，这个条件会过滤掉那些不包含符合 WHERE 条件的数据的文件，从而减少重写的文件数量和数据量。 -4. 执行前可以通过[重写文件选择逻辑](#重写文件选择逻辑)章节中的 SQL 来计算哪些文件会被重写。 +4. 执行前可以通过[重写文件选择逻辑](#rewrite_data_files-文件选择策略)章节中的 SQL 来计算哪些文件会被重写。 ### rewrite_manifests diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/lakehouse/statistics.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/lakehouse/statistics.md index 0e499837e0c68..04f9422952f1c 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/lakehouse/statistics.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/lakehouse/statistics.md @@ -11,6 +11,6 @@ Doris 支持对外部数据源的表，如 Hive、Iceberg、Paimon 等进行自动或手动的统计信息收集。统计信息准确性直接决定了代价估算的准确性，对于选择最优查询计划至关重要，尤其在复杂查询场景下能显著提升查询执行效率。 -具体可参阅 [统计信息](../query-acceleration/optimization-technology-principle/statistics#external-table-collection) 文档中的【外表收集】部分。 +具体可参阅 [统计信息](../query-acceleration/optimization-technology-principle/statistics#外表收集) 文档中的【外表收集】部分。 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/query-acceleration/hints/leading-hint.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/query-acceleration/hints/leading-hint.md index 0408354b93e3d..86c2d4a0fd6e2 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/query-acceleration/hints/leading-hint.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/query-acceleration/hints/leading-hint.md @@ -46,7 +46,7 @@ Leading Hint 是 Doris 中用于手动指定多表 Join 顺序的查询提示（ - [常规 Leading Hint](#常规-leading-hint)：基础语法、生效状态、典型用法。 - [典型场景示例](#典型场景示例)：基础用法 + 左深树 / 右深树 / Bushy 树 / zig-zag 树 / Non-inner Join / View。 - [Ordered Hint](#ordered-hint)：固定 Join 顺序为文本序的特例。 -- [常见问题（FAQ）](#常见问题-faq)：Hint 不生效、与其他 Hint 优先级等。 +- [常见问题（FAQ）](#常见问题faq)：Hint 不生效、与其他 Hint 优先级等。 ## 常规 Leading Hint diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/query-acceleration/materialized-view/async-materialized-view/faq.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/query-acceleration/materialized-view/async-materialized-view/faq.md index 85622f2e7be8e..7a6460c9ca2db 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/query-acceleration/materialized-view/async-materialized-view/faq.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/query-acceleration/materialized-view/async-materialized-view/faq.md @@ -116,7 +116,7 @@ Unable to find a suitable base table for partitioning 通常是物化视图的 SQL 定义和分区字段的选择导致不能进行分区增量更新，从而创建分区物化视图时报错： -- 物化视图想要分区增量更新，需要满足相应要求，详情见 [物化视图刷新模式](../../../sql-manual/sql-statements/table-and-view/async-materialized-view/CREATE-ASYNC-MATERIALIZED-VIEW.md#optional-parameters)。 +- 物化视图想要分区增量更新，需要满足相应要求，详情见 [物化视图刷新模式](../../../sql-manual/sql-statements/table-and-view/async-materialized-view/CREATE-ASYNC-MATERIALIZED-VIEW.md#可选参数)。 - 最新版本可以提示分区构建失败的具体原因，原因摘要和说明见 [附录 2](#附录-2-异步物化视图分区构建失败原因)。 **示例**： @@ -369,7 +369,7 @@ your_query_sql; 1. 在 Doris 2.1.3 之前的版本中，物化视图透明改写功能默认关闭，需要打开对应开关才能实现透明改写。具体开关请参见异步物化视图相关开关。 2. 物化视图可能处于不可用状态。要查看物化视图的构建状态，请参见查看物化视图状态。 -3. 经过前两步检查后仍未命中，可能是物化视图的定义 SQL 和查询 SQL 不在当前透明改写能力范围内。详情参考 [物化视图透明改写能力](../../../query-acceleration/materialized-view/async-materialized-view/functions-and-demands.md#22-transparent-query-rewrite)。 +3. 经过前两步检查后仍未命中，可能是物化视图的定义 SQL 和查询 SQL 不在当前透明改写能力范围内。详情参考 [物化视图透明改写能力](../../../query-acceleration/materialized-view/async-materialized-view/functions-and-demands.md#22-查询透明改写)。 4. 失败命中的详细摘要信息和说明，请查阅 [附录 1](#附录-1-透明改写失败摘要信息)。 下面通过两个示例说明常见的透明改写失败场景。 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/query-acceleration/materialized-view/async-materialized-view/use-guide.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/query-acceleration/materialized-view/async-materialized-view/use-guide.md index f401df8ae7db2..7e11b9a9e9b7f 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/query-acceleration/materialized-view/async-materialized-view/use-guide.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/query-acceleration/materialized-view/async-materialized-view/use-guide.md @@ -148,7 +148,7 @@ 1. 物化视图的基表数据量很大，且基表为分区表。 2. 物化视图引用的非分区表不经常变化。 -3. 物化视图的定义 SQL 和分区字段满足分区推导要求（即符合分区增量更新要求）。详细要求参考：[CREATE-ASYNC-MATERIALIZED-VIEW](../../../sql-manual/sql-statements/table-and-view/async-materialized-view/CREATE-ASYNC-MATERIALIZED-VIEW#optional-parameters)。 +3. 物化视图的定义 SQL 和分区字段满足分区推导要求（即符合分区增量更新要求）。详细要求参考：[CREATE-ASYNC-MATERIALIZED-VIEW](../../../sql-manual/sql-statements/table-and-view/async-materialized-view/CREATE-ASYNC-MATERIALIZED-VIEW#可选参数)。 4. 物化视图分区数不多。分区过多会导致构建时间过长。 > 当物化视图的部分分区失效时，透明改写仍可使用有效分区 UNION ALL 基表来返回数据。 @@ -249,7 +249,7 @@ ### 4.1 分区映射关系 -物化视图的分区跟随基表分区映射创建，一般与基表分区为 1:1 或 1:n 关系。分区推导的详细要求请参考 [CREATE-ASYNC-MATERIALIZED-VIEW](../../../sql-manual/sql-statements/table-and-view/async-materialized-view/CREATE-ASYNC-MATERIALIZED-VIEW#optional-parameters) 和 [异步物化视图 FAQ Q12](../../../query-acceleration/materialized-view/async-materialized-view/faq#q12-error-when-building-a-partition-materialized-view)。 +物化视图的分区跟随基表分区映射创建，一般与基表分区为 1:1 或 1:n 关系。分区推导的详细要求请参考 [CREATE-ASYNC-MATERIALIZED-VIEW](../../../sql-manual/sql-statements/table-and-view/async-materialized-view/CREATE-ASYNC-MATERIALIZED-VIEW#可选参数) 和 [异步物化视图 FAQ Q12](../../../query-acceleration/materialized-view/async-materialized-view/faq#q12构建分区物化视图报错)。 ### 4.2 分区失效与刷新行为 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/sql-manual/sql-statements/cluster-management/compute-management/CREATE-RESOURCE.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/sql-manual/sql-statements/cluster-management/compute-management/CREATE-RESOURCE.md index 851a387c3236a..d71b30605f88c 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/sql-manual/sql-statements/cluster-management/compute-management/CREATE-RESOURCE.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/sql-manual/sql-statements/cluster-management/compute-management/CREATE-RESOURCE.md @@ -143,7 +143,7 @@ S3 相关参数如下： - `s3.connection.request.timeout`：s3 请求超时时间，单位毫秒，默认为 3000 - `s3.connection.timeout`：s3 连接超时时间，单位毫秒，默认为 1000 - Doris 也支持通过 `AWS Assume Role` 的方式创建 S3 Resource, 请参考如下文档配置和使用[AWS integration](../../../../admin-manual/auth/integrations/aws-authentication-and-authorization.md#assumed-role-authentication). + Doris 也支持通过 `AWS Assume Role` 的方式创建 S3 Resource, 请参考如下文档配置和使用[AWS integration](../../../../admin-manual/auth/integrations/aws-authentication-and-authorization.md#assumed-role-认证鉴权). **4. 创建 JDBC resource** diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/sql-manual/sql-statements/cluster-management/storage-management/CREATE-STORAGE-VAULT.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/sql-manual/sql-statements/cluster-management/storage-management/CREATE-STORAGE-VAULT.md index ba2cfd87b4959..17230b09a756c 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/sql-manual/sql-statements/cluster-management/storage-management/CREATE-STORAGE-VAULT.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/sql-manual/sql-statements/cluster-management/storage-management/CREATE-STORAGE-VAULT.md @@ -52,7 +52,7 @@ CREATE STORAGE VAULT [IF NOT EXISTS] <`vault_name`> [ <`properties`> ] 1. `s3.endpoint` 如果不提供`http://` 或 `https://` 前缀, 则默认使用http; 如提供，则会以前缀为准; -2. Doris也支持`AWS Assume Role`的方式创建Storage Vault(仅限于AWS S3)，配置方式请参考[AWS集成](../../../../admin-manual/auth/integrations/aws-authentication-and-authorization.md#assumed-role-authentication)。 +2. Doris也支持`AWS Assume Role`的方式创建Storage Vault(仅限于AWS S3)，配置方式请参考[AWS集成](../../../../admin-manual/auth/integrations/aws-authentication-and-authorization.md#assumed-role-认证鉴权)。 ### HDFS vault @@ -169,7 +169,7 @@ PROPERTIES ( **注意: ** -Doris也支持`AWS Assume Role`的方式创建Storage Vault(仅限于AWS S3)，配置方式请参考[AWS集成](../../../../admin-manual/auth/integrations/aws-authentication-and-authorization#assumed-role-authentication). +Doris也支持`AWS Assume Role`的方式创建Storage Vault(仅限于AWS S3)，配置方式请参考[AWS集成](../../../../admin-manual/auth/integrations/aws-authentication-and-authorization#assumed-role-认证鉴权). ### 7. 创建 MinIO storage vault。 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/sql-manual/sql-statements/data-modification/backup-and-restore/CREATE-REPOSITORY.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/sql-manual/sql-statements/data-modification/backup-and-restore/CREATE-REPOSITORY.md index f45f1349759f2..1eebdfd67324d 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/sql-manual/sql-statements/data-modification/backup-and-restore/CREATE-REPOSITORY.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/sql-manual/sql-statements/data-modification/backup-and-restore/CREATE-REPOSITORY.md @@ -47,7 +47,7 @@ CREATE [READ ONLY] REPOSITORY **Note: ** -Doris支持使用`AWS Assume Role`的方式创建位于AWS S3上的Repository，请参考[AWS集成](../../../../admin-manual/auth/integrations/aws-authentication-and-authorization.md#assumed-role-authentication). +Doris支持使用`AWS Assume Role`的方式创建位于AWS S3上的Repository，请参考[AWS集成](../../../../admin-manual/auth/integrations/aws-authentication-and-authorization.md#assumed-role-认证鉴权). ## 权限控制 @@ -85,7 +85,7 @@ PROPERTIES **Note: ** -Doris支持使用`AWS Assume Role`的方式创建位于AWS S3上的Repository，请参考[AWS集成](../../../../admin-manual/auth/integrations/aws-authentication-and-authorization.md#assumed-role-authentication). +Doris支持使用`AWS Assume Role`的方式创建位于AWS S3上的Repository，请参考[AWS集成](../../../../admin-manual/auth/integrations/aws-authentication-and-authorization.md#assumed-role-认证鉴权). 创建名为 hdfs_repo 的仓库 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/sql-manual/sql-statements/data-modification/load-and-export/CREATE-ROUTINE-LOAD.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/sql-manual/sql-statements/data-modification/load-and-export/CREATE-ROUTINE-LOAD.md index 44af4de228b1a..a4265ac00338f 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/sql-manual/sql-statements/data-modification/load-and-export/CREATE-ROUTINE-LOAD.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/sql-manual/sql-statements/data-modification/load-and-export/CREATE-ROUTINE-LOAD.md @@ -10,7 +10,7 @@ 例行导入（Routine Load）功能支持用户提交一个常驻的导入任务，通过不断地从指定的数据源读取数据，将数据导入到 Doris 中。 -目前仅支持通过无认证或者 SSL 认证方式，从 Kafka 导入 CSV 或 Json 格式的数据。 [导入 Json 格式数据使用示例](../../../../data-operate/import/import-way/routine-load-manual.md#导入Json格式数据使用示例) +目前仅支持通过无认证或者 SSL 认证方式，从 Kafka 导入 CSV 或 Json 格式的数据。 [导入 Json 格式数据使用示例](../../../../data-operate/import/import-way/routine-load-manual.md#导入-json-数据) ## 语法 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/sql-manual/sql-statements/table-and-view/table/CREATE-TABLE.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/sql-manual/sql-statements/table-and-view/table/CREATE-TABLE.md index ce3ca74769fe8..54e2ff426950f 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/sql-manual/sql-statements/table-and-view/table/CREATE-TABLE.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/sql-manual/sql-statements/table-and-view/table/CREATE-TABLE.md @@ -231,7 +231,7 @@ CREATE TABLE LIKE ** 和 ** -> 分桶列和分桶数。明细模型的分桶列可以是任意的列，聚合模型和主键模型的分桶列必须和 key 列保持一致。分桶数是任意的正整数。有关分桶的详细信息，请参阅[手动分桶](../../../../table-design/data-partitioning/data-bucketing#手动设置分桶数)和[自动分桶](../../../../table-design/data-partitioning/data-bucketing#自动设置分桶数)章节。 +> 分桶列和分桶数。明细模型的分桶列可以是任意的列，聚合模型和主键模型的分桶列必须和 key 列保持一致。分桶数是任意的正整数。有关分桶的详细信息，请参阅[手动分桶](../../../../table-design/data-partitioning/data-bucketing#1-手动设置分桶数)和[自动分桶](../../../../table-design/data-partitioning/data-bucketing#2-自动设置分桶数)章节。 ### 列的默认值相关参数 @@ -373,7 +373,7 @@ rollup 可以创建的同步物化视图功能有限。已不再推荐使用。 | group_commit_data_bytes | 配置这个表的 Group Commit 攒批数据大小。单位为 bytes，默认值为 134217728，即 128MB。Group Commit 的下刷时机取决于 `group_commit_interval_ms`以及`group_commit_data_bytes` 哪个先到设置的值。 | | enable_mow_light_delete | 是否在 Unique 表 Mow 上开启 Delete 语句写 Delete predicate。若开启，会提升 Delete 语句的性能，但 Delete 后进行部分列更新可能会出现部分数据错误的情况。若关闭，会降低 Delete 语句的性能来保证正确性。此属性的默认值为 `false`。此属性只能在 Unique Merge-on-Write 表上开启。 | | 动态分区相关属性 | 动态分区相关参考[数据划分 - 动态分区](../../../../table-design/data-partitioning/dynamic-partitioning) | -| enable_unique_key_skip_bitmap_column | 是否在 Unique Merge-on-Write 表上开启[灵活列更新功能](../../../../data-operate/update/update-of-unique-model.md#灵活部分列更新)。此属性只能在 Unique Merge-on-Write 表上开启。 | +| enable_unique_key_skip_bitmap_column | 是否在 Unique Merge-on-Write 表上开启[灵活列更新功能](../../../../data-operate/update/update-of-unique-model.md#部分列更新)。此属性只能在 Unique Merge-on-Write 表上开启。 | ## 权限控制 执行此 SQL 命令的[用户](../../../../admin-manual/auth/security-overview)必须至少具有以下[权限](../../../../admin-manual/auth/authorization/internal)： diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/table-design/data-partitioning/auto-partitioning.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/table-design/data-partitioning/auto-partitioning.md index 42446ab7bb557..a58624cd860d7 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/table-design/data-partitioning/auto-partitioning.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/table-design/data-partitioning/auto-partitioning.md @@ -293,7 +293,7 @@ properties( ## 与自动分桶联用 -只有 AUTO RANGE PARTITION 可以同时使用[自动分桶](./data-bucketing.md#自动设置分桶数)功能。 +只有 AUTO RANGE PARTITION 可以同时使用[自动分桶](./data-bucketing.md#2-自动设置分桶数)功能。 使用此组合时，Doris 假设表的数据导入按时间顺序增量进行，每次导入仅涉及一个分区。因此，**该组合仅推荐用于逐批次增量导入的表**。 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/table-design/data-partitioning/basic-concepts.mdx b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/table-design/data-partitioning/basic-concepts.mdx index a280f7cfc1efc..2d58cdf0b2452 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/table-design/data-partitioning/basic-concepts.mdx +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/table-design/data-partitioning/basic-concepts.mdx @@ -252,7 +252,7 @@ PROPERTIES ); ``` -关于该功能的细节说明，详见 [自动分区与动态分区联用](./auto-partitioning#与动态分区联用)。 +关于该功能的细节说明，详见 [自动分区与动态分区联用](./auto-partitioning#与自动分桶联用)。 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/table-design/tiered-storage/remote-storage.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/table-design/tiered-storage/remote-storage.md index 9ed9246ebaf23..94b874edead01 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/table-design/tiered-storage/remote-storage.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/table-design/tiered-storage/remote-storage.md @@ -42,7 +42,7 @@ | [使用限制](#使用限制) | 远程存储的功能限制 | | [冷数据空间管理](#冷数据空间管理) | 查看与回收冷数据 | | [查询与性能优化](#查询与性能优化) | 本地 Cache 机制 | -| [常见问题（FAQ）](#常见问题-faq) | 错误排查与配置说明 | +| [常见问题（FAQ）](#常见问题faq) | 错误排查与配置说明 | ## 使用方法 diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/table-design/tiered-storage/tiered-ssd-hdd.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/table-design/tiered-storage/tiered-ssd-hdd.md index 7a159a4e08841..90f39a3cc3f74 100644 --- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/table-design/tiered-storage/tiered-ssd-hdd.md +++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-4.x/table-design/tiered-storage/tiered-ssd-hdd.md @@ -34,8 +34,8 @@ Doris 支持在 SSD 与 HDD 之间进行层级存储。通过结合动态分区 - [核心概念](#核心概念)：动态分区与层级存储的关系 - [参数说明](#参数说明)：`hot_partition_num` 与 `storage_medium` 的使用 - [使用示例](#使用示例)：建表 SQL 与分区分布验证 -- [常见问题（FAQ）](#常见问题-faq)：使用过程中常见问题 -- [故障排查（Troubleshooting）](#故障排查-troubleshooting)：分区创建失败等异常处理 +- [常见问题（FAQ）](#常见问题faq)：使用过程中常见问题 +- [故障排查（Troubleshooting）](#故障排查troubleshooting)：分区创建失败等异常处理 ## 核心概念 diff --git a/ja-source/docusaurus-plugin-content-docs/current/admin-manual/auth/authentication-and-authorization.md b/ja-source/docusaurus-plugin-content-docs/current/admin-manual/auth/authentication-and-authorization.md index e5d0197755e96..cdb3747622108 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/admin-manual/auth/authentication-and-authorization.md +++ b/ja-source/docusaurus-plugin-content-docs/current/admin-manual/auth/authentication-and-authorization.md @@ -5,6 +5,11 @@ "description": "DorisのPermission管理システムは、MySQLのPermission管理メカニズムをモデルにしています。" } --- + + + + + Dorisの権限管理システムはMySQLの権限管理メカニズムをモデルとしています。行およびカラムレベルでのきめ細かい権限制御、ロールベースアクセス制御をサポートし、また、ホワイトリストメカニズムもサポートしています。 ## 用語集 @@ -101,7 +106,7 @@ Dorisは、ユーザーがより良いパスワード管理を行うのを支援 ### LDAPベース認証スキーム -[LDAPベース認証スキーム](./ldap.md)を参照してください。 +LDAPベース認証スキームを参照してください。 ## 認可 @@ -229,7 +234,7 @@ Row Policiesにより管理者はデータ内のフィールドに基づいて 例えば、管理者はクレジットカード番号やID番号などの機密フィールドの数字の一部またはすべてをアスタリスク`*`や他の文字に置き換えたり、実名を仮名に置き換えることを選択できます。 -バージョン2.1.2から、Apache RangerのData Maskingを通じて特定のカラムのデータマスキングポリシーの設定をサポートしています。現在は[Apache Ranger](./ranger.md)を介してのみ設定可能です。 +バージョン2.1.2から、Apache RangerのData Maskingを通じて特定のカラムのデータマスキングポリシーの設定をサポートしています。現在はApache Rangerを介してのみ設定可能です。 ### Doris組み込み認可スキーム @@ -273,7 +278,7 @@ UserNは`role3`を通じて権限`priv1`を、`roleN`を通じて権限`priv2` ### Apache Rangerベースの認可スキーム -[Apache Rangerベースの認可スキーム](./ranger.md)を参照してください。 +Apache Rangerベースの認可スキームを参照してください。 ## よくある質問 diff --git a/ja-source/docusaurus-plugin-content-docs/current/admin-manual/auth/integrations/aws-authentication-and-authorization.md b/ja-source/docusaurus-plugin-content-docs/current/admin-manual/auth/integrations/aws-authentication-and-authorization.md index 10c4c0270cd0e..6b5f1052ca156 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/admin-manual/auth/integrations/aws-authentication-and-authorization.md +++ b/ja-source/docusaurus-plugin-content-docs/current/admin-manual/auth/integrations/aws-authentication-and-authorization.md @@ -5,6 +5,9 @@ "description": "DorisはAWSサービスリソースへのアクセスを2つの認証方式でサポートしています：IAM UserとAssumed Role。" } --- + + + Dorisは、`IAM User`と`Assumed Role`の2つの認証方式を通じてAWSサービスリソースへのアクセスをサポートしています。この記事では、両方の方式におけるセキュリティ認証情報の設定方法と、Dorisの機能を使用してAWSサービスと連携する方法について説明します。 # 認証方式の概要 diff --git a/ja-source/docusaurus-plugin-content-docs/current/admin-manual/cluster-management/time-zone.md b/ja-source/docusaurus-plugin-content-docs/current/admin-manual/cluster-management/time-zone.md index fe27a1d076ab4..8793f0bd15f79 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/admin-manual/cluster-management/time-zone.md +++ b/ja-source/docusaurus-plugin-content-docs/current/admin-manual/cluster-management/time-zone.md @@ -5,6 +5,9 @@ "description": "Dorisはカスタムタイムゾーン設定をサポートしています" } --- + + + Dorisはカスタムタイムゾーン設定をサポートしています ## 基本概念 diff --git a/ja-source/docusaurus-plugin-content-docs/current/admin-manual/config/fe-config.md b/ja-source/docusaurus-plugin-content-docs/current/admin-manual/config/fe-config.md index dd493405ec3ac..2bcf45135c9ab 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/admin-manual/config/fe-config.md +++ b/ja-source/docusaurus-plugin-content-docs/current/admin-manual/config/fe-config.md @@ -8,6 +8,8 @@ "sidebar_label": "FE 設定" } --- + + # FE設定 このドキュメントでは、主にFEの関連設定項目について説明します。 diff --git a/ja-source/docusaurus-plugin-content-docs/current/admin-manual/system-tables/information_schema/column_statistics.md b/ja-source/docusaurus-plugin-content-docs/current/admin-manual/system-tables/information_schema/column_statistics.md index cabada7a58758..7b3d59f0c28f2 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/admin-manual/system-tables/information_schema/column_statistics.md +++ b/ja-source/docusaurus-plugin-content-docs/current/admin-manual/system-tables/information_schema/column_statistics.md @@ -10,7 +10,7 @@ ## 概要 -このテーブルはMySQLの動作との互換性のためだけに使用され、常に空です。Doris内のデータの統計情報を真に反映するものではありません。Dorisによって収集された統計情報を表示するには、[Statistics](../../../query-acceleration/optimization-technology-principle/statistics#viewing-statistics)セクションを参照してください。 +このテーブルはMySQLの動作との互換性のためだけに使用され、常に空です。Doris内のデータの統計情報を真に反映するものではありません。Dorisによって収集された統計情報を表示するには、[Statistics](../../../query-acceleration/optimization-technology-principle/statistics#統計情報)セクションを参照してください。 ## Database diff --git a/ja-source/docusaurus-plugin-content-docs/current/ai/vector-search/behind-index.md b/ja-source/docusaurus-plugin-content-docs/current/ai/vector-search/behind-index.md index a2c704fd5b7b3..7daf7fb148e8a 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/ai/vector-search/behind-index.md +++ b/ja-source/docusaurus-plugin-content-docs/current/ai/vector-search/behind-index.md @@ -123,11 +123,11 @@ Faissは、`ElementOpL2/ElementOpIP`と次元特化された`fvec_op_ny_D{1,2,4, Dorisはベクトルインデックスを外部（プラガブル）インデックスとして実装し、管理を簡素化し、非同期ビルドをサポートしますが、冗長な計算とIOを回避するなどのパフォーマンス上の課題が生じます。ANNインデックスは、行IDに加えて距離を返すことができます。Dorisは「仮想列」を介してScanオペレータ内の距離式をショートサーキットすることでこれを活用し、Ann Index Only Scanは距離関連の読み取りIOを完全に排除します。 ナイーブなフローでは、Scanは述語をインデックスにプッシュし、インデックスは行IDを返し、Scanはデータページを読み取り、式を計算してからN行を上流に返します。 -![alt text](/images/vector-search/image-3.png) +alt text Index Only Scanが適用されると、フローは次のようになります： -![alt text](/images/vector-search/image-4.png) +alt text 例えば、`SELECT l2_distance_approximate(embedding, [...]) AS dist FROM tbl ORDER BY dist LIMIT 100;`はデータファイルに触れることなく実行されます。 diff --git a/ja-source/docusaurus-plugin-content-docs/current/compute-storage-decoupled/compilation-and-deployment.md b/ja-source/docusaurus-plugin-content-docs/current/compute-storage-decoupled/compilation-and-deployment.md index fa96bfbb61e92..5aa57d6633c9c 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/compute-storage-decoupled/compilation-and-deployment.md +++ b/ja-source/docusaurus-plugin-content-docs/current/compute-storage-decoupled/compilation-and-deployment.md @@ -5,6 +5,8 @@ "description": "このドキュメントでは、ストレージ・コンピュート分離モデルにおけるDorisのコンパイルとデプロイメントプロセスについて詳述します。" } --- + + ## 1. 概要 このドキュメントでは、分離型ストレージ・コンピュートモデルにおけるDorisのコンパイルとデプロイメントプロセスについて詳しく説明し、統合型ストレージ・コンピュートモデルとの違い、特に新しく追加されたMeta Service (MS)モジュールのコンパイル、設定、管理について重点的に説明します。 diff --git a/ja-source/docusaurus-plugin-content-docs/current/compute-storage-decoupled/managing-compute-cluster.md b/ja-source/docusaurus-plugin-content-docs/current/compute-storage-decoupled/managing-compute-cluster.md index 615d6731fa227..0b623b20de891 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/compute-storage-decoupled/managing-compute-cluster.md +++ b/ja-source/docusaurus-plugin-content-docs/current/compute-storage-decoupled/managing-compute-cluster.md @@ -5,6 +5,9 @@ "description": "コンピュート・ストレージ分離アーキテクチャでは、1つまたは複数のコンピュートノード（BE）をCompute Groupにグループ化できます。" } --- + + + コンピュート・ストレージ分離アーキテクチャでは、1つまたは複数のコンピュートノード（BE）をCompute Groupにグループ化できます。このドキュメントでは、以下のような操作を含むcompute groupの使用方法について説明します： - 全compute groupの表示 @@ -202,7 +205,7 @@ ALTER COMPUTE GROUP cg1 PROPERTIES("balance_type"="async_warmup"); ``` ## Compute Groupの名前変更 -`ALTER SYSTEM RENAME COMPUTE GROUP `コマンドを使用して、既存のcompute groupの名前を変更することができます。詳細については、[Compute Groupの名前変更](../sql-manual/sql-statements/cluster-management/instance-management/ALTER-SYSTEM-RENAME-COMPUTE-GROUP)のSQLマニュアルを参照してください。 +`ALTER SYSTEM RENAME COMPUTE GROUP `コマンドを使用して、既存のcompute groupの名前を変更することができます。詳細については、Compute Groupの名前変更のSQLマニュアルを参照してください。 注意 compute groupの名前変更後、旧名（old_name）に対する権限を持っていたユーザー、または旧名をdefault compute group（default_compute_group）として設定していたユーザーの権限は、新名（new_name）に自動的に更新されません。権限は管理者権限を持つアカウントによって再設定する必要があります。これはMySQLデータベースの権限システムと一致しています。 diff --git a/ja-source/docusaurus-plugin-content-docs/current/compute-storage-decoupled/upgrade.md b/ja-source/docusaurus-plugin-content-docs/current/compute-storage-decoupled/upgrade.md index 24a36ac7fe9d2..d4e5beab81ff5 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/compute-storage-decoupled/upgrade.md +++ b/ja-source/docusaurus-plugin-content-docs/current/compute-storage-decoupled/upgrade.md @@ -5,6 +5,8 @@ "description": "このガイドでは、ストレージ・コンピュート分離アーキテクチャ（Cloud Modeとも呼ばれる）を使用してDorisをアップグレードするための段階的な手順を提供します。" } --- + + ## 概要 このガイドでは、ストレージ-コンピュート分離アーキテクチャ（Cloud Modeとも呼ばれる）を使用してDorisをアップグレードするための手順を段階的に説明します。アップグレードは、クラスタアップグレードにおいて本セクションの推奨手順に従って実行する必要があります。Dorisクラスタのアップグレードは**ローリングアップグレード**方式を使用して実行でき、アップグレード時にすべてのクラスタノードをシャットダウンする必要がないため、アプリケーションへの影響を大幅に最小限に抑えることができます。 @@ -33,7 +35,7 @@ Dorisをクラウドモードでいったんデプロイするとローカルモ ### アップグレードの注意事項 -1. Dorisがクラウドモードで起動されていることを確認してください。Dorisの現在のデプロイモードが不明な場合は、[前のセクション](#doris-version-description)の説明を参照してください。 +1. Dorisがクラウドモードで起動されていることを確認してください。Dorisの現在のデプロイモードが不明な場合は、[前のセクション](#概要)の説明を参照してください。 ローカルモードのDorisの場合は、アップグレード手順について[Cluster Upgrade](../admin-manual/cluster-management/upgrade)を参照してください。 2. Dorisのデータインポートタスクに再試行メカニズムがあることを確認してください。これにより、アップグレード過程でのノード再起動によるタスク失敗を回避できます。 3. アップグレード前に、すべてのDorisコンポーネント（MetaService、Recycler、Frontend、Backend）のステータスを確認し、正常に動作していて例外ログがないことを確認することをお勧めします。これによりアップグレード過程への影響を回避できます。 diff --git a/ja-source/docusaurus-plugin-content-docs/current/data-operate/import/data-source/amazon-s3.md b/ja-source/docusaurus-plugin-content-docs/current/data-operate/import/data-source/amazon-s3.md index 44d420ddfc4dc..a62cc1bf9bcee 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/data-operate/import/data-source/amazon-s3.md +++ b/ja-source/docusaurus-plugin-content-docs/current/data-operate/import/data-source/amazon-s3.md @@ -5,6 +5,9 @@ "description": "DorisはAWS S3からファイルを読み込む2つの方法を提供します：" } --- + + + DorisはAWS S3からファイルを読み込む2つの方法を提供します： - S3 Loadを使用してS3ファイルをDorisに読み込む方法。これは非同期読み込み方法です。 - TVFを使用してS3ファイルをDorisに読み込む方法。これは同期読み込み方法です。 diff --git a/ja-source/docusaurus-plugin-content-docs/current/data-operate/import/data-source/migrate-data-from-other-oltp.md b/ja-source/docusaurus-plugin-content-docs/current/data-operate/import/data-source/migrate-data-from-other-oltp.md index fc0fead9f5813..f2131262753e8 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/data-operate/import/data-source/migrate-data-from-other-oltp.md +++ b/ja-source/docusaurus-plugin-content-docs/current/data-operate/import/data-source/migrate-data-from-other-oltp.md @@ -155,7 +155,7 @@ val jdbcDF = spark.read .option("password", "") .save() ``` -詳細については、[JDBC To Other Databases](https://spark.apache.org/docs/latest/sql-data-sources-jdbc.html)、[Spark Doris Connector](../../../ecosystem/spark-doris-connector.md#batch-write)を参照してください。 +詳細については、[JDBC To Other Databases](https://spark.apache.org/docs/latest/sql-data-sources-jdbc.html)、[Spark Doris Connector](../../../ecosystem/spark-doris-connector.md#spark-doris-connector)を参照してください。 ## DataX / Seatunnel / CloudCanal およびその他のサードパーティツール diff --git a/ja-source/docusaurus-plugin-content-docs/current/data-operate/import/import-way/broker-load-manual.md b/ja-source/docusaurus-plugin-content-docs/current/data-operate/import/import-way/broker-load-manual.md index 82961a8968da9..8b5614a2fec66 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/data-operate/import/import-way/broker-load-manual.md +++ b/ja-source/docusaurus-plugin-content-docs/current/data-operate/import/import-way/broker-load-manual.md @@ -5,6 +5,10 @@ "description": "Broker LoadはMySQL APIから開始されます。DorisはLOAD文の情報に基づいて、ソースからデータを能動的に取得します。" } --- + + + + Broker LoadはMySQL APIから開始されます。DorisはLOAD文の情報に基づいて、ソースからデータを能動的にプルします。Broker Loadは非同期インポート方式です。Broker Loadタスクの進捗と結果は、SHOW LOAD文で確認できます。 Broker Loadは、ソースデータがHDFSなどのリモートストレージシステムに保存されており、データ量が比較的大きいシナリオに適しています。 diff --git a/ja-source/docusaurus-plugin-content-docs/current/data-operate/import/import-way/log-storage-analysis.md b/ja-source/docusaurus-plugin-content-docs/current/data-operate/import/import-way/log-storage-analysis.md index 776ef7a6395f6..617d0be4213ff 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/data-operate/import/import-way/log-storage-analysis.md +++ b/ja-source/docusaurus-plugin-content-docs/current/data-operate/import/import-way/log-storage-analysis.md @@ -154,7 +154,7 @@ ElasticsearchのDynamic Mappingと比較して、Apache DorisのFlexible Schema ### ステップ2：クラスターのデプロイ -リソースを見積もった後、クラスターをデプロイする必要があります。物理環境と仮想環境の両方で手動でデプロイすることを推奨します。手動デプロイについては、[Manual Deployment](./install/deploy-manually/integrated-storage-compute-deploy-manually)を参照してください。 +リソースを見積もった後、クラスターをデプロイする必要があります。物理環境と仮想環境の両方で手動でデプロイすることを推奨します。手動デプロイについては、Manual Deploymentを参照してください。 ### ステップ3：FEとBE設定の最適化 @@ -173,7 +173,7 @@ FE設定フィールドは`fe/conf/fe.conf`で確認できます。以下の表 | `autobucket_min_buckets = 10` | ログ量が増加した際にバケットが不足することを避けるため、自動バケットの最小バケット数を1から10に増加します。 | | `max_backend_heartbeat_failure_tolerance_count = 10` | ログシナリオでは、BEサーバーが高負荷を経験し、短期間のタイムアウトが発生する可能性があるため、許容カウントを1から10に増加します。 | -詳細については、[FE Configuration](./admin-manual/config/fe-config.md)を参照してください。 +詳細については、FE Configurationを参照してください。 **BE設定の最適化** @@ -200,7 +200,7 @@ BE設定フィールドは`be/conf/be.conf`で確認できます。以下の表 | Other | `string_type_length_soft_limit_bytes = 10485760` | 文字列型データの長さ制限を10MBに増加します。 | | - | `trash_file_expire_time_sec = 300` `path_gc_check_interval_second = 900` `path_scan_interval_second = 900` | ゴミファイルのリサイクルを高速化します。 | -詳細については、[BE Configuration](./admin-manual/config/be-config)を参照してください。 +詳細については、BE Configurationを参照してください。 ### ステップ4：テーブルの作成 @@ -210,7 +210,7 @@ BE設定フィールドは`be/conf/be.conf`で確認できます。以下の表 - データパーティショニングについて： - - [動的パーティション](./table-design/data-partitioning/dynamic-partitioning.md)（`"dynamic_partition.enable" = "true"`）で日単位で自動管理される[範囲パーティショニング](./table-design/data-partitioning/manual-partitioning.md#range-partitioning)（`PARTITION BY RANGE(`ts`)`）を有効にします。 + - 動的パーティション（`"dynamic_partition.enable" = "true"`）で日単位で自動管理される範囲パーティショニング（`PARTITION BY RANGE(`ts`)`）を有効にします。 - 最新のNログエントリの高速取得のため、DATETIME型のフィールドをキー（`DUPLICATE KEY(ts)`）として使用します。 @@ -220,7 +220,7 @@ BE設定フィールドは`be/conf/be.conf`で確認できます。以下の表 - Random戦略（`DISTRIBUTED BY RANDOM BUCKETS 60`）を使用して、単一tabletインポートと組み合わせてバッチ書き込み効率を最適化します。 -詳細については、[Data Partitioning](./table-design/data-partitioning/auto-partitioning)を参照してください。 +詳細については、Data Partitioningを参照してください。 **圧縮パラメーターの設定** @@ -368,7 +368,7 @@ output { ```shell ./bin/logstash -f logstash_demo.conf ``` -Logstash Doris Output pluginの詳細については、[Logstash Doris Output Plugin](./ecosystem/observability/logstash)を参照してください。 +Logstash Doris Output pluginの詳細については、Logstash Doris Output Pluginを参照してください。 **Filebeatの統合** @@ -434,7 +434,7 @@ headers: chmod +x filebeat-doris-2.1.1 ./filebeat-doris-2.1.1 -c filebeat_demo.yml ``` -Filebeatの詳細については、[Beats Doris Output Plugin](./ecosystem/observability/beats)を参照してください。 +Filebeatの詳細については、Beats Doris Output Pluginを参照してください。 **Kafkaの統合** @@ -464,7 +464,7 @@ FROM KAFKA ( );
SHOW ROUTINE LOAD; ``` -Kafkaの詳細については、[Routine Load](./data-operate/import/import-way/routine-load-manual.md)を参照してください。 +Kafkaの詳細については、Routine Loadを参照してください。 **カスタマイズされたプログラムを使用したログの収集** diff --git a/ja-source/docusaurus-plugin-content-docs/current/data-operate/import/import-way/routine-load-manual.md b/ja-source/docusaurus-plugin-content-docs/current/data-operate/import/import-way/routine-load-manual.md index 4237e9d925a9d..ece024095d2b3 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/data-operate/import/import-way/routine-load-manual.md +++ b/ja-source/docusaurus-plugin-content-docs/current/data-operate/import/import-way/routine-load-manual.md @@ -5,6 +5,9 @@ "description": "Apache Doris Routine Loadリアルタイムデータインポートガイド：KafkaからのCSV/JSONデータの継続的な消費をサポートし、データの損失や重複がないことを保証するExactly-Onceセマンティクスを提供し、ジョブ作成、ステータス監視、エラーハンドリング、SSL/Kerberosセキュリティ認証設定を含みます。" } --- + + + Dorisは、Routine Loadを使用してKafka Topicからデータを継続的に消費することができます。Routine Loadジョブを送信すると、Dorisはインポートジョブを実行し続け、Kafkaクラスタ内の指定されたTopicからメッセージを消費するインポートタスクを継続的に生成します。 Routine Loadは、Exactly-Onceセマンティクスをサポートするストリーミングインポートジョブで、データの損失や重複を防ぎます。 diff --git a/ja-source/docusaurus-plugin-content-docs/current/data-operate/import/import-way/stream-load-manual.md b/ja-source/docusaurus-plugin-content-docs/current/data-operate/import/import-way/stream-load-manual.md index 73db0798aa16c..32c538d9e48bc 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/data-operate/import/import-way/stream-load-manual.md +++ b/ja-source/docusaurus-plugin-content-docs/current/data-operate/import/import-way/stream-load-manual.md @@ -5,6 +5,9 @@ "description": "Stream LoadはHTTPプロトコルを通じてローカルファイルやデータストリームをDorisにインポートすることをサポートします。" } --- + + + Stream Load は、HTTP プロトコルを通じてローカルファイルやデータストリームを Doris にインポートすることをサポートしています。 Stream Load は同期インポート方式で、インポート実行後にインポート結果を返すため、リクエストレスポンスを通じてインポートの成功を判断できます。一般的に、ユーザーは Stream Load を使用して 10GB 未満のファイルをインポートできます。ファイルが大きすぎる場合は、ファイルを分割してから Stream Load を使用してインポートすることを推奨します。Stream Load は一連のインポートタスクの原子性を保証できます。つまり、すべて成功するかすべて失敗するかのいずれかです。 diff --git a/ja-source/docusaurus-plugin-content-docs/current/data-operate/import/load-data-convert.md b/ja-source/docusaurus-plugin-content-docs/current/data-operate/import/load-data-convert.md index afcfdf89c00fb..6f969bd0798f0 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/data-operate/import/load-data-convert.md +++ b/ja-source/docusaurus-plugin-content-docs/current/data-operate/import/load-data-convert.md @@ -5,6 +5,9 @@ "description": "Dorisはデータロード時に強力なデータ変換機能を提供します。" } --- + + + Dorisはデータロード時に強力なデータ変換機能を提供し、データ処理ワークフローを簡素化し、追加のETLツールへの依存を減らすことができます。主に4種類の変換をサポートしています： - **カラムマッピング**: ソースデータのカラムをターゲットテーブルの異なるカラムにマッピングします。 diff --git a/ja-source/docusaurus-plugin-content-docs/current/data-operate/import/load-internals/load-internals.md b/ja-source/docusaurus-plugin-content-docs/current/data-operate/import/load-internals/load-internals.md index 2ee3aaede00ba..ac0c607217534 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/data-operate/import/load-internals/load-internals.md +++ b/ja-source/docusaurus-plugin-content-docs/current/data-operate/import/load-internals/load-internals.md @@ -160,7 +160,7 @@ Apache Dorisを使用する際、実際のビジネスシナリオでは、デ #### Flink End-to-Endレイテンシ -Flink Connectorをバッチングモードで書き込みに使用し、主にend-to-endレイテンシとロードスループットに焦点を当てています。バッチング時間は、Flink Connectorのsink.buffer-flush.intervalパラメータによって制御されます。Flink Connectorの詳細な使用方法については、[Flink-Doris-Connector](../../../ecosystem/flink-doris-connector#usage)を参照してください。 +Flink Connectorをバッチングモードで書き込みに使用し、主にend-to-endレイテンシとロードスループットに焦点を当てています。バッチング時間は、Flink Connectorのsink.buffer-flush.intervalパラメータによって制御されます。Flink Connectorの詳細な使用方法については、[Flink-Doris-Connector](../../../ecosystem/flink-doris-connector#使用方法)を参照してください。 **マシン構成：** diff --git a/ja-source/docusaurus-plugin-content-docs/current/data-operate/transaction.md b/ja-source/docusaurus-plugin-content-docs/current/data-operate/transaction.md index 85e0fe086089e..b001bf684ac12 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/data-operate/transaction.md +++ b/ja-source/docusaurus-plugin-content-docs/current/data-operate/transaction.md @@ -5,6 +5,8 @@ "description": "トランザクションは、1つ以上のSQL文を含む操作です。" } --- + + トランザクションは、1つ以上のSQL文を含む操作です。これらの文の実行は、完全に成功するか完全に失敗するかのいずれかでなければなりません。これは分割不可能な作業単位です。 ## はじめに @@ -53,7 +55,7 @@ Labelは通常`business_logic+timestamp`の形式で設定されます。例え #### StreamLoad 2PC -[StreamLoad 2PC](#stream-load)は主にFlinkでDorisに書き込む際のexactly-onceセマンティクス（EOS）をサポートするために使用されます。 +[StreamLoad 2PC](#stream-load-2pc)は主にFlinkでDorisに書き込む際のexactly-onceセマンティクス（EOS）をサポートするために使用されます。 ## トランザクション操作 diff --git a/ja-source/docusaurus-plugin-content-docs/current/data-operate/update/partial-column-update.md b/ja-source/docusaurus-plugin-content-docs/current/data-operate/update/partial-column-update.md index 7f6d1baebf548..1a77da81e2442 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/data-operate/update/partial-column-update.md +++ b/ja-source/docusaurus-plugin-content-docs/current/data-operate/update/partial-column-update.md @@ -5,6 +5,11 @@ "description": "この文書では、Unique Key ModelとAggregate Key Modelテーブルにおいて、Dorisで部分的なカラム更新を実行する方法について説明します。" } --- + + + + + 部分カラム更新では、すべてのフィールドを変更することなく、テーブル内の特定のフィールドを更新できます。このドキュメントでは、Unique Key ModelとAggregate Key Modelの両方のテーブルに対して部分カラム更新を実行する方法を説明します。 ## 概要 diff --git a/ja-source/docusaurus-plugin-content-docs/current/data-operate/update/update-of-unique-model.md b/ja-source/docusaurus-plugin-content-docs/current/data-operate/update/update-of-unique-model.md index a6c5ca5179eb5..dd7b38fff57df 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/data-operate/update/update-of-unique-model.md +++ b/ja-source/docusaurus-plugin-content-docs/current/data-operate/update/update-of-unique-model.md @@ -5,6 +5,9 @@ "description": "この文書では、様々なロード方法を使用してDoris unique keyモデルのデータを更新する方法を紹介します。" } --- + + + この文書では、様々なロード方法を使用してDorisiqueキーモデルのデータを更新する方法を紹介します。 ## 全行更新 diff --git a/ja-source/docusaurus-plugin-content-docs/current/ecosystem/doris-operator/doris-operator-overview.md b/ja-source/docusaurus-plugin-content-docs/current/ecosystem/doris-operator/doris-operator-overview.md index 6d8e90aee30de..f54378c93e9e9 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/ecosystem/doris-operator/doris-operator-overview.md +++ b/ja-source/docusaurus-plugin-content-docs/current/ecosystem/doris-operator/doris-operator-overview.md @@ -49,7 +49,7 @@ Doris Operatorが提供するデプロイメント定義に基づいて、ユー - **ランタイムデバッグ**： コンテナ化されたサービスのTrouble Shootingにおける最大の課題の1つは、ランタイムでのデバッグ方法です。可用性と使いやすさを追求しながら、Doris Operatorは問題の特定により便利な条件も提供します。Dorisの基本イメージには、問題の特定のための様々なツールが事前設定されています。リアルタイムでステータスを表示する必要がある場合、kubectlが提供するexecコマンドを通じてコンテナに入り、内蔵ツールを使用してトラブルシューティングできます。 - 不明な理由でサービスを開始できない場合、Doris OperatorはDebug実行モードを提供します。PodがDebug起動モードに設定されると、コンテナは自動的に実行状態に入ります。この時、`exec`コマンドを通じてコンテナに入り、手動でサービスを開始して問題を特定できます。詳細については、[このドキュメント](../../install/deploy-on-kubernetes/integrated-storage-compute/cluster-operation.md#How-to-enter-the-container-when-the-pod-crashes)を参照してください。 + 不明な理由でサービスを開始できない場合、Doris OperatorはDebug実行モードを提供します。PodがDebug起動モードに設定されると、コンテナは自動的に実行状態に入ります。この時、`exec`コマンドを通じてコンテナに入り、手動でサービスを開始して問題を特定できます。詳細については、[このドキュメント](../../install/deploy-on-kubernetes/integrated-storage-compute/cluster-operation.md#podがクラッシュした際にコンテナに入る方法)を参照してください。 ## 互換性 diff --git a/ja-source/docusaurus-plugin-content-docs/current/ecosystem/flink-doris-connector.md b/ja-source/docusaurus-plugin-content-docs/current/ecosystem/flink-doris-connector.md index aaa610bdc789e..9694c5784811a 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/ecosystem/flink-doris-connector.md +++ b/ja-source/docusaurus-plugin-content-docs/current/ecosystem/flink-doris-connector.md @@ -5,6 +5,10 @@ "description": "Flink Doris ConnectorはFlinkを通じてDorisクラスターからデータを読み取り、Dorisクラスターにデータを書き込むために使用されます。また、FlinkCDCも統合しています、" } --- + + + + [Flink Doris Connector](https://github.com/apache/doris-flink-connector)は、Flinkを通じてDorisクラスターからデータを読み取り、データを書き込むために使用されます。また、[FlinkCDC](https://nightlies.apache.org/flink/flink-cdc-docs-release-3.2/docs/connectors/flink-sources/overview/)を統合しており、MySQLなどの上流データベースとのより便利なフルデータベース同期を可能にします。 Flink Connectorを使用すると、以下の操作を実行できます： @@ -805,7 +809,7 @@ Flinkクラスターを開始した後、以下のコマンドを直接実行で | sink.label-prefix | -- | Y | Stream loadインポートに使用されるラベルプレフィックス。2pcシナリオでは、FlinkのEOSセマンティクスを保証するためにグローバルに一意である必要があります。 | | sink.properties.* | -- | N | Stream Loadのインポートパラメータ。例：'sink.properties.column_separator' = ', 'はカラム区切り文字を定義し、'sink.properties.escape_delimiters' = 'true'は\x01のような区切り文字としての特殊文字がバイナリ0x01に変換されることを意味します。JSON形式のインポートの場合、'sink.properties.format' = 'json'、'sink.properties.read_json_by_line' = 'true'。詳細なパラメータについては[こちら](../data-operate/import/import-way/stream-load-manual.md#load-configuration-parameters)を参照してください。Group Commitモードの場合、例：'sink.properties.group_commit' = 'sync_mode'はグループコミットを同期モードに設定します。Flinkコネクタはバージョン1.6.2からインポート設定グループコミットをサポートしています。詳細な使用方法と制限については、[group commit](../data-operate/import/group-commit-manual.md)を参照してください。 | | sink.enable-delete | TRUE | N | 削除を有効にするかどうか。このオプションはDorisテーブルでバッチ削除機能が有効になっている必要があり（Doris 0.15+バージョンではデフォルトで有効）、Uniqueモデルのみサポートします。 | -| sink.enable-2pc | TRUE | N | 2段階コミット（2pc）を有効にするかどうか。デフォルトはtrueで、Exactly-Onceセマンティクスを保証します。2段階コミットの詳細については、[こちら](../data-operate/transaction.md#streamload-2pc)を参照してください。 | +| sink.enable-2pc | TRUE | N | 2段階コミット（2pc）を有効にするかどうか。デフォルトはtrueで、Exactly-Onceセマンティクスを保証します。2段階コミットの詳細については、[こちら](../data-operate/transaction.md#stream-load-2pc)を参照してください。 | | sink.buffer-size | 1MB | N | 書き込みデータキャッシュバッファのサイズ（バイト単位）。変更は推奨されず、デフォルト設定を使用できます。 | | sink.buffer-count | 3 | N | 書き込みデータキャッシュバッファの数。変更は推奨されず、デフォルト設定を使用できます。 | | sink.max-retries | 3 | N | Commit失敗後の最大リトライ回数。デフォルトは3回。 | @@ -1094,7 +1098,7 @@ Connectorが提供する全データベース同期ツールでは、追加設 3. **errCode = 2, detailMessage = current running txns on db 10006 is 100, larger than limit 100** - これは同一データベースへの並行インポートが100を超えているためです。`fe.conf`の`max_running_txn_num_per_db`パラメータを調整することで解決できます。詳細については、[max_running_txn_num_per_db](../admin-manual/config/fe-config#max_running_txn_num_per_db)を参照してください。 + これは同一データベースへの並行インポートが100を超えているためです。`fe.conf`の`max_running_txn_num_per_db`パラメータを調整することで解決できます。詳細については、[max_running_txn_num_per_db](../admin-manual/config/fe-config#fe設定)を参照してください。 同時に、labelの頻繁な変更とタスクの再起動もこのエラーを引き起こす可能性があります。2pcシナリオ（Duplicate/Aggregateモデル用）では、各タスクのlabelは一意である必要があります。そして、checkpointから再起動する際、Flinkタスクは事前コミットが成功したがまだコミットされていないトランザクションを積極的に中止します。labelの頻繁な変更と再起動により、中止できない事前コミット成功トランザクションが大量に発生し、トランザクションを占有します。Uniqueモデルでは、2pcを無効にしてべき等書き込みを実現することもできます。 diff --git a/ja-source/docusaurus-plugin-content-docs/current/ecosystem/spark-doris-connector.md b/ja-source/docusaurus-plugin-content-docs/current/ecosystem/spark-doris-connector.md index 3f25952216a6d..59f057b4506aa 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/ecosystem/spark-doris-connector.md +++ b/ja-source/docusaurus-plugin-content-docs/current/ecosystem/spark-doris-connector.md @@ -5,6 +5,8 @@ "description": "Spark Doris ConnectorはApache DorisとApache Sparkの間のコネクタで、RDD、DataFrame、Spark SQLを通じてDorisデータの読み取りと書き込みをサポートします。バッチおよびストリーミング書き込み、データフィルタプッシュダウン、Arrow Flight SQL高速伝送などの機能をサポートし、Spark 2.xおよび3.xバージョンと互換性があります。" } --- + + # Spark Doris Connector Spark Doris Connectorは、Sparkを通じてDorisに保存されたデータの読み込みと、Sparkを通じてDorisへのデータ書き込みをサポートします。 diff --git a/ja-source/docusaurus-plugin-content-docs/current/gettingStarted/before-you-start-the-poc.md b/ja-source/docusaurus-plugin-content-docs/current/gettingStarted/before-you-start-the-poc.md index c70a76c1afe5a..8f9c0fe4ab1b9 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/gettingStarted/before-you-start-the-poc.md +++ b/ja-source/docusaurus-plugin-content-docs/current/gettingStarted/before-you-start-the-poc.md @@ -6,6 +6,8 @@ "sidebar_label": "Before You Start the POC" } --- + + # POCを開始する前に この文書は、新規ユーザーが遭遇する可能性のある一般的な問題をハイライトし、POCプロセスを加速することを目的としています。 @@ -104,6 +106,6 @@ DISTRIBUTED BY HASH(site_id) BUCKETS 10; ### Query - **データの偏り。** `SHOW TABLETS` でタブレットサイズを確認してください。サイズが大幅に異なる場合は、Random bucketing またはより高いカーディナリティのバケット列に切り替えてください。 -- **間違ったソートキーの順序。** [Sort Key](#sort-key) を参照してください。 +- **間違ったソートキーの順序。** [Sort Key](#pocを開始する前に) を参照してください。 遅いクエリを診断するには [Query Profile](../query-acceleration/query-profile) を参照してください。 diff --git a/ja-source/docusaurus-plugin-content-docs/current/gettingStarted/what-is-apache-doris.md b/ja-source/docusaurus-plugin-content-docs/current/gettingStarted/what-is-apache-doris.md index fd13ca1098c9a..9ff509d73b3de 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/gettingStarted/what-is-apache-doris.md +++ b/ja-source/docusaurus-plugin-content-docs/current/gettingStarted/what-is-apache-doris.md @@ -5,6 +5,8 @@ "description": "Apache DorisはMPPベースのリアルタイムデータウェアハウスで、高速なクエリ速度で知られています。大規模データセットに対するクエリでは、" } --- + + ## Apache Dorisとは Apache Dorisは、高速なクエリ速度で知られるMPPベースのリアルタイムデータウェアハウスです。大規模データセットに対するクエリでは、サブ秒で結果を返します。高同時実行ポイントクエリと高スループット複合分析の両方をサポートします。レポート分析、アドホッククエリ、統合データウェアハウス、データレイククエリアクセラレーションに使用できます。Apache Dorisをベースに、ユーザーはユーザー行動分析、A/Bテストプラットフォーム、ログ解析、ユーザープロファイル分析、Eコマース注文分析のアプリケーションを構築できます。 diff --git a/ja-source/docusaurus-plugin-content-docs/current/install/deploy-manually/integrated-storage-compute-deploy-manually.md b/ja-source/docusaurus-plugin-content-docs/current/install/deploy-manually/integrated-storage-compute-deploy-manually.md index 680dd208d9038..07ba58bdd54db 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/install/deploy-manually/integrated-storage-compute-deploy-manually.md +++ b/ja-source/docusaurus-plugin-content-docs/current/install/deploy-manually/integrated-storage-compute-deploy-manually.md @@ -58,7 +58,7 @@ | パラメータ | 推奨事項 | | ------------------------------------------------------------ | --------------------------------------------------------- | | JAVA_OPTS | `-Xmx`パラメータを指定してJava Heapを調整します。本番環境では16G以上に設定することを推奨します。 | - | [lower_case_table_names ](../../admin-manual/config/fe-config#lower_case_table_names) | 大文字小文字の区別を設定します。1に調整することを推奨します。これは大文字小文字を区別しないことを意味します。 | + | [lower_case_table_names ](../../admin-manual/config/fe-config#fe設定) | 大文字小文字の区別を設定します。1に調整することを推奨します。これは大文字小文字を区別しないことを意味します。 | | [priority_networks ](../../admin-manual/config/fe-config#priority_networks) | ネットワークIPアドレスに基づいてネットワークCIDRを指定します。FQDN環境では無視できます。 | | JAVA_HOME | DorisにはOSから独立したJDK環境を使用することを推奨します。 | diff --git a/ja-source/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/integrated-storage-compute/cluster-operation.md b/ja-source/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/integrated-storage-compute/cluster-operation.md index 49ea85d968178..7b82ceaa546a4 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/integrated-storage-compute/cluster-operation.md +++ b/ja-source/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/integrated-storage-compute/cluster-operation.md @@ -5,6 +5,8 @@ "description": "k8s環境において、予期しない事象によりサービスがCrashLoopBackOff状態になることがあります。" } --- + + ## podがクラッシュした際にコンテナに入る方法 k8s環境では、予期しない問題により、サービスが`CrashLoopBackOff`状態に入ることがあります。指定されたnamespace下でのpodステータスとpod_nameは、`kubectl get pod --namespace ${namespace}`コマンドで確認できます。 diff --git a/ja-source/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/integrated-storage-compute/install-config-cluster.md b/ja-source/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/integrated-storage-compute/install-config-cluster.md index f98e6217fcab4..d6c0f29afd9bd 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/integrated-storage-compute/install-config-cluster.md +++ b/ja-source/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/integrated-storage-compute/install-config-cluster.md @@ -5,6 +5,8 @@ "description": "デフォルトのDorisClusterリソースデプロイメントでは、FEとBEイメージが最新バージョンではない可能性があります、" } --- + + ## クラスタープランニング デフォルトのDorisClusterリソースデプロイメントでは、FEとBEイメージが最新バージョンではない可能性があり、FEとBEの両方のデフォルトレプリカ数は3に設定されています。さらに、FEのデフォルトリソース構成は6 CPUと12Giのメモリであり、BEについては8 CPUと16Giのメモリです。このセクションでは、要件に応じてこれらのデフォルト構成を変更する方法について説明します。 @@ -19,7 +21,7 @@ spec: feSpec: image: ${image} ``` -${image}を希望するイメージ名に置き換えてから、対象の[DorisCluster resource](install-doris-cluster.md#step-2-custom-the-template-and-deploy-cluster)で設定を更新してください。公式のFEイメージは[FE Image](https://hub.docker.com/r/apache/doris/tags?name=fe)で利用可能です。 +${image}を希望するイメージ名に置き換えてから、対象の[DorisCluster resource](install-doris-cluster.md#doris-クラスター-のデプロイ)で設定を更新してください。公式のFEイメージは[FE Image](https://hub.docker.com/r/apache/doris/tags?name=fe)で利用可能です。 **BEイメージの設定** BEイメージのバージョンを指定するには、以下の設定を使用してください： @@ -29,7 +31,7 @@ spec: beSpec: image: ${image} ``` -${image}を希望するイメージ名に置き換え、その後[DorisCluster resource](install-doris-cluster.md#step-2-custom-the-template-and-deploy-cluster)で設定を更新してください。公式BEイメージは[BE Image](https://hub.docker.com/r/apache/doris/tags?name=be)で入手できます。 +${image}を希望するイメージ名に置き換え、その後[DorisCluster resource](install-doris-cluster.md#doris-クラスター-のデプロイ)で設定を更新してください。公式BEイメージは[BE Image](https://hub.docker.com/r/apache/doris/tags?name=be)で入手できます。 ### Replicas設定 **FE replicas設定** @@ -40,7 +42,7 @@ spec: feSpec: replicas: 5 ``` -ターゲットの[DorisCluster resource](install-doris-cluster.md#step-2-custom-the-template-and-deploy-cluster)で設定を更新します。 +ターゲットの[DorisCluster resource](install-doris-cluster.md#doris-クラスター-のデプロイ)で設定を更新します。 **BEレプリカ設定** デフォルトのFEレプリカ数を3から5に変更するには、以下の設定を使用します： @@ -50,7 +52,7 @@ spec: beSpec: replicas: 5 ``` -デプロイする必要がある[DorisCluster resource](install-doris-cluster.md#step-2-custom-the-template-and-deploy-cluster)の設定を更新します。 +デプロイする必要がある[DorisCluster resource](install-doris-cluster.md#doris-クラスター-のデプロイ)の設定を更新します。 ### コンピューティングリソース設定 **FEコンピューティングリソース設定** @@ -66,7 +68,7 @@ spec: cpu: 8 memory: 16Gi ``` -ターゲットの[DorisCluster resource](install-doris-cluster.md#step-2-custom-the-template-and-deploy-cluster)で設定を更新します。 +ターゲットの[DorisCluster resource](install-doris-cluster.md#doris-クラスター-のデプロイ)で設定を更新します。 **BEコンピューティングリソース設定** BEのデフォルトコンピューティングリソース設定は8 CPUと16Giのメモリです。16 CPUと32Giのメモリに変更するには、以下の設定を使用します： @@ -81,7 +83,7 @@ spec: cpu: 16 memory: 32Gi ``` -ターゲットの[DorisCluster resource](install-doris-cluster.md#step-2-custom-the-template-and-deploy-cluster)で設定を更新してください。 +ターゲットの[DorisCluster resource](install-doris-cluster.md#doris-クラスター-のデプロイ)で設定を更新してください。 :::tip Tip FEとBEが起動するために必要な最小リソースは4 CPUと8Giのメモリです。通常のパフォーマンステストでは、8 CPUと8Giのメモリを設定することを推奨します。 @@ -89,7 +91,7 @@ FEとBEが起動するために必要な最小リソースは4 CPUと8Giのメ ## カスタム起動設定 -DorisはKubernetesにおいて、設定ファイルをサービスから分離するためにConfigMapを使用します。デフォルトでは、サービスは起動パラメータ設定として、イメージ内のデフォルト設定を使用します。起動パラメータをカスタマイズするには、[FE Configuration Document](../../../admin-manual/config/fe-config)と[BE Configuration Document](../../../admin-manual/config/be-config.md)の指示に従って特定のConfigMapを作成してください。その後、カスタマイズしたConfigMapを[DorisCluster resource](install-doris-cluster.md#step-2-custom-the-template-and-deploy-cluster)がデプロイされる予定のnamespaceにデプロイしてください。 +DorisはKubernetesにおいて、設定ファイルをサービスから分離するためにConfigMapを使用します。デフォルトでは、サービスは起動パラメータ設定として、イメージ内のデフォルト設定を使用します。起動パラメータをカスタマイズするには、[FE Configuration Document](../../../admin-manual/config/fe-config)と[BE Configuration Document](../../../admin-manual/config/be-config.md)の指示に従って特定のConfigMapを作成してください。その後、カスタマイズしたConfigMapを[DorisCluster resource](install-doris-cluster.md#doris-クラスター-のデプロイ)がデプロイされる予定のnamespaceにデプロイしてください。 ### カスタムFE起動設定 #### Step 1: FE ConfigMapを作成してデプロイする @@ -159,7 +161,7 @@ kubectl -n ${namespace} apply -f ${feConfigMapFile}.yaml ここで、${namespace} は DorisCluster をデプロイする namespace を指し、${feConfigMapFile} は FE 用の ConfigMap ファイルの名前です。 #### ステップ 2: DorisCluster リソースの更新 -起動設定をマウントするために `fe-conf` という名前の ConfigMap を使用するには、[DorisCluster resource](install-doris-cluster.md#step-2-custom-the-template-and-deploy-cluster) の FE spec に以下の設定を追加してください： +起動設定をマウントするために `fe-conf` という名前の ConfigMap を使用するには、[DorisCluster resource](install-doris-cluster.md#doris-クラスター-のデプロイ) の FE spec に以下の設定を追加してください： ```yaml spec: @@ -168,7 +170,7 @@ spec: configMapName: fe-conf resolveKey: fe.conf ``` -デプロイが必要な[DorisClusterリソース](install-doris-cluster.md#step-2-custom-the-template-and-deploy-cluster)の設定を更新してください。 +デプロイが必要な[DorisClusterリソース](install-doris-cluster.md#doris-クラスター-のデプロイ)の設定を更新してください。 :::tip Tip 起動設定に`enable_fqdn_mode=true`が含まれていることを確認してください。IPモードを使用したい場合で、K8sがpod IPを再起動後も同じ状態に保つ機能を持っている場合は、設定についてissue [#138](https://github.com/apache/doris-operator/issues/138)を参照してください。 @@ -257,7 +259,7 @@ data: ## If you are not running in aws cloud, you can disable EC2 metadata AWS_EC2_METADATA_DISABLED=true ``` -ConfigMapを使用してBEスタートアップ設定をマウントする場合、設定に対応するキーは`be.conf`である必要があります。ConfigMapをファイルに書き込み、以下のコマンドを使用して[DorisClusterリソース](install-doris-cluster.md#step-2-custom-the-template-and-deploy-cluster)がデプロイされているnamespaceにデプロイします： +ConfigMapを使用してBEスタートアップ設定をマウントする場合、設定に対応するキーは`be.conf`である必要があります。ConfigMapをファイルに書き込み、以下のコマンドを使用して[DorisClusterリソース](install-doris-cluster.md#doris-クラスター-のデプロイ)がデプロイされているnamespaceにデプロイします： ```shell kubectl -n ${namespace} apply -f ${beConfigMapFile}.yaml @@ -265,7 +267,7 @@ kubectl -n ${namespace} apply -f ${beConfigMapFile}.yaml ここで、${namespace}はDorisClusterリソースをデプロイする必要があるnamespaceを指し、${beConfigMapFile}はBE用のConfigMapファイルの名前です。 #### ステップ 2: DorisClusterリソースの更新 -起動設定のマウントに`be-conf`という名前のConfigMapを使用するには、[DorisClusterリソース](install-doris-cluster.md#step-2-custom-the-template-and-deploy-cluster)のBE specに以下の設定を追加します： +起動設定のマウントに`be-conf`という名前のConfigMapを使用するには、[DorisClusterリソース](install-doris-cluster.md#doris-クラスター-のデプロイ)のBE specに以下の設定を追加します： ```yaml spec: @@ -306,7 +308,7 @@ spec: mountPath: /etc/be/config2 ``` ## 永続ストレージ -Kubernetesは物理ストレージにデータを永続化するために[Persistent Volumes](https://kubernetes.io/docs/concepts/storage/persistent-volumes/)を提供しています。Kubernetesでは、Doris Operatorがデプロイが必要な[DorisCluster Resource](install-doris-cluster.md#step-2-custom-the-template-and-deploy-cluster)で定義されたテンプレートに基づいて、適切なPersistentVolumesに関連付けられたPersistentVolumeClaimsを自動的に作成します。 +Kubernetesは物理ストレージにデータを永続化するために[Persistent Volumes](https://kubernetes.io/docs/concepts/storage/persistent-volumes/)を提供しています。Kubernetesでは、Doris Operatorがデプロイが必要な[DorisCluster Resource](install-doris-cluster.md#doris-クラスター-のデプロイ)で定義されたテンプレートに基づいて、適切なPersistentVolumesに関連付けられたPersistentVolumeClaimsを自動的に作成します。 ### FEの永続ストレージ KubernetesベースのDorisデプロイメントでは、FEに対して以下のパスを永続化することが推奨されます： @@ -314,7 +316,7 @@ KubernetesベースのDorisデプロイメントでは、FEに対して以下の 2. ログ: /opt/apache-doris/fe/log（ログの永続化が必要な場合） #### FEのメタデータの永続化 -デフォルトストレージ設定を使用してFEメタデータを永続化するには、[DorisCluster resource](install-doris-cluster.md#step-2-custom-the-template-and-deploy-cluster)に以下の設定を追加してください： +デフォルトストレージ設定を使用してFEメタデータを永続化するには、[DorisCluster resource](install-doris-cluster.md#doris-クラスター-のデプロイ)に以下の設定を追加してください： ```yaml spec: @@ -335,7 +337,7 @@ spec: 上記の設定において、${your_storageclass}は使用したいStorageClassの名前を表し、${storageSize}は割り当てたいストレージサイズを表します。形式は[quantity expression](https://kubernetes.io/docs/reference/kubernetes-api/common-definitions/quantity/)で、例えば100Giなどです。 #### 永続的なFEログ -クラスターに集中ログ収集システムがない場合は、[DorisCluster resource](install-doris-cluster.md#step-2-custom-the-template-and-deploy-cluster)に以下の設定を追加して、FEログディレクトリを永続化します： +クラスターに集中ログ収集システムがない場合は、[DorisCluster resource](install-doris-cluster.md#doris-クラスター-のデプロイ)に以下の設定を追加して、FEログディレクトリを永続化します： ```yaml spec: @@ -356,7 +358,7 @@ spec: 上記の設定において、${your_storageclass}は使用したいStorageClassの名前を表し、${storageSize}は割り当てたいストレージサイズを表します。${storageSize}の形式は、K8sの[quantity expression](https://kubernetes.io/docs/reference/kubernetes-api/common-definitions/quantity/)方式に従います（例：100Gi）。使用時に必要に応じて置き換えてください。 :::tip Tip -[カスタマイズされた設定ファイル](#custom-fe-startup-configuration)でmeta_dirや`LOG_DIR`を再設定した場合は、mountPathを再設定してください。 +[カスタマイズされた設定ファイル](#クラスタープランニング)でmeta_dirや`LOG_DIR`を再設定した場合は、mountPathを再設定してください。 ::: ### BEの永続ストレージ @@ -366,7 +368,7 @@ Dorisデプロイメントのノードの場合、以下のパスを永続化す #### 永続データ - **デフォルトストレージ設定の使用** - デフォルトストレージ設定を使用してデータを永続化するには、[DorisClusterリソース](install-doris-cluster.md#step-2-custom-the-template-and-deploy-cluster)を以下の設定で更新します： + デフォルトストレージ設定を使用してデータを永続化するには、[DorisClusterリソース](install-doris-cluster.md#doris-クラスター-のデプロイ)を以下の設定で更新します： ```yaml beSpec: @@ -411,7 +413,7 @@ Dorisデプロイメントのノードの場合、以下のパスを永続化す 上記の設定では、${your_storageclass}は使用したいStorageClassの名前を表し、${storageSize}は使用したいストレージサイズを表します。${storageSize}の形式は、K8sの[quantity expression method](https://kubernetes.io/docs/reference/kubernetes-api/common-definitions/quantity/)に従います（例：100Gi）。使用時に必要に応じて置き換えてください。 #### Persistent BEログ -デフォルト設定を使用してBEログを永続化するには、DorisClusterリソース[DorisClusterリソース](install-doris-cluster.md#step-2-custom-the-template-and-deploy-cluster)を以下のように更新してください： +デフォルト設定を使用してBEログを永続化するには、DorisClusterリソース[DorisClusterリソース](install-doris-cluster.md#doris-クラスター-のデプロイ)を以下のように更新してください： ```yaml beSpec: @@ -660,7 +662,7 @@ rootユーザーのパスワードを安全に設定するために、Dorisは2 fmt.Println("*"+tes) } ``` -設定ファイルの形式要件に従って、暗号化されたパスワードを`fe.conf`に設定します。その後、ConfigMapを使用してKubernetesクラスターに設定を配布します。詳細は[Cluster Parameter Configuration Section](#custom-fe-startup-configuration)を参照してください。 +設定ファイルの形式要件に従って、暗号化されたパスワードを`fe.conf`に設定します。その後、ConfigMapを使用してKubernetesクラスターに設定を配布します。詳細は[Cluster Parameter Configuration Section](#クラスタープランニング)を参照してください。 #### Step 2: DorisClusterリソースの設定 fe.confでrootパスワードを設定した後、Dorisは起動時に自動的にパスワードを最初のFEノードに適用します。他のノードがクラスターに参加するには、DorisClusterリソースでユーザー名とパスワードを指定し、Doris Operatorが自動的にノード管理を実行できるようにします。 @@ -820,7 +822,7 @@ spec: enableRestartWhenConfigChange: true ``` この設定が存在する場合、Doris Operatorは以下を実行します： -1. クラスター起動設定の変更を監視します（ConfigMapを介してマウントされます。[起動設定のカスタマイズ](#custom-startup-configuration)を参照）。 +1. クラスター起動設定の変更を監視します（ConfigMapを介してマウントされます。[起動設定のカスタマイズ](#クラスタープランニング)を参照）。 2. 設定が変更された際に、影響を受けるサービスを自動的に再起動します。 ### 使用例 diff --git a/ja-source/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/integrated-storage-compute/install-doris-cluster.md b/ja-source/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/integrated-storage-compute/install-doris-cluster.md index 1200eb4c48c92..d150b4687397a 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/integrated-storage-compute/install-doris-cluster.md +++ b/ja-source/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/integrated-storage-compute/install-doris-cluster.md @@ -6,6 +6,8 @@ "sidebar_label": "Deploy Doris クラスター" } --- + + # Doris クラスター のデプロイ Kubernetes 上で Doris cluster をデプロイするには、[Doris Operator がデプロイされている](install-doris-operator.md)ことを確認してください。 diff --git a/ja-source/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/separating-storage-compute/config-cg.md b/ja-source/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/separating-storage-compute/config-cg.md index 43fe559f49fdf..30dbd6cea8726 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/separating-storage-compute/config-cg.md +++ b/ja-source/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/separating-storage-compute/config-cg.md @@ -5,6 +5,9 @@ "description": "疎結合ストレージ・コンピュートクラスターにおいて、Compute Groupは、オブジェクトストレージからのデータインポートとデータキャッシュを担当し、クエリを向上させる" } --- + + + 分離されたストレージとCompute Groupクラスタにおいて、Compute Groupはオブジェクトストレージからのデータインポートとデータキャッシュを担当し、クエリパフォーマンスを向上させます。Compute Groupは互いに分離されています。 ## 最小限のCompute Group設定 @@ -48,7 +51,7 @@ spec: cpu: 8 memory: 8Gi ``` -この設定を適切な[DorisDisaggregatedClusterリソース](install-doris-cluster.md#step-3-deploy-the-compute-storage-decoupled-cluster)に適用してください。 +この設定を適切な[DorisDisaggregatedClusterリソース](install-doris-cluster.md#doris-クラスタのデプロイ)に適用してください。 ## アクセス設定 デフォルトでは、computeグループは外部にサービスを公開しません。Doris Operatorは`DorisDisaggregatedCluster`リソース内のcomputeグループのプロキシとしてServiceを提供します。`ClusterIP`、`NodePort`、`LoadBalancer`の3つのサービス公開モードがサポートされています。 @@ -139,7 +142,7 @@ spec: file_cache_path = [{"path":"/opt/apache-doris/be/file_cache","total_size":107374182400,"query_limit":107374182400}] deploy_mode = cloud ``` -デカップルドクラスターのBEサービスのスタートアップ設定には、file_cache_path設定を含める必要があります。必要な形式については、[Doris decoupled configuration for be.conf](./../../../compute-storage-decoupled/compilation-and-deployment.md#541-configure-beconf)を参照してください。 +デカップルドクラスターのBEサービスのスタートアップ設定には、file_cache_path設定を含める必要があります。必要な形式については、[Doris decoupled configuration for be.conf](./../../../compute-storage-decoupled/compilation-and-deployment.md#1-概要)を参照してください。 2. ConfigMapをデプロイする 以下のコマンドを使用して、スタートアップ設定を含むカスタムConfigMapをKubernetesクラスターにデプロイします： diff --git a/ja-source/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/separating-storage-compute/config-fe.md b/ja-source/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/separating-storage-compute/config-fe.md index c989f578b11f0..7e236b633fe06 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/separating-storage-compute/config-fe.md +++ b/ja-source/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/separating-storage-compute/config-fe.md @@ -5,6 +5,9 @@ "description": "FEは主に、分離されたストレージとコンピュートモードにおけるクエリの解析、プランニング、および関連するタスクを担当します。" } --- + + + FEは、分離されたストレージとコンピュート モードにおいて、主にクエリ解析、プランニング、および関連タスクを担当します。 ## Compute リソースの設定 @@ -20,7 +23,7 @@ spec: cpu: 8 memory: 8Gi ``` -デプロイしようとしている[DorisDisaggregatedClusterリソース](./install-doris-cluster.md#step-3-deploy-the-compute-storage-decoupled-cluster)で上記の設定を更新してください。 +デプロイしようとしている[DorisDisaggregatedClusterリソース](./install-doris-cluster.md#doris-クラスタのデプロイ)で上記の設定を更新してください。 ## Followerノード数の設定 Doris Frontend（FE）サービスには、FollowerとObserverという2つのタイプのロールがあります。Followerノードは、SQLパース、メタデータ管理、およびストレージを担当します。ObserverノードはおもにSQLパースを処理してFollowerからクエリおよび書き込みトラフィックの負荷を軽減します。Dorisはメタデータ管理にbdbjeストレージシステムを使用しており、Paxosプロトコルに類似したアルゴリズムを実装しています。 diff --git a/ja-source/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/separating-storage-compute/config-ms.md b/ja-source/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/separating-storage-compute/config-ms.md index 5544996fe58cc..b9a4b927f3bcf 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/separating-storage-compute/config-ms.md +++ b/ja-source/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/separating-storage-compute/config-ms.md @@ -30,7 +30,7 @@ FoundationDBアクセスを設定する方法は、デプロイメント環境 fdb: address: ${fdbEndpoint} ``` -ここで、`${fdbEndpoint}`はFoundationDBのアクセス可能なアドレス情報を表します。物理マシンでのデプロイメントについては、[fdb_cluster詳細を取得するためのMetaServiceデプロイメント](../../../compute-storage-decoupled/compilation-and-deployment.md#31-configuration)のセクションを参照してください。 +ここで、`${fdbEndpoint}`はFoundationDBのアクセス可能なアドレス情報を表します。物理マシンでのデプロイメントについては、[fdb_cluster詳細を取得するためのMetaServiceデプロイメント](../../../compute-storage-decoupled/compilation-and-deployment.md#1-概要)のセクションを参照してください。 ## Imageの設定 デプロイメントサンプルでは、MetaService imageが最新バージョンでない場合があります。imageをカスタマイズする際は、以下のように設定してください： @@ -55,7 +55,7 @@ spec: cpu: 4 memory: 4Gi ``` -対応する[DorisDisaggregatedCluster resource](./install-doris-cluster.md#step-3-deploy-the-compute-storage-decoupled-cluster)でこの設定を更新してください。 +対応する[DorisDisaggregatedCluster resource](./install-doris-cluster.md#doris-クラスタのデプロイ)でこの設定を更新してください。 ## 起動設定のカスタマイズ Doris-OperatorはConfigMapを使用して、コンポーネントの起動設定ファイルをマウントします。operatorは自動的にMetaServiceの起動設定に関連するFoundationDB情報を設定するため、設定をカスタマイズする際にこれらの詳細を含める必要はありません。 @@ -102,7 +102,7 @@ Doris-OperatorはConfigMapを使用して、コンポーネントの起動設定 - name: ${msConfigMapName} mountPath: /etc/doris ``` -ここで、`${msConfigMapName}` は MetaService 起動設定を含む ConfigMap の名前です。デプロイ予定の [DorisDisaggregatedCluster リソース](./install-doris-cluster.md#step-3-deploy-the-compute-storage-decoupled-cluster) でこの設定を更新してください。マウントパスは `/etc/doris` である必要があります。 +ここで、`${msConfigMapName}` は MetaService 起動設定を含む ConfigMap の名前です。デプロイ予定の [DorisDisaggregatedCluster リソース](./install-doris-cluster.md#doris-クラスタのデプロイ) でこの設定を更新してください。マウントパスは `/etc/doris` である必要があります。 :::tip Tip Kubernetes デプロイメントで MetaService 起動設定をカスタマイズする際は、fdb_cluster 設定を含めないでください。Doris Operator が自動的に処理します。 diff --git a/ja-source/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/separating-storage-compute/install-doris-cluster.md b/ja-source/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/separating-storage-compute/install-doris-cluster.md index 707d800a89684..1675dde5efb50 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/separating-storage-compute/install-doris-cluster.md +++ b/ja-source/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/separating-storage-compute/install-doris-cluster.md @@ -6,6 +6,8 @@ "sidebar_label": "Deploy Doris クラスター" } --- + + # Doris クラスタのデプロイ Kubernetes上で機能的な分離されたストレージとコンピュートDorisクラスタをデプロイするには、主に4つのステップが必要です： diff --git a/ja-source/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/separating-storage-compute/install-fdb.md b/ja-source/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/separating-storage-compute/install-fdb.md index ecb03b99d51ae..509fb18a51b48 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/separating-storage-compute/install-fdb.md +++ b/ja-source/docusaurus-plugin-content-docs/current/install/deploy-on-kubernetes/separating-storage-compute/install-fdb.md @@ -5,6 +5,9 @@ "description": "FoundationDBは、Apache 2.0ライセンスの下でリリースされたオープンソースの分散データベースであり、構造化データストレージに対して強い一貫性を提供します。" } --- + + + FoundationDBは、Apache 2.0ライセンスでリリースされたオープンソース分散データベースで、構造化データストレージに強い一貫性を提供します。Dorisのコンピュート・ストレージ分離モデルでは、FoundationDBがメタデータストアとして使用され、meta-serviceコンポーネントがFoundationDB内のメタデータを管理します。Kubernetes上でコンピュート・ストレージ分離クラスターをデプロイする際は、事前にFoundationDBをデプロイする必要があります。以下の2つのデプロイメント方法を推奨します： - 仮想マシン（物理マシンを含む）上に直接FoundationDBをデプロイする - [fdb-kubernetes-operator](https://github.com/FoundationDB/fdb-kubernetes-operator)を使用してKubernetes上にFoundationDBをデプロイする diff --git a/ja-source/docusaurus-plugin-content-docs/current/install/preparation/cluster-planning.md b/ja-source/docusaurus-plugin-content-docs/current/install/preparation/cluster-planning.md index c86794eaff72a..ebfc358a1429b 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/install/preparation/cluster-planning.md +++ b/ja-source/docusaurus-plugin-content-docs/current/install/preparation/cluster-planning.md @@ -9,9 +9,9 @@ Dorisをデプロイする際は、ビジネスニーズに基づいて統合ストレージ・コンピュートアーキテクチャまたは分離ストレージ・コンピュートアーキテクチャを選択できます： -- [Integrated Storage-Compute](../../gettingStarted/what-is-apache-doris.md#Integrated-Storage-Compute)：統合ストレージ・コンピュートアーキテクチャは、デプロイが容易で優れたパフォーマンスを発揮し、外部の共有ストレージデバイスに依存しません。スケーリングにおける極端な弾力性を必要としないビジネスシナリオに適しています。 +- [Integrated Storage-Compute](../../gettingStarted/what-is-apache-doris.md#apache-dorisとは)：統合ストレージ・コンピュートアーキテクチャは、デプロイが容易で優れたパフォーマンスを発揮し、外部の共有ストレージデバイスに依存しません。スケーリングにおける極端な弾力性を必要としないビジネスシナリオに適しています。 -- [Decoupled Storage-Compute](../../gettingStarted/what-is-apache-doris.md#Decoupled-Storage-Compute)：分離ストレージ・コンピュートアーキテクチャは、共有ストレージに依存し、コンピュートリソースの弾力的スケーリングを可能にします。コンピュートリソースの動的調整が必要なビジネスシナリオに適しています。 +- [Decoupled Storage-Compute](../../gettingStarted/what-is-apache-doris.md#apache-dorisとは)：分離ストレージ・コンピュートアーキテクチャは、共有ストレージに依存し、コンピュートリソースの弾力的スケーリングを可能にします。コンピュートリソースの動的調整が必要なビジネスシナリオに適しています。 ## ポート計画 diff --git a/ja-source/docusaurus-plugin-content-docs/current/lakehouse/best-practices/doris-iceberg.md b/ja-source/docusaurus-plugin-content-docs/current/lakehouse/best-practices/doris-iceberg.md index a7bf1f11736f4..7fd21bed2fe9e 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/lakehouse/best-practices/doris-iceberg.md +++ b/ja-source/docusaurus-plugin-content-docs/current/lakehouse/best-practices/doris-iceberg.md @@ -5,6 +5,9 @@ "description": "新しいオープンデータ管理アーキテクチャとして、Data レイクハウスはdata warehouseの高性能とリアルタイム機能を統合し" } --- + + + 新しいオープンデータ管理アーキテクチャとして、Data レイクハウスはデータウェアハウスの高性能とリアルタイム機能を、データレイクの低コストと柔軟性と統合し、ユーザーが様々なデータ処理と分析のニーズをより便利に満たせるよう支援しています。企業のビッグデータシステムにおいて、ますます広く適用されています。 最近のバージョンにおいて、Apache Dorisはデータレイクとの統合を深め、成熟したData レイクハウスソリューションを提供しています。 diff --git a/ja-source/docusaurus-plugin-content-docs/current/lakehouse/catalog-overview.md b/ja-source/docusaurus-plugin-content-docs/current/lakehouse/catalog-overview.md index 28289b691c45e..517e7bcfbb9ed 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/lakehouse/catalog-overview.md +++ b/ja-source/docusaurus-plugin-content-docs/current/lakehouse/catalog-overview.md @@ -5,6 +5,11 @@ "description": "Apache Doris Data カタログの概念と使用方法について学習します。外部データカタログを作成してHive、Iceberg、Paimon、PostgreSQL、その他のデータソースに接続し、フェデレーテッドクロスソースクエリ、データ取り込み、ライトバックを行います。" } --- + + + + + Data カタログは、データソースのプロパティを記述します。 Dorisでは、異なるデータソース（Hive、Iceberg、Paimon、PostgreSQLなど）を指す複数のdata catalogを作成できます。Dorisは、data catalogを通じて対応するデータソースからデータベース、テーブル、スキーマ、パーティション、およびデータの場所を自動的に取得します。ユーザーは標準のSQL文を使用してこれらのdata catalogにアクセスしてデータ分析を行い、複数のdata catalog間のデータで結合クエリを実行できます。 diff --git a/ja-source/docusaurus-plugin-content-docs/current/lakehouse/catalogs/hive-catalog.mdx b/ja-source/docusaurus-plugin-content-docs/current/lakehouse/catalogs/hive-catalog.mdx index 372b354fc4a65..dada012fb4e82 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/lakehouse/catalogs/hive-catalog.mdx +++ b/ja-source/docusaurus-plugin-content-docs/current/lakehouse/catalogs/hive-catalog.mdx @@ -5,6 +5,9 @@ "description": "Apache DorisのHive カタログはHive Metastoreおよび互換サービスに接続し、HDFSとオブジェクトストレージ全体でHive、Iceberg、Hudiテーブルをクエリおよび書き込みを行い、豊富な設定、型マッピング、クエリおよび書き込み操作をサポートします。" } --- + + + import Tabs from '@theme/Tabs'; import TabItem from '@theme/TabItem'; diff --git a/ja-source/docusaurus-plugin-content-docs/current/lakehouse/catalogs/iceberg-catalog.mdx b/ja-source/docusaurus-plugin-content-docs/current/lakehouse/catalogs/iceberg-catalog.mdx index 69911076ad4fa..66ac425da2820 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/lakehouse/catalogs/iceberg-catalog.mdx +++ b/ja-source/docusaurus-plugin-content-docs/current/lakehouse/catalogs/iceberg-catalog.mdx @@ -5,6 +5,10 @@ "description": "Apache Doris Iceberg カタログ: HMS、Glue、REST、またはJDBC経由でIcebergテーブルに接続。HDFS/クラウドストレージ上のデータをtime travel、スキーマ進化、DDL操作、およびテーブル最適化機能でクエリおよび書き込み。" } --- + + + + import Tabs from '@theme/Tabs'; import TabItem from '@theme/TabItem'; diff --git a/ja-source/docusaurus-plugin-content-docs/current/lakehouse/statistics.md b/ja-source/docusaurus-plugin-content-docs/current/lakehouse/statistics.md index 0de8da8c18bcc..c211a7a965110 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/lakehouse/statistics.md +++ b/ja-source/docusaurus-plugin-content-docs/current/lakehouse/statistics.md @@ -10,4 +10,4 @@ Dorisは、Hive、Iceberg、Paimonなどの外部データソースのテーブルに対して、自動または手動での統計情報収集をサポートしています。統計情報の精度は、コスト推定の精度を直接決定し、これは最適なクエリプランの選択において重要です。これにより、特に複雑なクエリシナリオにおいて、クエリ実行効率を大幅に向上させることができます。 -詳細については、「外表収集」セクションの[Statistics](../query-acceleration/optimization-technology-principle/statistics#外表収集)ドキュメントを参照してください。 +詳細については、「外表収集」セクションの[Statistics](../query-acceleration/optimization-technology-principle/statistics#統計情報)ドキュメントを参照してください。 diff --git a/ja-source/docusaurus-plugin-content-docs/current/observability/log.md b/ja-source/docusaurus-plugin-content-docs/current/observability/log.md index b6c889f7aab85..9961b799b5529 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/observability/log.md +++ b/ja-source/docusaurus-plugin-content-docs/current/observability/log.md @@ -126,7 +126,7 @@ BEの設定フィールドは`be/conf/be.conf`にあります。以下の表を - データパーティショニング： - - [range partitioning](../table-design/data-partitioning/manual-partitioning.md#range-partitioning) (`PARTITION BY RANGE(`ts`)`)と[dynamic partitions](../table-design/data-partitioning/dynamic-partitioning.md) (`"dynamic_partition.enable" = "true"`)を有効にし、日単位で自動管理します。 + - [range partitioning](../table-design/data-partitioning/manual-partitioning.md#パーティションカラム) (`PARTITION BY RANGE(`ts`)`)と[dynamic partitions](../table-design/data-partitioning/dynamic-partitioning.md) (`"dynamic_partition.enable" = "true"`)を有効にし、日単位で自動管理します。 - 最新のNログエントリの検索を高速化するため、DATETIME型のフィールドをソートキー（`DUPLICATE KEY(ts)`）として使用します。 diff --git a/ja-source/docusaurus-plugin-content-docs/current/query-acceleration/dictionary.md b/ja-source/docusaurus-plugin-content-docs/current/query-acceleration/dictionary.md index df4a1f1fcffb2..3c15e9c354558 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/query-acceleration/dictionary.md +++ b/ja-source/docusaurus-plugin-content-docs/current/query-acceleration/dictionary.md @@ -5,6 +5,8 @@ "description": "Dictionaryは、JOIN操作を高速化するためにDorisが提供する特別なデータ構造です。これは通常のテーブルを基盤として構築され、" } --- + + ## 概要 Dictionaryは、JOIN操作を高速化するためにDorisが提供する特別なデータ構造です。通常のテーブルをベースとして構築され、元のテーブルの対応する列をkey-valueの関係として扱い、これらの列のすべてのデータを事前にメモリにロードして高速な検索操作を実現し、クエリのパフォーマンスを向上させます。頻繁なkey-value検索が必要なシナリオに特に適しています。 @@ -172,7 +174,7 @@ PROPERTIES( |プロパティ名|値タイプ|意味|必須| |-|-|-|-| -|`date_lifetime`|整数、単位は秒|データの有効期間。この辞書の最後の更新からの経過時間がこの値を超え、ソーステーブルにデータ変更がある場合、自動的にインポートを開始します。インポートロジックの詳細は[Automatic Import](#automatic-import)を参照してください|はい| +|`date_lifetime`|整数、単位は秒|データの有効期間。この辞書の最後の更新からの経過時間がこの値を超え、ソーステーブルにデータ変更がある場合、自動的にインポートを開始します。インポートロジックの詳細は[Automatic Import](#概要)を参照してください|はい| |`skip_null_key`|Boolean|辞書にロードする際にKey列にnull値が含まれている場合、値が`true`の場合はその行をスキップし、そうでなければエラーを発生させます。デフォルト値は`false`です|いいえ| |`memory_limit`|整数、単位はバイト|単一BE上でこの辞書が占有するメモリの上限。デフォルト値は`2147483648`で、2GBに相当します。|いいえ| diff --git a/ja-source/docusaurus-plugin-content-docs/current/query-acceleration/materialized-view/async-materialized-view/faq.md b/ja-source/docusaurus-plugin-content-docs/current/query-acceleration/materialized-view/async-materialized-view/faq.md index 5d38409a92c37..2844d68a246e4 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/query-acceleration/materialized-view/async-materialized-view/faq.md +++ b/ja-source/docusaurus-plugin-content-docs/current/query-acceleration/materialized-view/async-materialized-view/faq.md @@ -5,6 +5,8 @@ "description": "Dorisは内部的にマテリアライズドビューとベーステーブル間のパーティション対応を計算し、ベーステーブルのバージョンを記録する" } --- + + ## ビルドとリフレッシュ ### Q1: Dorisはマテリアライズドビューのどのパーティションをリフレッシュする必要があるかをどのように判断しますか？ @@ -68,7 +70,7 @@ Unable to find a suitable base table for partitioning ``` このエラーは通常、マテリアライズドビューのSQL定義とパーティション分割フィールドの選択が増分パーティション更新を許可しないため、パーティション分割されたマテリアライズドビューの作成中にエラーが発生することを示しています。 -- 増分パーティション更新の場合、マテリアライズドビューのSQL定義とパーティション分割フィールドの選択は特定の要件を満たす必要があります。詳細については[Materialized View Refresh Modes](../../../sql-manual/sql-statements/table-and-view/async-materialized-view/CREATE-ASYNC-MATERIALIZED-VIEW#optional-parameters)を参照してください。 +- 増分パーティション更新の場合、マテリアライズドビューのSQL定義とパーティション分割フィールドの選択は特定の要件を満たす必要があります。詳細については[Materialized View Refresh Modes](../../../sql-manual/sql-statements/table-and-view/async-materialized-view/CREATE-ASYNC-MATERIALIZED-VIEW#説明)を参照してください。 - 最新のコードはパーティション構築失敗の理由を示すことができ、エラーの要約と説明は付録2に記載されています。 @@ -285,7 +287,7 @@ GROUP BY l_shipdate, l_orderkey, O_ORDERDATE; ``` ### Q2: Materialized Viewがヒットしない理由は何ですか？ -まず、materialized viewがヒットするかどうかを確認するには、以下のSQLを実行してください（詳細は[Queries and Transparent Rewriting - Q1](#q1-how-does-doris-determine-which-partitions-need-to-be-refreshed-for-a-materialized-view)を参照）： +まず、materialized viewがヒットするかどうかを確認するには、以下のSQLを実行してください（詳細は[Queries and Transparent Rewriting - Q1](#ビルドとリフレッシュ)を参照）： ```Plain explain @@ -299,7 +301,7 @@ your_query_sql; - 最初の2つのステップを確認した後でも、マテリアライズドビューがヒットしない場合は、SQLで定義されたマテリアライズドビューとクエリSQLが、マテリアライズドビューの現在の書き換え機能の範囲外である可能性があります。詳細については、[Materialized View Transparent Rewriting Capabilities](../../../query-acceleration/materialized-view/async-materialized-view/functions-and-demands#transparent-rewriting-capability)を参照してください。 -- ヒット失敗の詳細情報と説明については、[Appendix 1](#reference)を参照してください。 +- ヒット失敗の詳細情報と説明については、[Appendix 1](#ビルドとリフレッシュ)を参照してください。 以下は、マテリアライズドビューの透過的書き換えが失敗した例です： diff --git a/ja-source/docusaurus-plugin-content-docs/current/query-acceleration/materialized-view/async-materialized-view/functions-and-demands.md b/ja-source/docusaurus-plugin-content-docs/current/query-acceleration/materialized-view/async-materialized-view/functions-and-demands.md index e066dfa4a128c..3f49b9f69e916 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/query-acceleration/materialized-view/async-materialized-view/functions-and-demands.md +++ b/ja-source/docusaurus-plugin-content-docs/current/query-acceleration/materialized-view/async-materialized-view/functions-and-demands.md @@ -5,6 +5,9 @@ "description": "この文書は、マテリアライズドビューの作成、マテリアライズドビューの直接クエリ、クエリリライトについて詳細な情報を提供します、" } --- + + + この文書では、マテリアライズドビューの作成、マテリアライズドビューの直接クエリ、クエリリライト、および一般的なメンテナンス操作について詳細な情報を提供します。 ## マテリアライズドビューの作成 diff --git a/ja-source/docusaurus-plugin-content-docs/current/query-acceleration/materialized-view/async-materialized-view/use-guide.md b/ja-source/docusaurus-plugin-content-docs/current/query-acceleration/materialized-view/async-materialized-view/use-guide.md index 1541cce992aeb..e4c62b3dc0d5e 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/query-acceleration/materialized-view/async-materialized-view/use-guide.md +++ b/ja-source/docusaurus-plugin-content-docs/current/query-acceleration/materialized-view/async-materialized-view/use-guide.md @@ -36,7 +36,7 @@ - マテリアライズドビューで使用されるテーブルのうち、パーティションテーブル以外は頻繁に変更されない。 -- マテリアライズドビューの定義SQLとパーティションフィールドがパーティション派生の要件を満たす、すなわちパーティション増分更新の要件を満たす。詳細な要件は[CREATE-ASYNC-MATERIALIZED-VIEW](../../../sql-manual/sql-statements/table-and-view/async-materialized-view/CREATE-ASYNC-MATERIALIZED-VIEW#optional-parameters)で確認できます。 +- マテリアライズドビューの定義SQLとパーティションフィールドがパーティション派生の要件を満たす、すなわちパーティション増分更新の要件を満たす。詳細な要件は[CREATE-ASYNC-MATERIALIZED-VIEW](../../../sql-manual/sql-statements/table-and-view/async-materialized-view/CREATE-ASYNC-MATERIALIZED-VIEW#説明)で確認できます。 - マテリアライズドビューのパーティション数が多すぎない。パーティション数が多すぎると、パーティション化されたマテリアライズドビューの構築時間が過度に長くなります。 @@ -46,7 +46,7 @@ ## パーティション化されたマテリアライズドビューの一般的な使用法 -マテリアライズドビューのベーステーブルデータ量が大きく、ベーステーブルがパーティションテーブルである場合、マテリアライズドビューの定義SQLとパーティションフィールドがパーティション派生の要件を満たすなら、このシナリオはパーティション化されたマテリアライズドビューの構築に適しています。パーティション派生の詳細な要件については、[CREATE-ASYNC-MATERIALIZED-VIEW](../../../sql-manual/sql-statements/table-and-view/async-materialized-view/CREATE-ASYNC-MATERIALIZED-VIEW#optional-parameters)および[Async Materialized View FAQ Building Question 12](../../../query-acceleration/materialized-view/async-materialized-view/faq#q12-error-when-building-partitioned-materialized-view)を参照してください。 +マテリアライズドビューのベーステーブルデータ量が大きく、ベーステーブルがパーティションテーブルである場合、マテリアライズドビューの定義SQLとパーティションフィールドがパーティション派生の要件を満たすなら、このシナリオはパーティション化されたマテリアライズドビューの構築に適しています。パーティション派生の詳細な要件については、[CREATE-ASYNC-MATERIALIZED-VIEW](../../../sql-manual/sql-statements/table-and-view/async-materialized-view/CREATE-ASYNC-MATERIALIZED-VIEW#説明)および[Async Materialized View FAQ Building Question 12](../../../query-acceleration/materialized-view/async-materialized-view/faq#ビルドとリフレッシュ)を参照してください。 マテリアライズドビューのパーティションは、ベーステーブルのパーティションマッピングに従って作成され、一般的にベーステーブルのパーティションと1:1または1:nの関係を持ちます。 diff --git a/ja-source/docusaurus-plugin-content-docs/current/query-acceleration/optimization-technology-principle/statistics.md b/ja-source/docusaurus-plugin-content-docs/current/query-acceleration/optimization-technology-principle/statistics.md index 25114d3e0b98a..39b0990cbd2f3 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/query-acceleration/optimization-technology-principle/statistics.md +++ b/ja-source/docusaurus-plugin-content-docs/current/query-acceleration/optimization-technology-principle/statistics.md @@ -6,6 +6,8 @@ "sidebar_label": "Statistics" } --- + + # 統計情報 バージョン2.0から、DorisはオプティマイザにCost-Based Optimization（CBO）機能を統合しました。統計情報はCBOの基盤であり、その精度はコスト推定の精度を直接決定し、最適な実行プランの選択に重要です。本ドキュメントは、未リリース開発バージョンの統計情報使用ガイドとして、収集および管理方法、関連する設定オプション、よくある質問について説明します。 diff --git a/ja-source/docusaurus-plugin-content-docs/current/query-acceleration/query-cache.md b/ja-source/docusaurus-plugin-content-docs/current/query-acceleration/query-cache.md index 32bb7409fca67..74d6278ce0153 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/query-acceleration/query-cache.md +++ b/ja-source/docusaurus-plugin-content-docs/current/query-acceleration/query-cache.md @@ -3,6 +3,8 @@ "language": "ja" } --- + + # Query Cache ## はじめに @@ -41,7 +43,7 @@ Query Cacheは集約クエリ用に設計されています。具体的には、 2. **Tablet ID** — 現在のパイプラインインスタンスに割り当てられたタブレットIDのソート済みリスト。 -3. **Tablet Range** — パーティション述語から導出される各タブレットの有効スキャン範囲（[パーティションとフィルタの動作](#partition-and-filter-behavior)を参照）。 +3. **Tablet Range** — パーティション述語から導出される各タブレットの有効スキャン範囲（[パーティションとフィルタの動作](#query-cache)を参照）。 ### キャッシュ無効化 diff --git a/ja-source/docusaurus-plugin-content-docs/current/query-data/udf/python-user-defined-function.md b/ja-source/docusaurus-plugin-content-docs/current/query-data/udf/python-user-defined-function.md index f5d5a21f27866..8371905cf19fd 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/query-data/udf/python-user-defined-function.md +++ b/ja-source/docusaurus-plugin-content-docs/current/query-data/udf/python-user-defined-function.md @@ -5,6 +5,8 @@ "description": "Python UDFは、PythonでUDFを記述するためのインターフェースをユーザーに提供し、Python言語を使用したカスタム関数の実行を容易にします。DorisはPythonを使用したUDF、UDAF、UDTFの記述をサポートしています。特に指定がない限り、以下のテキストではUDFはすべてのユーザー定義関数を指すために使用されます。" } --- + + ## Python UDF Python UDF（User Defined Function）は、Apache Dorisが提供するカスタムスカラ関数拡張メカニズムで、ユーザーがデータのクエリと処理のためにPythonでカスタム関数を記述することを可能にします。Python UDFを通じて、ユーザーは複雑なビジネスロジックを柔軟に実装し、様々なデータ型を処理し、Pythonの豊富なライブラリエコシステムを最大限に活用できます。 @@ -14,7 +16,7 @@ Python UDFは2つの実行モードをサポートします： - **Vectorized Mode**：データをバッチで処理し、高性能コンピューティングのためにPandasを活用します :::tip Note -**環境依存関係**：Python UDFを使用する前に、すべてのBEノードのPython環境に**`pandas`**と**`pyarrow`**ライブラリを事前にインストールする必要があります。これらはDoris Python UDF機能の必須依存関係です。[Python UDF Environment 設定](python-user-defined-function#python-udfudafudtf-environment-configuration-and-multi-version-management)を参照してください。 +**環境依存関係**：Python UDFを使用する前に、すべてのBEノードのPython環境に**`pandas`**と**`pyarrow`**ライブラリを事前にインストールする必要があります。これらはDoris Python UDF機能の必須依存関係です。[Python UDF Environment 設定](python-user-defined-function#python-udf)を参照してください。 **ログパス**：Python UDF サーバーのランタイムログは`output/be/log/python_udf_output.log`にあります。ユーザーはこのログでPython サーバーの動作ステータス、関数実行情報、およびデバッグエラーを確認できます。 ::: @@ -918,7 +920,7 @@ Python UDAFのコア機能： - **高い柔軟性**: 組み込み集約関数に制限されることなく、任意に複雑な集約ロジックを実装可能 :::tip Note -**環境依存関係**: Python UDAFを使用する前に、すべてのBEノードのPython環境に**`pandas`**および**`pyarrow`**ライブラリを事前にインストールする必要があります。これらはDoris Python UDAF機能の必須依存関係です。[Python UDAF環境設定](python-user-defined-function#python-udfudafudtf-environment-configuration-and-multi-version-management)を参照してください。 +**環境依存関係**: Python UDAFを使用する前に、すべてのBEノードのPython環境に**`pandas`**および**`pyarrow`**ライブラリを事前にインストールする必要があります。これらはDoris Python UDAF機能の必須依存関係です。[Python UDAF環境設定](python-user-defined-function#python-udf)を参照してください。 **ログパス**: Python UDAF Serverの実行時ログは`output/be/log/python_udf_output.log`に配置されています。ユーザーはこのログでPython Serverの動作状況、集約関数の実行情報、およびエラーのデバッグを確認できます。 ::: @@ -1483,7 +1485,7 @@ ORDER BY sales_date; Python UDAFは、整数、浮動小数点数、文字列、日付/時刻、Decimal、真偽値などのすべての型を含め、Python UDFとまったく同じデータ型マッピング規則を使用します。 -**詳細なデータ型マッピング関係については、以下を参照してください**: [Data Type Mapping](python-user-defined-function#data-type-mapping) +**詳細なデータ型マッピング関係については、以下を参照してください**: [Data Type Mapping](python-user-defined-function#python-udf) #### NULL値の処理 @@ -1829,7 +1831,7 @@ Python UDTF のコア機能： - **関数型プログラミング**: Python 関数と `yield` ステートメントを使用し、簡潔で直感的です :::tip Note -**環境依存**: Python UDTF を使用する前に、すべての BE ノードの Python 環境に **`pandas`** および **`pyarrow`** ライブラリを事前にインストールする必要があります。これらは Doris Python UDTF 機能の必須依存関係です。[Python UDTF 環境設定](python-user-defined-function#python-udfudafudtf-environment-configuration-and-multi-version-management) を参照してください。 +**環境依存**: Python UDTF を使用する前に、すべての BE ノードの Python 環境に **`pandas`** および **`pyarrow`** ライブラリを事前にインストールする必要があります。これらは Doris Python UDTF 機能の必須依存関係です。[Python UDTF 環境設定](python-user-defined-function#python-udf) を参照してください。 **ログパス**: Python UDTF Server のランタイムログは `output/be/log/python_udf_output.log` にあります。ユーザーはこのログで Python Server の動作状況、集約関数の実行情報、およびエラーのデバッグを確認できます。 ::: @@ -2379,7 +2381,7 @@ CREATE TABLES FUNCTION py_split(STRING, STRING) ...; Python UDTFはPython UDFと全く同じデータ型マッピング規則を使用します。整数、浮動小数点、文字列、日付/時刻、Decimal、boolean、配列、STRUCTなどのすべての型を含みます。 -**詳細なデータ型マッピング関係については、以下を参照してください**：[データ型マッピング](python-user-defined-function#data-type-mapping) +**詳細なデータ型マッピング関係については、以下を参照してください**：[データ型マッピング](python-user-defined-function#python-udf) #### NULL値の処理 diff --git a/ja-source/docusaurus-plugin-content-docs/current/releasenotes/v2.1/release-2.1.4.md b/ja-source/docusaurus-plugin-content-docs/current/releasenotes/v2.1/release-2.1.4.md index d93394c74536d..f6fe2ae56e5b7 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/releasenotes/v2.1/release-2.1.4.md +++ b/ja-source/docusaurus-plugin-content-docs/current/releasenotes/v2.1/release-2.1.4.md @@ -41,7 +41,7 @@ - FE flame graphツールをサポート - 詳細については、[ドキュメント](/community/developer-guide/fe-profiler.md)を参照してください + 詳細については、ドキュメントを参照してください - `SELECT DISTINCT`を集約と併用できるようになりました。 @@ -73,7 +73,7 @@ - `show storage policy using`文をサポート。 - 詳細については、[ドキュメント](../../sql-manual/sql-statements/cluster-management/storage-management/SHOW-STORAGE-POLICY-USING)を参照してください。 + 詳細については、ドキュメントを参照してください。 - BE側でJVMメトリクスをサポート。 diff --git a/ja-source/docusaurus-plugin-content-docs/current/sql-manual/basic-element/sql-data-types/conversion/int-conversion.md b/ja-source/docusaurus-plugin-content-docs/current/sql-manual/basic-element/sql-data-types/conversion/int-conversion.md index 0245b1997460b..e3b287a63066e 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/sql-manual/basic-element/sql-data-types/conversion/int-conversion.md +++ b/ja-source/docusaurus-plugin-content-docs/current/sql-manual/basic-element/sql-data-types/conversion/int-conversion.md @@ -5,6 +5,8 @@ "description": "ソース型がnullableの場合、nullable型を返す；" } --- + + ## 文字列から ### Strictモード diff --git a/ja-source/docusaurus-plugin-content-docs/current/sql-manual/basic-element/sql-data-types/data-type-overview.md b/ja-source/docusaurus-plugin-content-docs/current/sql-manual/basic-element/sql-data-types/data-type-overview.md index 7e98cee4e7cca..c45058cc03659 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/sql-manual/basic-element/sql-data-types/data-type-overview.md +++ b/ja-source/docusaurus-plugin-content-docs/current/sql-manual/basic-element/sql-data-types/data-type-overview.md @@ -6,6 +6,8 @@ "sidebar_label": "概要" } --- + + # 概要 ## 数値型 diff --git a/ja-source/docusaurus-plugin-content-docs/current/sql-manual/sql-functions/scalar-functions/date-time-functions/add-time.md b/ja-source/docusaurus-plugin-content-docs/current/sql-manual/sql-functions/scalar-functions/date-time-functions/add-time.md index 8b16f55cc1eb9..ad9977a4e25bd 100644 --- a/ja-source/docusaurus-plugin-content-docs/current/sql-manual/sql-functions/scalar-functions/date-time-functions/add-time.md +++ b/ja-source/docusaurus-plugin-content-docs/current/sql-manual/sql-functions/scalar-functions/date-time-functions/add-time.md @@ -18,7 +18,7 @@ ADD_TIME(``, `