morningman commented on issue #6806: URL: https://github.com/apache/incubator-doris/issues/6806#issuecomment-939496701
# Highlight ## 资源划分与隔离 现在用户可以通过资源标签的方式将一个 Doris 集群中的 BE 节点划分成多个资源组，从而可以进行在线、离线业务的统一管理和节点级别的资源隔离。 同时，还可以通过限制单个查询任务的 CPU、内存开销以及复杂度，来控制单个查询的资源开销，从而降低不同查询之间的资源抢占问题。 具体可参阅 [使用文档](http://doris.incubator.apache.org/master/zh-CN/administrator-guide/multi-tenant.html)。 #6159 #6203 #6443 ## 性能优化 新增 Runtime Filter（#6121） 及 Join Reorder（#6226） 功能。 Runtime Filter 功能通过使用join算子中右表的join key 列条件来过滤左表的数据，在大部分join场景下可以显著提升查询效率。 如在 Star Schema Benchmark(TPCH 的精简测试集) 下可以获得2-10倍的性能提升。 具体可参阅 [使用文档](http://doris.incubator.apache.org/master/zh-CN/administrator-guide/runtime-filter.html)。 Join Reorder 功能可以通过通过代价模型自动帮助调整SQL中join的顺序，以帮助获得最优的 join 效率。 可通过会还变量 `set enable_cost_based_join_reorder=true` 开启。 ## 新增功能 1. 支持直接对接 Canal Server 同步 MySQL binlog 数据。具体可参阅 [使用文档]()。(#6289) 2. 支持 String 列类型，长度范围 1-2GB（#6391） 3. 支持 List 分区功能，可以针对枚举值创建分区。（#5529） 4. 支持事务性 insert 语句功能。可以通过 begin; insert;,insert;,...; commit; 的方式批量导入数据（#6245） 5. 支持在 Unique Key 模型上的 update 语句功能。可以在 Unique Key 模型表上执行 update set where 语句（#6230） 6. 支持 SQL 阻塞名单功能。可以通过正则、hash值匹配等方式阻止部分 SQL 的执行（#6333） 7. 支持 LDAP 登陆验证（#6333） ## 扩展功能 1. 支持 Flink-Doris-Connector（#5375） 具体可参阅 [使用文档](http://doris.incubator.apache.org/master/zh-CN/extending-doris/flink-doris-connector.html) 2. 支持 DataX doriswriter 插件（#6107） 具体可参阅 [使用文档](http://doris.incubator.apache.org/master/zh-CN/extending-doris/datax.html) 3. Spark-Doris-Connector 支持数据写入Doris。（#6256） ## 功能优化 ### 查询 支持在SQL查询规划阶段，利用BE的函数计算能力计算所有常量表达式（#6233）。 ### 导入 1. 支持导入文本格式文件时，指定多字节行列分隔符或不可见分隔符（#5462 #5524） 2. 支持通过StreamLoad导入压缩格式文件（#5463） 3. Stream Load支持导入多行格式的json数据（5774） ### 导出 1. 支持Export导出功能指定where过滤条件。支持导出文件使用多字节行列分隔符。支持导出到本地文件（#5445） 2. Export 导出功能支持仅导出指定的列。（#5689） 3. 支持通过outfile语句导出结果集到本地磁盘，并支持导出后写入导出成功的标记文件（#5489） ### 易用性 1. 动态分区功能支持创建、保留指定的历史分区、支持自动冷热数据迁移设置。(#5703 #5877 #6554) 2. 支持在命令行使用可视化的树形结构展示查询、导入的计划和Profile。（#5475 #6214） 3. 支持记录并查看stream load操作日志。（#5452 #5488） 4. 通过Routine Load消费Kafka数据时，可以指定时间点进行消费。（#5832） 5. 支持通过 show create routine load 功能导出routine load 的创建语句。（#6110） 6. 支持通过 pause/resume all routine load命令一键启停所有routine load job。（#6394） 7. 支持通过 alter routine load 语句修改 routine load 的 broker list 和 topic（#6335） 8. 支持create table as select 功能。（#6102） 9. 支持通过alter table 命令修改列注释和表注释。（#6387） 10. show tablet status 增加表创建时间、数据更新时间（#6117） 11. 支持通过 show data skew 命令查看表的数据量分布，以排查数据倾斜问题。（#6219） 12. 支持通过 show/clean trash 命令查看BE文件回收站的磁盘占用情况并主动清除（#6247 #6323） 13. 支持通过show view语句展示一个表被哪些视图所引用。（#5813） ## 新增函数 1. bitmap_min，bit_length（#5581 #6140） 2. yearweek，week，makedate（#6000） 3. percentile 精确百分位函数（#6410） 4. json_array，json_object，json_quote（#6506） 5. 支持为AES_ENCRYPT和AES_DECRYPT函数创建自定义公钥。（6115） 6. 支持通过create alias function 创建函数别名来组合多个函数。（#6261） ## 其他 1. 支持访问SSL连接协议的ES外表(#5325) 2. 支持在动态分区属性中指定热点分区的数量，热点分区将存储在SSD磁盘中。(#5877) 3. 支持通过 Broker Load 导入json格式数据。（#5845） 4. 支持直接通过 libhdfs3 库访问 hdfs 进行数据的导入导出，而不需要 broker 进程。(#5686) 5. select into outfile 功能支持导出 parquet 文件格式，并支持并行导出（#5938 #6539） 6. ODBC外表支持SQLServer。（6223） -- This is an automated message from the Apache Git Service. To respond to the message, please log on to GitHub and use the URL above to go to the specific comment. To unsubscribe, e-mail: commits-unsubscr...@doris.apache.org For queries about this service, please contact Infrastructure at: us...@infra.apache.org --------------------------------------------------------------------- To unsubscribe, e-mail: commits-unsubscr...@doris.apache.org For additional commands, e-mail: commits-h...@doris.apache.org
