回复：doris建立es外表延迟问题

[莫正华(百岁)]

数据同步延时是由lucene的存储结构决定的，倒排索引存储文件不支持像数据库那样随机写，只能顺序append，所以只能顺序写完一块之后让它生效，生效之后查询才可见。
理论上来说只能近实时同步，不能像数据库那样准实时同步。当然你也可以客在户端提交一个更新之后接着提交一个commit操作，相当于一条记录一个文件块，但是性能上估计不可接受的。

百岁


------------------------------------------------------------------
发件人：Zhang,Linfeng <zhanglinf...@baidu.com>
发送时间：2021年2月20日(星期六) 22:32
收件人：dev@doris.apache.org <dev@doris.apache.org>
抄　送："Yang,Dan(R&D QED)" <yang...@baidu.com>
主　题：doris建立es外表延迟问题

       Hi，
>  背景：
通过doris建立es的外表，发现在插入数据到es中时，doris检索会存在毫秒级别的延迟

>  问题：
•  
想知道一下doris建立外表，外表中的数据是如何获取的？是从es同步过来的吗？如果是同步过来的，那么doris同步数据是并发的还是单线程的，会不会存在es并发太大的情况下，doris同步延迟越来越大？
•  这个和es中存储的数据量会有关系吗？数据量小的情况和数据量大的情况相差多少级别？
•  同步的延迟时间可以设置成实时吗？对性能影响有多大？
非常感谢🙏