您好,这个问题我遇到过(0.14.13.1)。JDBC insert 批量提交方式只适用于Demo环境,不建议在生产环境中使用!
原因:Doris会把每次Insert记录当做一次tablet记录,很容易超出tablet限制,从而导致频繁Compaction等等
建议:使用Http Stream Load方式  或 参考最新版Doris 0.15 更新日志查看是否对JDBC Insert方式有改进

在 2021年12月23日 15:58,胡晨光<13866174...@126.com> 写道:


专家好: 感谢前面问题的即时回复,让我在存储选型上有些信心。现在我还没入门,不吝赐教。 目前在测试doris写入效率,只配了一个fe 和 一个 be 
。在同一个服务器上 我用jdbc的PreparedStatement 批量写入数据,比如2w一批。然后进入mysql-client 
查看表中的条数,发现增长缓慢。 不知道是我配置问题还是使用问题。 "replication_num" = "1" 在fe.log 出现大量的 错误 ,如下: 
15:48:42.038 [pool-1-thread-5] WARN com.example.demo.DemoApplication - error : 
java.sql.BatchUpdateException: errCode = 2, detailMessage = close wait failed 
coz rpc error. NodeChannel[22036-11001], 
load_id=b68cc0041cbd4e50-a6b52d06b73d8f2f, txn_id=164897, node=11001:8060, add 
batch req success but status isn't ok, err: tablet writer write failed, 
tablet_id=22069, txn_id=164897, err=-235 还有 Caused by: java.sql.SQLException: 
errCode = 2, detailMessage = Failed to commit txn 139081. Tablet [22067] 
success replica num 0 is less than quorum replica num 1 while error backends 
11001 -- Best Wishes Chenguang Hu tel: 0551-65391037 在 2021-12-23 
12:14:40,"陈明雨" <morning...@163.com> 写道: >Doris currently not support binary 
type. If you want to save some object like image file, >you may need to convert 
it to base64 and save as a string(in utf8). > > > > > > > >-- > >此致!Best 
Regards >陈明雨 Mingyu Chen > >Email: >chenmin...@apache.org > > > > > >在 
2021-12-22 11:09:41,"赵珩" <imzhaoh...@qq.com.INVALID> 写道: 
>>不是很清楚你在doris中存储二进制数据的用途, 是维度还是度量? >> >>如果是度量, 可以考虑的一种方法是使用base64编码后做为字符串存入 >> 
>>也许还有更好的方法 >> >>在 2021/12/22 10:56, 胡晨光 写道: >>> 是不是说,目前储存二进制数据只能转换成字符串,再存储? 
>>> >>> >>> ---- 回复的原邮件 ---- >>> | 发件人 | 胡晨光<13866174...@126.com> | >>> | 发送日期 
| 2021年12月22日 10:26 | >>> | 收件人 | dev<dev@doris.apache.org> | >>> | 主题 | 
doris支持二进制数组存储吗? | >>> 专家,您好: >>> >>> doris支持二进制数组存储吗?我需要存储1K左右的二进制数据,用什么类型好呢? 
>>> >>> 感谢 >> >> 
>>--------------------------------------------------------------------- >>To 
unsubscribe, e-mail: dev-unsubscr...@doris.apache.org >>For additional 
commands, e-mail: dev-h...@doris.apache.org

Reply via email to