您好,这个问题我遇到过(0.14.13.1)。JDBC insert 批量提交方式只适用于Demo环境,不建议在生产环境中使用! 原因:Doris会把每次Insert记录当做一次tablet记录,很容易超出tablet限制,从而导致频繁Compaction等等 建议:使用Http Stream Load方式 或 参考最新版Doris 0.15 更新日志查看是否对JDBC Insert方式有改进
在 2021年12月23日 15:58,胡晨光<13866174...@126.com> 写道: 专家好: 感谢前面问题的即时回复,让我在存储选型上有些信心。现在我还没入门,不吝赐教。 目前在测试doris写入效率,只配了一个fe 和 一个 be 。在同一个服务器上 我用jdbc的PreparedStatement 批量写入数据,比如2w一批。然后进入mysql-client 查看表中的条数,发现增长缓慢。 不知道是我配置问题还是使用问题。 "replication_num" = "1" 在fe.log 出现大量的 错误 ,如下: 15:48:42.038 [pool-1-thread-5] WARN com.example.demo.DemoApplication - error : java.sql.BatchUpdateException: errCode = 2, detailMessage = close wait failed coz rpc error. NodeChannel[22036-11001], load_id=b68cc0041cbd4e50-a6b52d06b73d8f2f, txn_id=164897, node=11001:8060, add batch req success but status isn't ok, err: tablet writer write failed, tablet_id=22069, txn_id=164897, err=-235 还有 Caused by: java.sql.SQLException: errCode = 2, detailMessage = Failed to commit txn 139081. Tablet [22067] success replica num 0 is less than quorum replica num 1 while error backends 11001 -- Best Wishes Chenguang Hu tel: 0551-65391037 在 2021-12-23 12:14:40,"陈明雨" <morning...@163.com> 写道: >Doris currently not support binary type. If you want to save some object like image file, >you may need to convert it to base64 and save as a string(in utf8). > > > > > > > >-- > >此致!Best Regards >陈明雨 Mingyu Chen > >Email: >chenmin...@apache.org > > > > > >在 2021-12-22 11:09:41,"赵珩" <imzhaoh...@qq.com.INVALID> 写道: >>不是很清楚你在doris中存储二进制数据的用途, 是维度还是度量? >> >>如果是度量, 可以考虑的一种方法是使用base64编码后做为字符串存入 >> >>也许还有更好的方法 >> >>在 2021/12/22 10:56, 胡晨光 写道: >>> 是不是说,目前储存二进制数据只能转换成字符串,再存储? >>> >>> >>> ---- 回复的原邮件 ---- >>> | 发件人 | 胡晨光<13866174...@126.com> | >>> | 发送日期 | 2021年12月22日 10:26 | >>> | 收件人 | dev<dev@doris.apache.org> | >>> | 主题 | doris支持二进制数组存储吗? | >>> 专家,您好: >>> >>> doris支持二进制数组存储吗?我需要存储1K左右的二进制数据,用什么类型好呢? >>> >>> 感谢 >> >> >>--------------------------------------------------------------------- >>To unsubscribe, e-mail: dev-unsubscr...@doris.apache.org >>For additional commands, e-mail: dev-h...@doris.apache.org