报表设计学习

es + clickhouse 搭配

总结#

es适合做全文检索需求,ch适合做大数据分析需求,本需求使用ch建立es视图表兼容es的维表,将维表数据和事实表数据分开处理,使用时连表查询,充分利用了两种引擎的特性,既支持全文检索,也保证了查询性能

es & clickhouse#

clickhouse除了不能全文检索,其他方面完全超过es, 尤其是在事实表,这种日志类型不断增加的业务类型上,主要在查询性能,稳定性,磁盘使用率 上要比es优秀很多,

因为ch本身的一个列式存储,编码压缩,向量化执行等特性。而且ch支持sql语言。

我们这个业务实际没有导入ch,而是ch上建立了一个es的视图表,从ch层兼容了es。

账户维度数据使用es,便于这块数据的更新,因为ch在update原数据方面支持的不算很好,且es支持全文检索
消耗事实数据使用ch,这部分量非常大,每个account每分钟一行, 且是纯insert, 适合ch处理。

es的存储特性,让他在全文检索的时候不能替代。

# design
Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×