es + clickhouse 搭配
总结#
es适合做全文检索需求,ch适合做大数据分析需求,本需求使用ch建立es视图表兼容es的维表,将维表数据和事实表数据分开处理,使用时连表查询,充分利用了两种引擎的特性,既支持全文检索,也保证了查询性能
es & clickhouse#
clickhouse除了不能全文检索,其他方面完全超过es, 尤其是在事实表,这种日志类型不断增加的业务类型上,主要在查询性能,稳定性,磁盘使用率 上要比es优秀很多,
因为ch本身的一个列式存储,编码压缩,向量化执行等特性。而且ch支持sql语言。
我们这个业务实际没有导入ch,而是ch上建立了一个es的视图表,从ch层兼容了es。
账户维度数据使用es,便于这块数据的更新,因为ch在update原数据方面支持的不算很好,且es支持全文检索
消耗事实数据使用ch,这部分量非常大,每个account每分钟一行, 且是纯insert, 适合ch处理。
es的存储特性,让他在全文检索的时候不能替代。