当前位置：网站首页 > 热门文章 > 正文

Elasticsearch 存储设计与MySQL数据同步方案

bigegpt 2025-05-21 12:10 3 浏览

Elasticsearch 存储设计

Elasticsearch中index约等于MySQL的database，type约等于MySQL的table；

虽然Elasticsearch支持一个index多个type，但是官方并不推荐如此使用，而且多个type底层其实也是用一张大表进行存储的。

所以，Elasticsearch 中存储的数据用一个type来存储就可以了。使用nested类型保存一对多关系。

实现思路：数据库的相关表中增加是否需要同步的标识字段，例如现有的类型为 timestamp 的 update_time 字段，任何更新数据表内容的操作都会使该字段的时间发生变化；增加一个定时器程序，让该程序按一定的时间周期扫描指定的表，把该时间段内发生变化的数据提取到 Elasticsearch ；
优点：实现简单；没有侵入；没有硬编码；
缺点：时效性较差；对 MySQL Delete 操作无能为力；增大 MySQL 的压力；无法按字段同步，只能整行同步；对SQL单之类瞬时大批量更新处理繁琐；
优化做法：给标志字段添加索引，从从库进行读取；
推荐指数：一般

实现思路：读取 MySQL 的 Binlog 日志，获取指定表的日志信息；根据信息同步到 ES；
优点：没有侵入；没有硬编码；性能高；业务解耦；
缺点：实现相对复杂；
优化做法：配合MQ，使用生产者消费者模式提高同步性能；采用 MySQL 主-从-从模式；
推荐指数 : 推荐 : Java生态的常规做法 开源组件：阿里 canal
实现依赖 MySQL , 需要先开启 Binlog 写入功能，配置 binlog-format 为 ROW 模式授权 MySQL 连接账号，使其具有作为 MySQL slave 的权限

mysql授权