CanalX

docs: http://canalx.readthedocs.io/en/latest/

待发布状态, 敬请期待

基于 Canal 的数据感知服务框架. 可用于围绕数据库Mysql进行数据相关的各式业务开发, 并建立各式各样的服务平台。例如:

• 热点数据缓存KV服务
• 用户操作日志服务
• 数据变更通知服务
• 搜索服务

CanalX是一个框架, 采用injector->processor->router架构, 并采用插件式开发, 可扩展性极强. 目前(以及短期)的插件有:

• 数据导入功能(injector):
  • 支持 Canal->Kafka->CanalX 的数据导入方案。(已发布, 插件 canalx-injector-kafka)
  • 支持 Canal->CanalX 的数据导入方案。(pending, 插件 canalx-injector-canal)
• 数据处理功能(processor):
  • Data->kv/codis。将变更Data数据转化成 全内存的kv存储 或者 Codis(redis的某种实现)中间件存储。(已发布, 插件 canalx-processor-kv)
  • Data->History。将变更Data数据转化成History存储。(pending, 插件 canalx-processor-history)
  • Data->Notification。将变更Data数据转化成Notification存储。(pending, 插件 canalx-processor-notification)
  • Data->ElasticSearch。将变更Data数据转化成ElasticSearch搜索服务。(pending, 插件 canalx-processor-es)
• 数据发布功能(router):
  • web-rest发布。将processor中的数据以 web-rest 接口的方式。(已发布, 插件 canalx-router-rest)
    • 相配套的client: rest-client
  • dubbo发布。将processor中的数据以 dubbo-rpc 接口的方式(pending, 插件 canalx-router-dubbo)
  • kepler发布。将processor中的数据以 kepler-rpc 接口的方式(pending, 插件 canalx-router-kepler)

main dependency

• canalx-select-db-json - Fetch MYSQL's data to K-V style data. http://github.com/knightliao/canalx-select-db-json

推荐

• 有态度无广告的搜索引擎: https://www.sov5.com
• Python中国社区: http://www.python88.com
• Disconf - 分布式配置管理平台: http://github.com/knightliao/disconf
• CanalX - 基于 Canal 的数据感知服务框架: http://github.com/knightliao/canalX
• jutf - Java Unit Test Framework: https://github.com/knightliao/jutf
• pfrock - A plugin-based server for running fake HTTP services (especially SOA service): https://github.com/knightliao/pfrock
• pdbsync - configurable db sync tool using python: https://github.com/knightliao/pdbsync