1.1 base-search
技术:java, db,es
搜索系统
统一搜索入口,搜索nosql db、es、db的数据
1.2 base-common
技术:java, db, spring cloud
公共系统
属于公共系统抽离,提供基础公共服务
1.3 base-task
任务管理系统
场景1:数据分析的task管理
场景2:跑数据的task管理
场景3:定时task管理
1.4 base-canal
数据binlog采集
配置mysql binlog, 实时采集到kakfa队列,然后基于kafka队列做spark计算
1.5 base-spider
基础爬虫系统
提供基础爬虫服务:扩展为gold爬虫,store爬虫
1.6 base-dts
封装数据传输系统,基于数据进行互传,暴露接口服务给其他服务调用
基于dataX封装数据传输系统
1.7 base-alarm
基于grafana、promethus做一个运维告警系统
运维告警系统
1.8 base-apm
基于skywalking搭建分布式应用调用追踪系统,用于系统调优和排查调用错误
Skywalking 应用分布式监控系统
1.9 base-config
统一配置中心,从这里获取配置
apollo 配置中心
1.10 base-report
扩展为gold、store的报表系统
报表系统
1.11 架构图
1.12 集群 (集群维护)
2.1 个性化推荐系统 gold-recommender
2.2 日志收集系统 gold-logclient gold-logserver
2.3 人群画像系统 gold-profile
2.4 数据传输系统(删除)
2.5 实时计算系统
2.6 反作弊系统 gold-anti-fraud
2.7 多维度分析系统 gold-multianaly
2.8 商场系统 linjiashop
埋点:
前端埋点,后端起一个服务,实时消费kafka队列的消息,然后做流计算统计
前端调用埋点api到后端上报到kafka数据一致,前端调用失败 后端上报失败,失败重传 数据格式校验
android开发埋点:https://github.com/foolchen/AndroidTracker
3.1 智能营销推荐分析
3.2 消费者画像分析
3.3 店家信誉声量分析
3.4 topN商品分析
3.5 累计评论分析
3.6 宝贝详情分析
3.7 增量销售数据分析
3.8 活动效果分析
3.9 爬虫系统
3.10 店家Dashboard系统
4.1 发布平台
5、数据中台
5.1 数据目录服务
5.2 数据分析服务
5.3 数据消费者图谱
5.4 数据开放服务
5.5 数据供需对接
5.6 数据治理服务
5.7 数据存储
大数据存储
分布式数据库
内存数据库
文档数据库
并行数据仓库
关系型数据库
5.8 主题库服务
6 应用中台
6.1 应用开放服务
6.2 统一身份认证
6.3 统一消息推送
6.4 消息队列服务
6.5 表单引擎
6.6 统一支付服务
6.7 统一用户中心
6.8 微服务
6.9 云容器平台
包含服务管理(查看docker容器配置,添加容器实例,授权记录,操作记录,
历史版本回溯,k8s启停服务,操作记录,对比yaml配置,更新服务)
任务管理、配置管理、镜像构建(包括环境变量和参数配置)、应用日志
7 知识探索
7.1 应用服务
7.2 运营服务
7.3 流程编排
7.4 模版服务
7.5 图像服务
7.6 语义服务
7.7 语音服务
7.8 模型服务
7.9 算法管理
7.10 适配服务
8 安全管理
8.1 安全专家服务
8.2 数据脱敏
8.3 数据审计
8.4 安全接入
8.5 安全核查
8.6 应用安全
8.7 业务安全
8.8 日志审计
8.9 安全监测
9、客户数据中台
全面融合线下线上数据的客户数据中台
9.1 数据采集
客户触点: 全终端、全渠道、全类型
数据类型:线下/线上、业务数据、客户属性、三方数据
9.2 数据融合
超级ID融合
多数仓调度
自动化ETL
智能匹配
9.3 标签管理
基础标签
智能标签
自助标签
行为创建
ID上传
组合运算
9.4 客户洞察
客户群体画像
一方DMP
个体洞察
场景标签分析
人群管理
10 业务中台
核心优势
全渠道、全链路业务协同
从加工生产到销售订单,打造拉动式“柔性”供应链。在加工环节、采购流程、库存管理、物流运输、财务管控等各业务线形成数据通道。通过可视化、规范化的管理流程,全面提升企业效率。
AI人工智能辅助决策
借力AI、通过模型与算法,进行预测与模拟,辅助企业制定销售目标、明确营销方向、优化品类格局、改善仓储布局,提升企业价值。
多平台无缝连接
支持市场主流社交平台、第三方电商平台、物流平台、仓储平台、财务等系统的无缝对接,快速响应企业市场需求。
场景解释
客户痛点
√ 供应链弹性低、效率低、成本高。
√ 仓库周转慢、库存积压重。
√ 企业IT孤岛、协作慢、运营效率低。
√ 营销成本高、命中率底。
√ 业务探索和创新难,经营决策难。
解决方案
业务中台 + 数据中台
业务中台——支持多系统、多平台业务数据接入,打通各业务线壁垒、形成全方位、可视化业务中心,快速响应灵活多变的前端业务。
数据中台——沉淀业务数据、利用AI进行数据挖掘与分析,形成多层面、多角度的数据监控和分析,为业务的决策和自动化服务等企业需求提供科学依据。
实现价值
√ 打造柔性供应链,实现拉动式生产。
√ 打通信息壁垒,协同企业各部门高效运转。
√ 以顾客为中心,个性化精准营销。
√ 以数据为依托,辅助企业智能决策。
√ 协助企业快速响应并融入创新市场。
11 客户引擎中台
√ 依托于人工智能技术实现企业官网、官微、小程序、APP、微博等企业自有平台全渠道用户行为数据挖掘、归因分析、营销优化及消费者沟通和服务等一站式消费者运营管理服务
√ 基于人工智能的客户体验管理平台,从企业与消费者接触的全渠道行为轨迹中聆听反馈、挖掘价值、指引行动,帮助企业提升客户体验,提升品牌竞争力
√ 全端实时数据采集,实时感知数据的跳动,了解此刻用户的互动状况,360°实时掌握和分析个体用户的互动轨迹
√ 帮助企业构建基于用户真实行为的标签体系和画像洞察,通过营销自动化实现精准触达与高效互动,提升用户体验
技术交流:
微信交流群:https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/design/wechat_group/bdp_%E4%BA%A4%E6%B5%81%E7%BE%A4.jpg
个人微信:https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/wechat/%E5%BE%AE%E4%BF%A1.jpg