#关键词:文档/API/DB, //SQL:Yearning-sql审计,Data Hub,uber/queryparser, //文档:zyplayer-doc统一文档,yapi,ArtiPub统一发布,JPress博客, //代码:xJavaFxTool, //代码生成:MoliCode,EasyCode,Guns,zheng,jeecg, //快速开发:Enhancer,APIJSON,spider-flow可视化爬虫, //图/可视化:Topology绘图-微服务图,Rainbond拓扑图/应用图,EDrawMax亿图绘图,PDMan,gods-pen码良-h5海报制作 //DevOps:Choerodon猪齿鱼,CODO(CloudOpenDevOps),运维脚本工具库 kjyw,OMS(Ansible支持),walle瓦力,企业运维管理系统 Aclsm, //中间件:Crawlab,SkyWalking,Apache DolphinScheduler,
TIMO首页、文档和下载 - 后台管理系统 - OSCHINA https://www.oschina.net/p/timo
spider-flow首页、文档和下载 - 爬虫平台 - OSCHINA https://www.oschina.net/p/spider-flow
spider-flow,新一代爬虫平台,以图形化方式定义爬虫流程,不写代码即可完成爬虫。
QUANTAXIS首页、文档和下载 - 量化金融策略框架 - OSCHINA https://www.oschina.net/p/quantaxis
从数据爬取-清洗存储-分析回测-可视化-交易复盘的本地一站式解决方案
Proxy-Go首页、文档和下载 - 高性能代理服务器 - OSCHINA https://www.oschina.net/p/proxy-go
Proxy 是 golang 实现的高性能 http、https、websocket、tcp、udp、socks5 代理服务器,支持正向代理、反向代理、透明代理、内网穿透、TCP/UDP 端口映射、SSH 中转、TLS 加密传输、协议转换、DNS 防污染智能代理、前置 CDN/Nginx 反代、代理连接重定向、API动态调用上级代理、限速限连接数。同时提供全平台的功能强大的命令行版本和友好易用的 web 控制面板版本。
MeEdu首页、文档和下载 - 基于 Laravel 开发的在线点播系统 - OSCHINA https://www.oschina.net/p/meedu
随着知识付费领域的兴起,尤其是知识付费领域的龙头“得到”的成功,知识付费领域俨然成为了新的风口。经过这几年的发展,知识付费领域的基础建设有了很大的进步,市场上面很多知识付费的平台可以在短短几分钟之内搭建一套属于自己的知识付费应用。但是,这并不是我想要的!可能是处于程序员的角度出发,我更在乎的是这套应用是我自己可以完全控制的!所以 MeEdu 诞生了。MeEdu 寄托了我对当前知识付费领域的期望。我相信未来的每位身负技能的人都可以通过 MeEdu 来构建自己的知识付费应用,通过 MeEdu 将自己的知识进行变现。
JPress首页、文档和下载 - 一个类似WordPress的产品 - OSCHINA https://www.oschina.net/p/jpress
Markdown Nice首页、文档和下载 - 在线微信Markdown排版工具 - OSCHINA https://www.oschina.net/p/markdown-nice
Markdown Nice ( mdnice )是一个支持自定义样式的在线微信Markdown排版工具
支持自定义样式的 Markdown 编辑器 支持微信公众号排版 支持知乎、稀土掘金、博客园和 CSDN 等一系列平台 内容和自定义样式浏览器中实时保存 支持上传图片、脚注、公式
gods-pen首页、文档和下载 - 开源免费的高扩展内部营销系统 - OSCHINA https://www.oschina.net/p/gods-pen
码良是一个在线生成h5页面并提供页面管理和页面编辑的平台,用于快速制作H5页面。用户无需掌握复杂的编程技术,通过简单拖拽、少量配置即可制作精美的页面,可用于营销场景下的页面制作。同时,也为开发者提供了完备的编程接入能力,通过脚本和组件的形式获得强大的组件行为和交互控制能力。
Guns首页、文档和下载 - 基于SpringBoot,更简洁的后台管理系统 - OSCHINA https://www.oschina.net/p/guns
Jeecg-Boot首页、文档和下载 - 基于代码生成器的 J2EE 开发平台 - OSCHINA https://www.oschina.net/p/jeecg-boot
frp首页、文档和下载 - 内网穿透工具 - OSCHINA https://www.oschina.net/p/frp
frp 的作用 利用处于内网或防火墙后的机器,对外网环境提供 http 或 https 服务。
对于 http 服务支持基于域名的虚拟主机,支持自定义域名绑定,使多个域名可以共用一个80端口。
利用处于内网或防火墙后的机器,对外网环境提供 tcp 服务,例如在家里通过 ssh 访问处于公司内网环境内的主机。
avue首页、文档和下载 - 后台集成解决方案 - OSCHINA https://www.oschina.net/p/avue
Avue.js是基于现有的element-ui库进行的二次封装,从而简化一些繁琐的操作,核心理念为数据驱动视图,主要的组件库针对table表格和form表单场景,同时衍生出更多企业常用的组件,达到高复用,容易维护和扩展的框架,同时内置了丰富了数据展示组件,让开发变得更加容易.
说说我为什么看好Spring Cloud Alibaba - 程序猿DD的个人空间 - OSCHINA https://my.oschina.net/didispace/blog/3029613
功能特性:
Spring Cloud Alibaba不是一个简单的组件,而是一个综合套件。其中涵盖了非常多的内容,包括:服务治理、配置管理、限流降级以及对阿里开源生态(Dubbo、RocketMQ等)支持的诸多组件。更多详细详细,读者可查阅其官方文档。
推荐一款让你纵横Github的读码神器 - 程序猿DD的个人空间 - OSCHINA https://my.oschina.net/didispace/blog/3058024
下面就隆重请出本期的重点推荐:Chrome插件Octotree。
TJ我将其定义为:优雅型。
先来看看效果,比如我们来看看它自己的源代码(该插件本身也是个开源项目,有兴趣的读者也可以直接查看哦:https://github.com/ovity/octotree):
alibaba / spring-cloud-alibaba:Spring Cloud Alibaba为阿里巴巴中间件的分布式解决方案提供了一个一站式的应用程序开发解决方案。 https://github.com/alibaba/spring-cloud-alibaba
使用Spring Cloud Alibaba,您只需要添加一些注释和少量配置即可将Spring Cloud应用程序连接到Alibaba的分布式解决方案,并使用Alibaba中间件构建分布式应用程序系统。
特征 流控制和服务降级:默认情况下,支持HTTP服务的流控制。您还可以使用注释来自定义流控制和服务降级规则。规则可以动态更改。 服务注册和发现:可以注册服务,客户可以使用Spring托管的bean(自动集成功能区)发现实例。 分布式配置:支持分布式系统中的外部配置,配置更改时自动刷新。 事件驱动:支持构建与共享消息系统连接的高度可扩展的事件驱动微服务。 分布式事务:支持高性能且易于使用的分布式事务解决方案。 阿里云对象存储:大规模,安全,低成本,高度可靠的云存储服务。支持随时随地在任何应用程序中存储和访问任何类型的数据。 阿里云SchedulerX:准确,高度可靠,高可用性的计划作业调度服务,响应时间在几秒钟内。 阿里云短信:阿里云短信服务覆盖全球,提供便捷,高效,智能的通信功能,帮助企业快速联系客户。
开源大阅兵:盘点那些走向世界的中国项目 - 程序猿DD的个人空间 - OSCHINA https://my.oschina.net/didispace/blog/3113282
SkyWalking 是一款应用性能监控(APM)工具,对微服务、云原生和容器化应用提供自动化、高性能的监控方案。项目于2015年创建,并于2017年12月进入 Apache 孵化器。经过一年半时间,该项目目前已成为 Apache 基金会顶级项目。
Spring Cloud 是 Spring 社区打造出的一款基于 Spring Boot 用于快速构建分布式系统的框架,是一套微服务规范,并不是一个拿来即可用的框架,而 Spring Cloud Alibaba 的开源为开发者们提供了这套规范的实现方式。同时,Spring Cloud Alibaba 提供的完整的微服务组件、中文文档和本地化的开源服务提高了开发者们接入微服务的速率,并降低了后续的运维难度。
经过一年多的孵化,Spring Cloud Alibaba 作为 Spring 社区的唯一一个国产开源项目,正式从 Spring Cloud Incubator 孵化器毕业,并发布了适配 Spring Cloud Edgware、Finchley、Greenwich 三个版本的新版本。
Spring Cloud Alibaba 是 Spring 社区第一个也是唯一一个国产开源项目。
官方网站:https://github.com/alibaba/spring-cloud-alibaba
Harbor 是由 VMware 公司中国团队为企业用户设计的 Registry server 开源项目,包括了权限管理(RBAC)、LDAP、审计、管理界面、自我注册、HA 等企业必需的功能,作为一个企业级私有 Registry 服务器,Harbor 提供了更好的性能和安全。提升用户使用 Registry 构建和运行环境传输镜像的效率。
Dragonfly 主要解决以 Kubernetes 为核心的分布式应用编排系统的镜像分发难题。随着企业数字化大潮的席卷,行业应用纷纷朝微服务架构演进,并通过云化平台优化业务管理。Dragonfly 从实际落地场景出发,前瞻性地解决了云原生镜像分发的三大难题:
分发效率:借助 P2P 与 CDN 技术,缩减镜像传输时间,提升分发效率,加速业务应用交付 ; 分发流控:借助智能分析技术,动态平衡分发负载与业务运行态,实现流量动态控制,保障业务稳定 无干扰运行 ; 分发安全:支持私有镜像仓库 HTTPS 协议,加密内容传输,确保信息安全。
这里仅列举了进入国际开源组织、已经不仅仅服务于国人的伟大项目。除此之外,还有非常多优秀的国产开源项目被频繁的应用于我们的日常工作中,帮助我们更高效的完成工作,比如:Arthas、Dubbo、Apollo、ECharts...等等。虽然这些并没有进入这些高大上的国际组织,但是它们的维护者与贡献者们,依然值得我们每一个同行尊重,尤其是国内开源的氛围并没有那么好的情况下。但是,相信在这么多优秀项目的带领下,越来越多的中国开源会登上国际舞台!
cookieY /年收入:最受欢迎的mysql sql审计平台 https://github.com/cookieY/Yearning
SQL查询 查询工单 导出 自动补全,智能提示 查询语句审计 SQL审核 流程化工单 SQL语句检测与执行 SQL回滚 历史审核记录
Yearning 介绍(SQL审核平台) - shhnwangjian - 博客园 https://www.cnblogs.com/shhnwangjian/p/8465657.html
Yearning SQL 审计平台 基于Vue.js与Django的整套mysql-sql审核平台解决方案。提供基于Inception的SQL检测及执行。
GitHub:https://github.com/cookieY/Yearning
ZUI - 开源HTML5跨屏框架 http://zui.sexy/
一个基于 Bootstrap 深度定制开源前端实践方案,帮助你快速构建现代跨屏应用。
zyplayer-doc:
定位为所有文档的管理项目,swagger文档、dubbo文档、wiki文档、grpc文档、数据库文档、elasticsearch文档
...等,提供一整套的解决方案,基础功能已比较完善,欢迎使用和加入开发 https://gitee.com/zyplayer/zyplayer-doc
zyplayer-doc 1.0.4 发布,统一的 DB 数据源管理和 SQL 执行器 - OSCHINA https://www.oschina.net/news/109761/zyplayer-doc-1-0-4-released
本次升级内容:
1、swagger文档
支持给文档地址重命名,下拉时方便查看
2、swagger文档去掉“文档地址管理”页管理,统一改为“详细地址管理”
3、数据库文档增加权限控制,分为:库表查看权,注释修改权,SQL执行权
4、数据库文档增加SQL执行器
,可直接执行SQL
4.1、支持库、表、字段的智能提示
4.2、支持SQL收藏和历史记录查看
4.3、支持多SQL执行,执行时长和影响条数展示,支持选中执行、快捷键执行等
5、数据库文档表信息增加表的状态信息展示
数据库文档虽然没有Navicat强大,但希望把我们使用的它的常用功能都集成进来,能够达到替换它的目的。
与Navicat比较的好处:
1、免费开源,不会出现偶尔的软件崩溃
2、所有数据源统一维护一套
,不用在每个人电脑上都保存一个连接,询问账号密码等
3、便捷的权限控制
4、更加直观的库表注释信息查看和修改
5、服务端存储SQL收藏和历史记录
,到哪都可以看到
zyplayer-doc首页、文档和下载 - 通用文档管理工具 - OSCHINA https://www.oschina.net/p/zyplayer-doc
zyplayer-doc首页、文档和下载 - 通用文档管理工具 - OSCHINA https://www.oschina.net/p/zyplayer-doc
定位为所有文档的管理项目,swagger文档、数据库文档....等,提供一整套的解决方案,欢迎有想法的一起来写
yapi: 可视化接口管理平台 https://gitee.com/suxiaoxin123/yapi
YApi 一些工具 mysql服务http工具,可配合做自动化测试 idea 一键上传接口到yapi插件 idea 接口上传调试插件 easy-yapi
xJavaFxTool: 基于JavaFx搭建的实用小工具集合,方便开发过程中的代码编写与调试,想学习javaFx的同学可以参考参考。其中包括文件复制、Cron表达式生成器、编码转换、加密解密、Time转换、路径转换、二维码生成工具、身份证生成器、正则表达式生成工具、网址缩短、转义字符、字符串转换、Mq调试工具、Http调试工具、json格式化编辑工具、图标生成工具、Redis连接工具、网页源码下载工具、切换Hosts工具、Ftp服务器、Cmd调试工具、Ftp/Ftps/Sftp客户端调试工具、Pdf转换工具、文件列表生成器、图片压缩工具、图片转码工具、Kafka调试工具、Email群发工具、颜色代码转换工具、短信群发工具、脚本引擎调试、文件重命名、Json转换、语音转换、Socket调试、图片解析、微信小程序反编译、Zookeeper操作、Excel拆分合并、文件夹监控、文件编码检测、传输、端口扫描、久坐提醒、随机数生成、剪贴板历史、文件搜索、mp3转换、印章生成、文件解压缩等工具 https://gitee.com/xwintop/xJavaFxTool
目前集成的小工具有: FileCopy:文件复制(支持自动调度拷贝功能)(使用quartz工具) CronExpBuilder:Cron表达式生成器 CharacterConverter:编码转换 EncryptAndDecrypt:加密解密(Ascii、Hex、Base64、Base32、URL、MD5、SHA、AES、DES、文件加密DM5、文件加密SHA1、摩斯密码、Druid加密)(使用commons-codec工具) TimeTool:Time转换(常用格式转换(含时区)、计算时间差、时间叠加计算) LinuxPathToWindowsPath:路径转换(使用oshi工具) QRCodeBuilder:二维码生成工具(自动生成、加入logo、截图识别、自定义格式)(使用google.zxing、jkeymaster等工具) IdCardGenerator:身份证生成器 RegexTester:正则表达式生成工具
前端开源、易扩展、方便集成的绘图工具(微服务架构图、网络拓扑图、流程图、活动图、思维导图等) - 掘金 https://juejin.im/post/5d6c88726fb9a06b0e54ab35
le5le-topology是一款开源、易扩展、方便集成的在线绘图(微服务架构图、网络拓扑图、流程图、活动图、时序图、类图、思维导图/脑图、动画等)的软件项目。
基于 typescript + canvas 实现的开源在线绘图的引擎 Topology。采用引擎 + 图形库中间件的思路能够方便、快速的扩展、集成到前端项目。
配合VS Code插件一起使用
在vs code插件列表里搜索:le5le topology
,或le5le-topology-plugin
使用场景
微服务架构图
运维时部署结构拓扑图
流程图
活动图
时序图
类图等
思维导图/脑图
类SCADA
一键发布前端git项目到线上(云服务器),快速展示、炫耀作品 - 掘金 https://juejin.im/post/5b22357b51882574d40a176f
和GitHub的docs发布有什么不同? GitHub的docs发布仅支持静态文件;我们不仅支持docs方式,还支持nodejs项目。只需要一个git地址,申请云资源、安装依赖库、编译、打包、运行、分配域名等整个过程全自动,快捷方便。
【前端新手也能做大项目】:跟我一起,从零打造一个属于自己的在线Visio项目实战【ReactJS + UmiJS + DvaJS】(三)-掘金 https://juejin.im/post/5ddf8d4ae51d4541c24658e6
本系列教程是用Vue.js + Nuxt.js + Element + Vuex + 开源js绘图库,打造一个属于自己的在线绘图软件,最终效果:http://topology.le5le.com。如果你觉得好,欢迎给文章和开源库点赞,让我们更多动力去做好!
乐吾乐 Topology - 开源免费绘图工具 http://topology.le5le.com/
Topology首页、文档和下载 - 可视化在线绘图引擎 - OSCHINA https://www.oschina.net/p/topology
Topology 是基于 typescript + canvas 实现的在线绘图的引擎。采用引擎 + 图形库中间件的思路能够方便、快速的扩展、集成到前端项目。
为什么重复造轮子
笔者工作中遇到比较多的微服务架构、云资源运维、部署与运维可视化
方面的需求
开源、满足自己需求的不多
typescript + 纯粹canvas架构的不多
以中间件方式可定制满足不同场景的不多
动画支持
音视频支持,满足安防、物联网(暂无3D效果)等实时监控需求
系列开发教程:https://juejin.im/user/58b1336c570c3500696559f8/posts
PDMan首页、文档和下载 - 数据库建模工具 - OSCHINA https://www.oschina.net/p/PDMan
PaddleHub首页、文档和下载 - 深度学习模型开发工具 - OSCHINA https://www.oschina.net/p/paddlehub
2、PaddleHub引入了模型即软件的概念,通过Python API或者命令行工具,一键完成预训练模型地预测。此外还借鉴了Anaconda和pip软件包管理的理念设计了一套命令行接口。
深度学习时代,模型发展的趋势会逐渐向软件工程靠拢;未来模型可以当作一个可执行程序,一键预测;也可以是第三方库,通过模型插拔的方式提高开发者的开发效率。
SmartCode首页、文档和下载 - 功能强大的代码生成器 - OSCHINA https://www.oschina.net/p/smartcode
SoJpt 官方网站 http://sojpt.com/
云模板自动代码生成工具-MoliCode介绍及教程 - 西瓜视频 https://www.ixigua.com/i6721698395569783304/
【代码生成器】MoliCode首页、文档和下载 - 多语言代码生成器 - OSCHINA https://www.oschina.net/p/molicode
作为一个Java开发人员,或者前端开发人员,我们常常需要生成重复的代码。如最常见的CRUD(增删改查)功能前后台的代码。这些都是模板化的,重复性的操作,没有任何的业务意义,非常的耗时。
在目前市面上,也有很多的代码生成工具,但是我经常发现现在的代码工具存在的问题:
和业务系统耦合在一起:如jeecg, 其生成的代码是和其基础工程有很强的代码耦合性,离开了其基础工程很难通用;
不提供模板市场:一般模板都是内置,没有一个可以共享的模板市场可以下载和共享自己的代码模板;
模板开发不友好:不太清楚其模板开发方式;
所以,MoliCode 云模板代码工具正是为了解决以上问题而应运而生,让我们一起来了解一下。
//
事实上,moliCode 的两个核心模块是:数据模型处理器 + 模板资源包。
- 数据模型处理器:主要用于对数据进行加工处理,如将 XML 文本解析为 tableModel, JSON 文本转换为 FastJson 对象。详细请参考:数据模型处理器
- 模板资源包:按一定规则组织配置文件和模板文件, 并推送存储在 git 仓库。使用时,只需要知道 git 地址并拉取相关资源,配置到相关路径即可。模板资源包
通过交互式界面,配置相关信息,然后选择相关模板即可一键化生产目标代码。
开发模板的原则 通用性:不要和自己的公司业务逻辑耦合太深,这样不方便别的公司开发人员使用;
共享性:代码模板在节省了自己的时间的同时,最好能共享出来,节省大家的时间,一起享受快速编码的快感;
充分说明:代码模板如何用,和哪个基础工程使用需要详细说明,减少别人使用的疑惑;
使用的EDrawMax,国产精品软件,你值得拥有~~
MoliCode介绍及使用视屏教程:https://www.ixigua.com/i6721698395569783304/ QQ群名称:molicode技术交流群 群号:753207541 欢迎加入沟通交流答疑群;
molicode生成工程代码实战: https://my.oschina.net/davidzhang/blog/3036548 使用molicode进行json数据处理 https://my.oschina.net/davidzhang/blog/3034658 使用molicode处理Java源代码 https://my.oschina.net/davidzhang/blog/3036589 使用molicode生成excel https://my.oschina.net/davidzhang/blog/3036540 生成mybatis相关代码,请参看:https://github.com/cn2oo8/molicode_template_awesome
释放你的双手,分分钟完成一个项目架构的搭建,提升工作效率;
亿图图示设计软件 - 亿图图示 https://www.edrawsoft.cn/edrawmax/
【代码生成器】EasyCode首页、文档和下载 - 基于 IntelliJ IDEA 开发的代码生成插件 - OSCHINA https://www.oschina.net/p/easycode
EasyCode是基于IntelliJ IDEA开发的代码生成插件,支持自定义任意模板(Java,html,js,xml)。只要是与数据库相关的代码都可以通过自定义模板来生成。支持数据库类型与java类型映射关系配置。支持同时生成生成多张表的代码。每张表有独立的配置信息。完全的个性化定义,规则由你设置。
SoloPi首页、文档和下载 - 无线化、非侵入式的 Android 自动化测试工具 - OSCHINA https://www.oschina.net/p/solopi
Soloπ是一个无线化、非侵入式的Android自动化测试工具,公测版拥有录制回放、性能测试、一机多控三项主要功能,能为测试开发人员节省宝贵时间。
AntV - G6首页、文档和下载 - 关系数据可视化框架 - OSCHINA https://www.oschina.net/p/antv-g6
领课教育首页、文档和下载 - 在线教育系统 - OSCHINA https://www.oschina.net/p/roncoo-education
领课教育系统(roncoo-education)是基于领课网络多年的在线教育平台开发和运营经验打造出来的产品,致力于打造一个全行业都适用的分布式在线教育系统。系统采用前后端分离模式,前台采用vue.js为核心框架,后台采用Spring Cloud为核心框架。系统目前主要功能有课程点播功能,支持多家视频云的接入,课程附件设置功能,支持多家云存储的接入,讲师管理功能,支持讲师入驻功能,可以帮助个人或者企业快速实现一个轻量级的在线教育平台。
Rainbond首页、文档和下载 - 企业应用云操作系统 - OSCHINA https://www.oschina.net/p/rainbond
工作随笔——pinpoint分布式性能监控工具(docker安装) - 爱自己 - 博客园 https://www.cnblogs.com/zz0412/p/9333296.html
Pinpoint是一款全链路分析工具,提供了无侵入式的调用链监控、方法执行详情查看、应用状态信息监控等功能。基于GoogleDapper论文进行的实现,与另一款开源的全链路分析工具Zipkin类似,但相比Zipkin提供了无侵入式、代码维度的监控等更多的特性。 Pinpoint支持的功能比较丰富,可以支持如下几种功能:
服务拓扑图:对整个系统中应用的调用关系进行了可视化的展示,单击某个服务节点,可以显示该节点的详细信息,比如当前节点状态、请求数量等 实时活跃线程图:监控应用内活跃线程的执行情况,对应用的线程执行性能可以有比较直观的了解 请求响应散点图:以时间维度进行请求计数和响应时间的展示,拖过拖动图表可以选择对应的请求查看执行的详细情况 请求调用栈查看:对分布式环境中每个请求提供了代码维度的可见性,可以在页面中查看请求针对到代码维度的执行详情,帮助查找请求的瓶颈和故障原因。 应用状态、机器状态检查:通过这个功能可以查看相关应用程序的其他的一些详细信息,比如CPU使用情况,内存状态、垃圾收集状态,TPS和JVM信息等参数。
KubeSphere首页、文档和下载 - 以应用为中心的容器管理平台 - OSCHINA https://www.oschina.net/p/kubesphere
KubeSphere 是在 Kubernetes 之上构建的以应用为中心的多租户容器管理平台,支持部署和运行在任何基础设施之上,提供简单易用的操作界面以及向导式操作方式,在降低用户使用容器调度平台学习成本的同时,极大减轻开发、测试、运维的日常工作的复杂度,旨在解决 Kubernetes 本身存在的存储、网络、安全和易用性等痛点。帮助企业轻松应对敏捷开发、自动化运维、应用快速交付、微服务治理、多租户管理、监控日志告警、服务与网络管理、镜像仓库等业务场景。
- Kubernetes 资源管理:纳管多种类型的 K8s 资源,提供易用友好的向导式 UI
- 应用编排与管理:包括一键部署应用、Helm Chart 可视化管理、应用生命周期管理,后续将支持计量计费
- 微服务治理:基于 Istio 提供可视化无代码侵入的灰度发布、熔断、流量管控、Tracing,兼容Spring Cloud & Dubbo
- 容器化 DevOps:提供可视化编辑 CI/CD 流水线,包括从开发测试到持续部署上线的全流程管理,提供 S2i
- 多租户管理:提供基于角色的细粒度多租户统一认证,支持对接企业 LDAP/AD,提供多层级的权限管理满足多组织架构的企业用户
- 日志查询与收集:提供基于多租户和多维度的日志查询,并支持快速对接多种日志收集平台
- 多维度监控:提供集群与应用级别多项监控指标,提供按节点、企业空间、项目等资源用量的排行
- 多租户告警系统:支持基于多租户、多维度的告警,提供丰富的监控告警指标,可自定义告警策略,支持邮件通知
- 基础设施管理:提供主机管理、存储类型管理、CPU 与内存等资源配额管理
- 支持多种网络方案:支持 Calico、Flannel,提供面向物理部署 Kubernetes 的 LB 插件 Porter 和云上负载均衡器插件
- 支持多种存储:支持 GlusterFS、CephRBD、NFS,支持 企业级分布式存储 NeonSAN 和 QingCloud 云平台块存储
- 支持 GPU 节点
Davinci: Davinci 是一个 DVAAS(Data Visualization as a Service)平台解决方案,面向业务人员/数据工程师/数据分析师/数据科学家,致力于提供一站式 https://gitee.com/mirrors/Davinci
围绕 View(数据视图)和 Widget(可视组件)两个核心概念设计
View是数据的结构化形态,一切逻辑/权限/服务等相关都是从View展开
。
Widget是数据的可视化形态,一切展示/交互/引导等都是从Widget展开
。
作为数据的两种不同形态,二者相辅相成,让用户拥有一致的体验和认识。
使用DevOps强化敏捷(上) https://mp.weixin.qq.com/s/-B3ZTZ6Yvy9yNw-qINTl4A
在许多方面,DevOps可以被视为敏捷的延伸,甚至是敏捷的自然演变。在瀑布开发流程中,有一个明确的交接(它是强制执行的过程)。敏捷作为一个持续的过程,需要一种新的方法,DevOps有助于实现这种方法。
正如Noah Cantor所说,“你可以做敏捷实践和DevOps实践,但你不能采用敏捷原则或DevOps原则,因为它们太相似而不能分开。”并不是说它们不可分割,只是敏捷作为DevOps的前身,同时激发了DevOps的影响力。
精益一直是DevOps的核心,就像敏捷是从精益中生长出来的一样。DevOps也是如此,所以这两者有很大的共同点并不奇怪。DevOps采用Agile中的概念,并将其扩展到代码部署之外。DevOps采用这些概念并将其应用于应用程序和服务的管理。它利用并优化了敏捷的原则,并且沿用了敏捷组织早已意识到的长处。
如何打造高效 DevOps 工具链? | 码云周刊第 82 期 – Gitee 官方博客 https://blog.gitee.com/2018/09/16/weekly-82/
1、项目名称:运维脚本工具库 kjyw 项目简介:项目基于 shell 开发,收集各类运维常用工具脚本,实现快速安装 nginx、mysql、php、redis、nagios、运维经常使用的脚本等。脚本化后,可以结合一些自动化工具,批量部署,比如可以用 ansible 来批量执行脚本,就可以批量部署服务器业务。 项目地址:https://gitee.com/aqztcom/kjyw
**2、项目名称:**运维发布系统 gopub
**项目简介:**gopub(基于 vue.js element 框架+ golang beego 框架开发)是一个基于运维场景设计的企业级运维发布系统。配置简单、功能完善、界面流畅、开箱即用!支持 git、jenkins 版本管理,支持各种 web 代码发布,一键完成 Golang,nodejs,PHP,Python,JAVA 等代码的发布、回滚操作。
我们运维团队前期使用 walle web 部署系统进行发布操作,在此也感谢 walle 团队贡献的优秀开源项目。walle 的 web 体验比较好,本次开源的 gopub 前台完全模仿 walle 前台,使用 vue.js element 框架重写。
gopub 已持续运行近两年时间,在我们预发布和生产环境完成37000+次稳定部署,支持单项目100+台服务器部署110秒左右,支持2G+CDN静态资源发布传输30秒完成。
项目地址:https://gitee.com/dev-ops/gopub
3、项目名称:企业运维管理系统 Aclsm
如何打造高效 DevOps 工具链? | 码云周刊第 82 期-Gitee 官方博客
项目简介:基于 ansible 开发的 ansible web 管理工具,集成了cmdb,和系统信息展示,跳板机功能功能。页面化 ansible 实现了文件推送,添加机器后自动添加 ssh key 认证等功能,cmdb 部分通过在 ansible 中添加的机器自动收集硬件信息入库。
项目地址:https://gitee.com/weihaoxuan/Aclsm
**4、项目名称:**运维管理系统 Paleluan FMS
**项目简介:**本系统是基于开源运维故障管理系统进行的二次开发,感谢该作者的开源精神。PFMS 是在此基础上增加了资产管理、应用管理、执行任务等模块功能。
项目地址:https://gitee.com/SmallMi/paleluan-fms
**8、项目名称:**基于 SaltStack 的运维平台
**项目简介:**OMS (Operations Management System)是一个基于SaltStack(Ansible支持)和 Django 开发的运维平台, 平台的主要功能包括:CMDB、包发布管理、工具系统、最终作为包发布和工具系统的角色与Jenkins、Zabbix 等系统进行整合。
- 完全开源,GPL授权
- Python编写,容易再次开发
- 实现了跳板机基本功能,认证、授权、审计
- 集成了Saltstack(Ansible),批量命令等
- 支持WebTerminal (暂未实现)
- Bootstrap编写,界面美观
- 自动收集硬件信息
项目地址:https://gitee.com/roguo/oms
aqztcom/kjyw - 码云 - 开源中国 https://gitee.com/aqztcom/kjyw?from=weekly-82
为什么要做快捷运维? 相信大家都知道,运维是一项非常重要且时效性要求很高的工作,项目和程序发布,升级,更新都少不了运维的操作, 因此运维也是个少不了加班的职业。我喜欢运维,但我也不希望经常加班太多, 于是我就思考如何能优化我的运维工作,提高效率,本来要几个小时的工作任务,能否在几分钟之内完成呢?
使用快捷运维脚本的好处
工作任务可以快速完成,提高效率,减少加班,这样就有更多的时间陪家人,或做其他事情啦!
可以和自动化工具结合,批量部署业务,如果有3-5台服务器,直接SSH远程编译安装,
如果几十台服务器,上百台服务器,上千台服务器都要安装某个应用呢?
可以用快捷运维脚本结合自动化工具(比如:ansible),批量推送执行脚本即可
。
知名CEO说过:“在这个纷繁复杂的世界上,决策比别人快,很可能就赢了”,做正确决策比别人快,你就赢了。
在部署运维需求的时候,部署效果一样的情况下,你比其他人部署快,你就比其他人更优秀。
- 有没有更好的方法,可以提高效率,快速完成呢?
- 如果用脚本部署,只需要1分钟搞定,主要是编译redis时间,大大提高效率,快捷,快捷,快捷啊!
- 第一步 编译redis
- curl -s https://git.oschina.net/aqztcom/kjyw/raw/master/redis/install.sh | sh
- 第二步 拷贝redis执行文件,修改配置文件,并启动
- curl -s https://git.oschina.net/aqztcom/kjyw/raw/master/redis/redis_port.sh | sh -s install 8001 8009
一起参与完善快捷运维脚本工具库,很多脚本都可以复用,或者改改就可以适用某业务需求,提高工作效率! 如果想分享或是交流的话,请加 QQ 群: 7652650 (安全运维)
运维就是踩坑,踩坑的最高境界就是:踩遍所有的坑,让别人无坑可踩! 做事的宗旨是:一条命令的事,一个脚本的事!
编程开发资料集锦链接:https://pan.baidu.com/s/1qa5LHWeZwkHvqqO19ALF1Q 提取码:370i
你收到后回复我:大牛,已收到!
[爱心]【说明】最近百度经常和谐链接!如果有的链接失效,可以把你的百度网盘ID发我,我直接通过网盘传给你![奋斗][奋斗]
请立即保存!!!
如何打造高效 DevOps 工具链? | 码云周刊第 82 期 – Gitee 官方博客 https://blog.gitee.com/2018/09/16/weekly-82/
如今随着需求的快速变化,且多条产品线并行存在,只有将固定且重复的流程自动化,用恰当的工具链路代替人工操作,才能减少等待,提升效率!
本期为大家精选了 码云 上优秀的 DevOps 开源项目,希望能够给大家带来一点帮助:)
walle 瓦力 - 部署系统 https://walle-web.io/
New Relic 很好的监控工具使用 - 简书 https://www.jianshu.com/p/01ceea1450fe
下载一个Java agent的zip包 然后解压安装到项目根目录
DevOps 在公司项目中的实践落地 - petercao - 博客园 https://www.cnblogs.com/bluestorm/p/9685811.html
落实DevOps的指导思想
首先我们还是要回到什么是DevOps,如果大家忘记了可以回到之前再温故一下,包括我总结的DevOps公式。
其实DevOps核心思想就是:“快速交付价值,灵活响应变化”
。其基本原则如下:
高效的协作和沟通;
自动化流程和工具;
快速敏捷的开发;
持续交付和部署;
不断学习和创新。
然而这些基本原则又是如何与项目研发息息相关的呢,也就是它们在我们的开发过程中的各个环节是如何体现的?请看下面一张来自《success with enterprise dev-ops - whitepaper》的介绍图:
技术栈 本节内容如果展开的话涉及太多,我将概略地为大家介绍下目前常见的一些开源DevOps技术工具,大家可以根据自己的需求选择使用,当然也可以使用像VSTS(Visual Studio Team Services)这样的集成团队环境。
其中有些内容在我的新书中有详细介绍,如代码仓库管理、虚拟机与容器化、持续集成&持续部署工具Jenkins、配置管理工具SaltStack。
敏捷管理工具 Trello Teambition Worktile Tower
产品&质量管理 confluence 禅道 Jira Bugzila 其中confluence和禅道主要是产品的需求、定义、依赖和推广等的全面管理工具;而Jira和Bugzilla是产品的质量管理和监控能力,包括测试用例、缺陷跟踪和质量监控等。目前我们使用Jira较多。
自动化测试 Appium Appium是一个移动端的自动化框架,可用于测试原生应用,移动网页应用和混合型应用,且是跨平台的。可用于IOS和Android以及firefox的操作系统。
Selenium Selenium 测试直接在浏览器中运行,就像真实用户所做的一样。Selenium 测试可以在 Windows、Linux 和 Macintosh上的 Internet Explorer、Mozilla 和 Firefox 中运行。
Mock测试 Mock测试就是在测试过程中,对于某些不容易构造或者不容易获取的对象,用一个虚拟的对象来创建以便测试的测试方法。这个虚拟的对象就是Mock对象,Mock对象就是真实对象在调试期间的代替品。Java中的Mock框架常用的有EasyMock和Mockito等。
消费者驱动契约测试 契约测试是一种针对外部服务的接口进行的测试,它能够验证服务是否满足消费方期待的契约。当一些消费方通过接口使用某个组件的提供的行为时,它们之间就产生了契约。这个契约包含了对输入和输出的数据结构的期望,性能以及并发性。而PACT是目前比较流的消费者驱动契约测试框架。
自动化运维工具 Ansible Puppet Chef
监控管理工具
Zabbix
Zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级开源解决方案。
ELK Stack日志分析系统 ELK Stack是开源日志处理平台解决方案,背后的商业公司是Elastic。它由日志采集解析工具 Logstash、基于 Lucene 的全文搜索引擎 Elasticsearch、分析可视化平台 Kibana三部分组成。
云监控(如Amazon CloudWatch) Amazon CloudWatch 是一项针对 AWS 云资源和在 AWS 上运行的应用程序进行监控的服务。您可以使用 Amazon CloudWatch 收集和跟踪各项指标、收集和监控日志文件、设置警报以及自动应对 AWS 资源的更改
CODO(CloudOpenDevOps)首页、文档和下载 - 一站式DevOps、自动化运维、完全开源的云管理平台、自动化运维平台 - OSCHINA https://www.oschina.net/p/opendevops
CODO是一款为用户提供企业多混合云、自动化运维、完全开源的云管理平台。
CODO前端基于Vue iview开发、为用户提供友好的操作界面,增强用户体验。
CODO后端基于Python Tornado开发,其优势为轻量、简洁清晰、异步非阻塞。
CODO开源多云管理平台将为用户提供多功能:ITSM、基于RBAC权限系统、Web Terminnal登陆日志审计、录像回放、强大的作业调度系统、CMDB、监控报警系统、DNS管理、配置中心等
开始使用 注意:由于是微服务部署比较复杂,我们目前只支持分布式一步步部署,depoly.sh暂不更新,后续会提供其余快速部署方式,请知悉。
模块链接
CODO 项目我们是使用模块化、微服务化,以下为各个模块地址,同时也欢迎业界感兴趣各位大佬前来贡献
- 项目前端:codo
- 管理后端:codo-admin
- 定时任务:codo-cron
- 任务调度:codo-task
- 资产管理:codo-cmdb
- 配置中心:codo-kerrigan
- 运维工具:codo-tools
- 域名管理:codo-dns
推荐理由 团队出品: github上有很多开源的devops工具,几乎全部都由个人发布维护,代码质量、版本进度以及可持续性都无法保障,陷入不能用或不敢用的尴尬境地,CoDo非个人项目,由一个团队负责开发维护,有幸我也是团队中一员,参与贡献了部分代码,所以在稳定性和持续性方面更有保证 生产实践: CoDo核心代码贡献者全部来自于一线运维团队,团队成员从运维需求出发,致力于解决运维痛点,更了解运维的需求,且核心代码经过了多年生产实践,并非实验产品
,运行稳定 功能齐全: CoDo采用微服务的理念构建,模块化开发
,目前已有资产管理、定时任务、任务调度、配置中心、域名管理、运维工具几大模块
,支持持续集成、持续部署、代码审查、数据库审核与优化建议
等众多功能,覆盖大部分的运维场景,让你不再费心劳神在多个系统间奔波,一个平台全搞定
完善支持: CoDo除了提供专业的文档支持外,还同时开始录制一些基础的部署使用视频帮助初学者快速上手,如果你觉得这些还不够,我们也提供QQ或微信远程支持,助你顺利部署使用 开源免费: 这是一个开源项目,所有功能均可免费使用。
常相守 (canzii) - 码云 Gitee.com https://gitee.com/canzii
CloudTalk首页、文档和下载 - 专注于企业云布署的即时通讯系统 - OSCHINA https://www.oschina.net/p/cloudtalk
CloudTalk 是专注于企业云布署的即时通讯系统,基于teamtalk开源项目二次开发,采用 t-io 内核做为 websocket 服务端核心技术模块,群集布置效果优化,业务模块与底层分离,能快速与自已现有系统对接。
支持音、视频通话,支持 andoird ios mac windows h5/小程序 HttpApi,是全网唯一支持全平台布署的互联网即时通讯系统。服务端使用 C++ 开发,业务模块用 SpringBoot 构建,CloudTalk 旨在打造一个完整的即时通讯生态圈。
cloudtalk: 【全开源】专注于 企业云布署(SaaS) 的即时通讯IM系统,基于teamtalk 开源项目二次开发,群集布置效果优化,业务模块与底层分离,能快速与自已现有系统对接,可用于企业OA,内部办公IM,App聊天沟通等业务场景。支持音,视频通话 支持 andoird ios mac windows h5/小程序 HttpApi 是全网唯一支持全平台布署的互联网即时通讯系统。 https://gitee.com/pwsns/cloudtalk
官方技术交流QQ群(先star,后打赏任意金额加群):6445609 (请先star后,打赏任意金额(防止广告与恶意加群),加群邀请时提供码账号,否则不给通过。)
欢迎打赏,为后续开发注入动力!! cloudtalk3.0即将发布,请关注 开发者支持论坛
常相守11天前 把蘑菇街的源码发扬光大。 看介绍 是一个非常好的系统,TT 本身已经不再更新,在TT 基础上实现更多的功能,是对TT 的一种延续
芬兰对全球开放免费在线AI课程 - 知乎 https://zhuanlan.zhihu.com/p/99638646
2018年,芬兰启动了一个免费的在线速成班,课程涵盖了人工智能主题。这是北欧国家向其国民科普人工智能的方式。现在,芬兰人正在向全世界所有感兴趣的人开放该课程。该课程已在芬兰被很多人关注,目前有55000多名学员。与其他一些传授人工智能基础知识的网站相比,芬兰语版本由于其引人注目的设计似乎也让人值得一试。
自己组装一台深度学习计算机 - 简书 https://www.jianshu.com/p/24271214edee
在与 Microsoft Azure GPU VM 奋斗了几年之后,听说亚马逊的 AWS 并没有更好的表现,我觉得应该拥有自己的本地深度学习机器了。
一个主要的原因是云虚拟主机没有显示,所以你无法进行任何可视化操作。这没什么大不了的,只要你在那里训练然后在本地计算机上运行模型就行了,但是如果你需要处理基于仿真的机器人项目,那么这些项目根本不会在虚拟环境中运行。
后来我发现,组装一台几乎最先进的计算机在大约 4 个月内即可收回成本,而且它比云服务器快得多(主要是本地数据传输速度快,因为所有东西都在一个盒子里的同一个总线上),云服务则可能会把计算单元和存储放在不同的机架中——因此,即使 GPU 速度更快,它也无法足够快地获取数据。
我的系统最终花费不到 3千美元(从 AWS 或 Azure 购买入门级云 GPU ,大约是 800 美元/月)。我组装时是在 2019 年 5 月,价格与现在相差很大,现在可以将价格降低 10%。另外在你阅读本文时,该技术可能已经得到了发展。你可能会问,为什么要自己动手组装计算机而不是购买预装的计算机。这是因为现成的深度学习系统非常昂贵。 LambdaLabs 的起价超过 6,000 美元。其他的甚至会更多。这使从头开始组装计算机并匹配正确的组件看上去似乎很难。
Pelican Static Site Generator, Powered by Python https://blog.getpelican.com/
鹈鹕静态站点生成器,由Python提供支持 Pelican是静态站点生成器,不需要数据库或服务器端逻辑。
python自动化测试人工智能 https://china-testing.github.io/ Proudly powered by Pelican, which takes great advantage of Python.
crawlab-team/crawlab: Distributed web crawler admin platform for spiders management regardless of languages and frameworks. https://github.com/crawlab-team/crawlab
用于蜘蛛管理的分布式Web爬网程序管理平台,与语言和框架无关。 http://crawlab.cn/demo
【22】2019年度最受欢迎中国开源软件评选 - 开源中国社区 https://www.oschina.net/project/top_cn_2019?from=groupmessage
小面包首页、文档和下载 - 开源聊天AI - OSCHINA https://www.oschina.net/p/breadbot
小面包(Breadbot)是一款实验性的新式框架,用于在本地构建高效且实用的聊天机器人服务。
同时开放源码和海量语料资源 本地化构建,没有API,没有任何收费 Wiki 式语料组织,更易阅读和编写
VN.PY首页、文档和下载 - 基于 Python 的开源量化交易平台开发框架 - OSCHINA https://www.oschina.net/p/vn-py
vn.py 项目起源于国内私募的自主交易系统,2015 年初启动时只是单纯的交易 API 接口的 Python 封装。随着业内关注度的上升和社区不断的贡献,目前已经一步步成长为一套全面的交易程序开发框架,用户群体也日渐多样化,包括私募基金、证券自营和资管、期货资管和子公司、高校研究机构、个人投资者等。
TKey首页、文档和下载 - 单点登录系统 - OSCHINA https://www.oschina.net/p/tkey
初衷: 做国内各种登录场景的配件,以完善的学习资料为主核心竞争力 纯粹的 HTTP,任意设备、任意场景 跨域无状态,随意横向扩展,服务高可用 Spring Boot 2.1.x 技术栈,没有封装,有一点点基础即刻魔改(MIT License) 从开发、测试、部署、监控、前后端分离的材料都已具备 最后:没有哪个框架、系统可以套用在任意用户、任意场景、任意需求上,希望对你有思路帮助
Nacos首页、文档和下载 - 动态服务发现、配置和服务管理平台 - OSCHINA https://www.oschina.net/p/nacos
Nacos 致力于帮助您发现、配置和管理微服务。Nacos 提供了一组简单易用的特性集,帮助您实现动态服务发现、服务配置管理、服务及流量管理。
Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。 Nacos 是构建以“服务”为中心的现代应用架构(例如微服务范式、云原生范式)的服务基础设施。
阿里巴巴/ nacos:一个易于使用的动态服务发现,配置和服务管理平台,用于构建云原生应用程序。 https://github.com/alibaba/nacos
Mars-java首页、文档和下载 - 面向声明式 API 编程(DAP)框架 - OSCHINA https://www.oschina.net/p/Mars-java
Mars-java是一个声明式API编程(DAP) 框架
项目功能:
10秒钟就可以建立一个后端服务
我们甚至没有Controller的概念
分布式锁,只需要一行注解
本机测试,响应时间最低可达9毫秒,吐吞量最高可达1200
这套新玩法就叫声明式API
1.写业务逻辑
2.声明一个API给前端
3.将API与业务逻辑关联
@MarsBean("testService")
public class TestServiceImpl implements TestService{
要返回的数据类型 selectList(TestVO testVO){
// 编写业务逻辑
return 数据(直接返回即可,会自动变成json);
}
}
这套思想的核心是,把后端看作是一个独立个体,并不是为服务前端而存在的, 后端就写后端的业务逻辑好了,如果前端需要数据,那我们就开个门给他
单表操作和固定sql操作,仅需一行注解 分页仅需调用一个方法,没有任何第三方依赖 分布式锁只需要一行注解 没有像Mybatis一样的sqlMapper.xml 支持AOP,IOC,声明式事务
现在前后端分离,view的作用越来越小,同样,controller的作用越来越弱,往往也就是service的数据透传,支持楼主。
Crawlab首页、文档和下载 - 分布式爬虫管理平台 - OSCHINA https://www.oschina.net/p/crawlab
easyopen首页、文档和下载 - 接口开放平台 - OSCHINA https://www.oschina.net/p/easyopen
一个简单易用的接口开放平台,平台封装了常用的参数校验、结果返回等功能,开发者只需实现业务代码即可。
easyopen的功能类似于淘宝开放平台,它的所有接口只提供一个url,通过参数来区分不同业务。这样做的好处是接口url管理方便了,平台管理者只需维护好接口参数即可。由于参数的数量是可知的,这样可以在很大程度上进行封装。封装完后平台开发者只需要写业务代码,其它功能可以通过配置来完成。
HQChart首页、文档和下载 - 股市行情图形库 - OSCHINA https://www.oschina.net/p/hqchart
内置的是测试数据, 来自互联网抓取的。 你可以自己对接你的自己的数据。 git上有教程
APIJSON首页、文档和下载 - 自动化接口和文档 ORM 库 - OSCHINA https://www.oschina.net/p/api-json
Apache SkyWalking首页、文档和下载 - Java 分布式应用追踪系统 - OSCHINA https://www.oschina.net/p/skywalking
Apache DolphinScheduler首页、文档和下载 - 分布式工作流任务调度系统 - OSCHINA https://www.oschina.net/p/dolphinscheduler
Apache DolphinScheduler(Incubator,原Easy Scheduler)是一个分布式数据工作流任务调度系统,主要解决数据研发ETL错综复杂的依赖关系,而不能直观监控任务健康状态等问题。Easy Scheduler以DAG流式的方式将Task组装起来,可实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及Kill任务等操作。
SQLFlow首页、文档和下载 - 赋予 SQL AI 能力 - OSCHINA https://www.oschina.net/p/sqlflow
SQLFlow 将 SQL 与 AI 结合在一起,扩展了 SQL 语言,使其支持模型训练、预测和推理。它可以连接 MySQL、Hive、SparkSQL 与 SQL Server 等 SQL 引擎,并带有 TensorFlow 和其它机器学习工具包。
Radar首页、文档和下载 - 轻量级实时风控引擎 - OSCHINA https://www.oschina.net/p/radar
一款基于java语言,使用Springboot + Mongodb + Groovy 等框架搭建的轻量级实时风控引擎,适用于反欺诈应用场景,极简的配置,开箱即用。 通过本项目能快速了解风险的定义,进而量化风险 ,最后达到集中管理风险的目的。
我们知道企业做大后,会有很多产品线,而几乎每一个产品都需要做风险控制,通常我们都是把风险控制的逻辑写在相应的业务功能代码里, 大量重复的风控逻辑代码耦合在我们的业务逻辑里面,随着时间的累积,代码会变得异常复杂,会给后期的维护造成巨大的人力成本和风险。
所以风险的集中化管理势在必行,只有通过一个统一的管理平台,使用规则引擎,采用可视化配置的形式, 平台化管理不同产品的风控策略才是一种更好的方式, 而这正是Radar的初衷。
规则引擎用的是drools吗 使用groovy 自定义生成的规则
你好,代码块里面的“规则提取”、“规则校验”是通过哪种方式实现的? 你好,你说的是特征提取吧? 特征提取是通过mongodb 计算的,, 规则校验是通过 groovy 脚本实现的
Radar 的初衷是快速帮助大家了解风险的定义,进而量化风险 ,最后达到集中管理风险的目的, 其实项目本身都不是最重要的。
没有SQL, 数据计算和存储用的mongodb, 看架构图, 风控引擎本身不直接连产品数据库,减少耦合的情况,这样才能更通用,不受行业限制。
使用groovy 自定义生成的规则 #Radar#
cas-bigdatalab / piflow:πflow是具有火花支持的大数据流引擎 https://github.com/cas-bigdatalab/piflow
【】PiFlow首页、文档和下载 - 大数据流水线系统 - OSCHINA https://www.oschina.net/p/piflow
PiFlow 是一个基于分布式计算框架Spark开发的大数据流水线系统。该系统将数据的采集、清洗、计算、存储等各个环节封装成组件,以所见即所得方式进行流水线配置。简单易用,功能强大。它具有如下特性:
简单易用:可视化配置流水线,实时监控流水线运行状态,查看日志 功能强大:提供100+的数据处理组件, 包括Hadoop 、Spark、MLlib、Hive、Solr、Redis、MemCache、ElasticSearch、JDBC、MongoDB、HTTP、FTP、XML、CSV、JSON等,同时集成了微生物领域的相关算法。 扩展性强:支持自定义开发数据处理组件 性能优越:基于分布式计算引擎Spark开发
【PiFlow】朱小杰 - 码云封面人物 https://gitee.com/gitee-stars/19?utm_source=osc_widget
PiFlow 的团队规模和构成是怎样的?男女比例如何? PiFlow 团队由产品经理、架构师、后端核心开发人员、前端核心开发人员组成。最多的时候有 1 个产品经理、1 个架构师、2 个前端,3 个后端人员在投入。其中博士 2 名,硕士 3 名,和本科生 3 名。人员男女比在3:1。
2019年度最受欢迎中国开源软件评选 - 开源中国社区 https://www.oschina.net/project/top_cn_2019?from=groupmessage
uni-app首页、文档和下载 - 基于 Vue.js 的跨平台框架 - OSCHINA https://www.oschina.net/p/uni-app
uni-app 是一个使用 Vue.js 开发跨平台应用的前端框架。
开发者通过编写 Vue.js 代码,uni-app 将其编译到 iOS、Android、微信小程序、H5等多个平台,保证其正确运行并达到优秀体验。
chillzhuang/blade-tool: SpringBlade 2.0 架构核心工具包,SpringBlade 是一个由商业级项目升级优化而来的SpringCloud分布式微服务架构、SpringBoot单体式微服务架构并存的综合型项目,采用Java8 API重构了业务代码,完全遵循阿里巴巴编码规范。采用Spring Boot 2 、Spring Cloud Hoxton 、Mybatis 等核心技术,同时提供基于React和Vue的两个前端框架用于快速搭建企业级的SaaS多租户微服务平台。 官网:https://bladex.vip https://github.com/chillzhuang/blade-tool
ShopXO首页、文档和下载 - 免费开源B2C商城系统 - OSCHINA https://www.oschina.net/p/shopxo
ShopXO 企业级B2C免费开源电商系统! 求实进取、创新专注、自主研发、国内领先企业级B2C电商系统解决方案。 遵循Apache2开源协议发布,无需授权、可商用、可二次开发、满足99%的电商运营需求。 PC+H5、支付宝小程序、微信小程序、百度小程序、头条&抖音小程序、QQ小程序。
X-Boot首页、文档和下载 - 前后端分离开发平台 - OSCHINA https://www.oschina.net/p/x-boot
操作日志记录方式任意切换Mysql或Elasticseach记录 Java、Vue、SQL代码生成效率翻四倍 动态权限管理、多维度轻松控制权限按钮显示、数据权限管理
前端所用技术
- Vue 2.5.x、Vue Cli 4.x、iView、iview-admin、iview-area、Vuex、Vue Router、ES6、webpack、axios、echarts、cookie等
- 前台为基于Vue+iView的独立项目请跳转至 xboot-front 项目仓库查看
RuoYi首页、文档和下载 - 若依管理系统 - OSCHINA https://www.oschina.net/p/ruoyi
一直想做一款后台管理系统,看了很多优秀的开源项目但是发现没有合适的。于是利用空闲休息时间开始自己写了一套后台系统。如此有了若依。她可以用于所有的Web应用程序,如网站管理后台,网站会员中心,CMS,CRM,OA。所有前端后台代码封装过后十分精简易上手,出错概率低。同时支持移动客户端访问。系统会陆续更新一些实用功能。
LuckyFrameWeb首页、文档和下载 - 自动化测试平台 - OSCHINA https://www.oschina.net/p/luckyframe
LuckyFrame测试平台是一款免费开源的自动化测试平台,最大的特点是全纬度覆盖了接口自动化、WEB UI自动化、APP自动化,并且支持分布式测试,测试关键字驱动也很大程度上解决了测试同学代码基础弱的问题。同时我们知道测试永远都只是质量保障的其中一个手段,所以也集成了质量管理相关的一些功能。
覆盖了接口自动化、app自动化、ui自动化,非常nice的一款自动化平台,最重要的一点是支持测试驱动,操作文档日趋完善,小白也不用担心不会写自动化测试了,加油!!
JEPaaS首页、文档和下载 - 低代码快速开发平台 - OSCHINA https://www.oschina.net/p/jepaas
JEPaaS是一款国内实用型低代码快速开发平台,11年技术沉淀,百余人开发团队不断维护升级,是国内中大型企业信息化御用平台。
可视化的开发环境,低代码拖拽式配置开发,操作极其简单,可以大幅度帮助企业缩减人力和时间成本。支持工作流、IM即时通讯、bi图表报表、APP开发、对接微信、钉钉……是国内老牌靠谱开发平台。
itest(爱测试)首页、文档和下载 - 敏捷测试管理软件 - OSCHINA https://www.oschina.net/p/itest-cn
要是能和git打通就完美了。 这提议有人提了,后续会实现的,在itest 的项目中维护git 的仓库名(一对多)先同步issues ,在git 上配置勾子 ,提交时,在勾子里,调itest 接口,;改变issues 装态时,再同步更新GIT上的issue 装态
Guns首页、文档和下载 - 基于SpringBoot,更简洁的后台管理系统 - OSCHINA https://www.oschina.net/p/guns
新版Guns基于SpringBoot全面升级,完美整合springmvc + shiro + mybatis-plus + beetl!
bee: Bee是一个具有人工智能(AI)特性,开发速度快、简单、自动高效的Java ORM框架!它的编码复杂度是O(1),不管操作多少张表,都不需要写额外的dao代码。 https://gitee.com/automvc/bee
Bee 是一个具有人工智能(AI)特性,省时/优雅、简易、自动( AiTea: Timesaving/Tasteful, Easy, Automatic) 的ORM软件框架(AiTeaSoft)(IT-->AiTea 的思维转变!)。 你还在为不断重复写ORM操作数据库的代码而烦恼吗?每写一个service业务层,就要写一个dao层(即使我们知道dao就是简单的查改增删suid操作)。 请试试Bee 吧,让它帮你从烦琐的编码工作中解脱出来。 Bee是一种更接近SQL语言思维的ORM框架, 一种开发速度和开发成本都不比php差的Java ORM框架, 而且它的编码复杂度是O(1),即用了Bee,你可以不用另外再写dao代码。
fastjson首页、文档和下载 - Java 实现的 JSON 解析器和生成器 - OSCHINA https://www.oschina.net/p/fastjson
BeeHoney 11/30 23:11 其实查询数据库的时候也是可以直接返回Json格式结果的。 ORM框架Bee就是这样( https://gitee.com/automvc/bee). 哪位有兴趣可以对比下直接产生Json快,还是间接产生快。
Deepin首页、文档和下载 - 深度操作系统 - OSCHINA https://www.oschina.net/p/linuxdeepin
深度操作系统(deepin)包含深度桌面环境(Deepin Desktop Environment)和近30款深度原创精品应用,及数款来自开源社区的应用软件,广泛用于支撑用户日常的学习和工作。另外,通过深度商店还能够获得近千款应用软件的支持,满足用户对操作系统的更多应用场景的特定需求。
Davinci首页、文档和下载 - 可视化服务平台 - OSCHINA https://www.oschina.net/p/davinci
Davinci 是一个 DVAAS(Data Visualization as a Service)平台解决方案,面向业务人员/数据工程师/数据分析师/数据科学家,致力于提供一站式数据可视化解决方案。既可作为公有云/私有云独立部署使用,也可作为可视化插件集成到三方系统。用户只需在可视化 UI 上简单配置即可服务多种数据可视化应用,并支持高级交互/行业分析/模式探索/社交智能等可视化功能。
BlueKing首页、文档和下载 - 腾讯蓝鲸研发运营一体化开源项目 - OSCHINA https://www.oschina.net/p/blueking
蓝鲸智云(蓝鲸)是腾讯游戏运营部“腾讯智营”下的一个子品牌,它是一套基于 PaaS 的技术解决方案,提供了完善的前后台开发框架、调度引擎与公共组件等模块,可以帮助业务的产品和技术人员快速构建低成本、免运维的支撑工具和运营系统。
本次开源的是蓝鲸智云 PaaS 平台社区版(BlueKing PaaS Community Edition),它提供了应用引擎、前后台开发框架、API 网关、调度引擎、统一登录与公共组件等模块,帮助用户快速、低成本、免运维地构建支撑工具和运营系统(统称为 SaaS 应用)。它为一个 SaaS 应用从创建到部署,再到后续的维护管理提供了完善的自动化和自助化服务,从而使开发者可以集中精力关注 SaaS 应用的逻辑开发。
数据治理系列:一个数据质量监控系统的自我修养 https://mp.weixin.qq.com/s/dZU_eWYv9wAgpSNyPX_fDA
avue首页、文档和下载 - 后台集成解决方案 - OSCHINA https://www.oschina.net/p/avue
Avue.js是基于现有的element-ui库进行的二次封装,从而简化一些繁琐的操作,核心理念为数据驱动视图,主要的组件库针对table表格和form表单场景,同时衍生出更多企业常用的组件,达到高复用,容易维护和扩展的框架,同时内置了丰富了数据展示组件,让开发变得更加容易.
Arthas首页、文档和下载 - 开源 Java 诊断工具 - OSCHINA https://www.oschina.net/p/arthas
Arthas(阿尔萨斯)是阿里巴巴开源的 Java 诊断工具,深受开发者喜爱。
当你遇到以下类似问题而束手无策时,Arthas 可以帮助你解决:
这个类从哪个 jar 包加载的?为什么会报各种类相关的 Exception?
我改的代码为什么没有执行到?难道是我没 commit?分支搞错了?
遇到问题无法在线上 debug,难道只能通过加日志再重新发布吗?
datahub上的WhereHows / architecture.md·linkedin / WhereHows https://github.com/linkedin/WhereHows/blob/datahub/docs/architecture/architecture.md
linkedin/WhereHows at datahub https://github.com/linkedin/WhereHows/tree/datahub
DataHub是LinkedIn的通用元数据搜索和发现工具。要了解有关DataHub的更多信息,请查看我们的 LinkedIn博客文章和Strata演示文稿。您还应该访问DataHub体系结构以更好地了解如何实现DataHub,以及访问 DataHub入门指南以了解如何针对自己的用例扩展DataHub。该存储库包含完整的源代码,可以构建DataHub的前端和后端服务。
Data Hub
: A Generalized Metadata Search & Discovery Tool | LinkedIn Engineering (数据中心:通用的元数据搜索和发现工具 领英工程 ) https://engineering.linkedin.com/blog/2019/data-hub
一个雄心勃勃的愿景:将LinkedIn员工与他们重要的数据联系起来,从而构建一个完全通用的元数据搜索和发现工具Data Hub。
我们将单块的WhereHows堆栈分为两个不同的堆栈:模块化UI前端和广义元数据体系结构后端。新的体系结构使我们能够快速扩展元数据收集的范围,而不仅仅是数据集和作业。在撰写本文时,Data Hub已经存储并索引了包含19个不同实体的数千万条元数据记录,其中包括数据集,指标,作业,图表,AI功能,人员和组。我们还计划在不久的将来为机器学习模型和标签,实验,仪表板,微服务API和代码提供元数据。
模块化用户界面: 数据中心Web应用程序是大多数用户与元数据进行交互的方式。该应用程序是使用Ember Framework编写的,并在Play中间层之上运行。为了使开发可扩展的,我们充分利用各种现代化的网络技术,包括ES9,ES.Next,打字稿,纱线与纱线工作区,并像代码质量工具更漂亮和ESLint。表示层,控制层和数据层被模块化到程序包中,因此应用程序中的特定视图是由相关程序包组成的。
与数据中心交互 在最高级别,前端提供三种交互类型:(1)搜索,(2)浏览和(3)查看/编辑元数据。以下是实际应用中的一些示例屏幕截图:
通用元数据架构 为了完全实现Data Hub的愿景,我们需要一种能够随着元数据进行扩展的架构。可伸缩性挑战有四种不同形式:
建模:以对开发人员友好的方式对所有类型的元数据和关系进行建模。 摄取:通过API和流大规模摄取大量的元数据更改。 服务:大规模服务收集的原始元数据和派生的元数据,以及针对元数据的各种复杂查询。 索引:按比例索引元数据,并在元数据更改时自动更新索引。
DataPipeline丨LinkedIn元数据之旅的最新进展—Data Hub - DataPipeline数见科技 - 博客园 https://www.cnblogs.com/DataPipeline2018/p/11434893.html
大约一年前,我们根据这些知识从头开始设计WhereHows。我们意识到LinkedIn越来越需要跨各种数据实体的统一的搜索和发现体验,以及将它们连接在一起的元数据图。因此,我们决定扩大项目范围,构建一个完全通用的元数据搜索和发现工具Data Hub,其雄心勃勃的愿景是:将LinkedIn员工与对他们至关重要的数据联系起来。
【blog】DataPipeline - 标签 - DataPipeline数见科技 - 博客园 https://www.cnblogs.com/DataPipeline2018/tag/DataPipeline/
【sql解析器】uber/queryparser: Parsing and analysis of Vertica, Hive, and Presto SQL. https://github.com/uber/queryparser
Parsing and analysis of Vertica, Hive, and Presto SQL.
Queryparser支持对三个sql语法(Vertica,Hive和Presto)进行解析。
已经为AST定义了多种实用程序功能(“分析”),例如: 查询中出现哪些表? 每个子句在查询中出现哪些列? 查询的表/列沿袭是什么? 查询对相等性比较哪些列集?
无远开发平台 https://wuyuan.io/
开源免费信息门户框架 Bodhi Portal 发布了! https://forum.wuyuan.io/plate/qa/topic/5d429dc534b3a52270aa1c2c
Bodhi Portal 是什么? Bodhi Portal 是由杭州无远信息技术有限公司负责开发的开源免费企业级门户配置框架,遵循 MIT 开源协议。
Bodhi Portal 能做什么? 提供单点登录服务(SSO),让其他子系统无缝接入。子系统可以是由 Enhancer 平台开发的系统,也可以是其他三方系统。 让您的用户在一处登录,便可以独立访问所有接入的子系统。 也可以通过统一的门户页面访问并使用各个子系统的功能,并且支持用户个性化展示。 一次接入自动适应 PC 端和移动端。 使用过程基本只需要做配置,同时也支持二次开发。
门户和子系统之间角色的关系: https://forum.wuyuan.io/plate/qa/topic/5dc23bdb04525b5534701714
如何实现登录门户之后,不同的用户拥有不同的应用访问权限: https://forum.wuyuan.io/plate/qa/topic/5dc26fae08d005537d568e34
从技术角度分析,一个女生不主动联系你还有机会吗? https://mp.weixin.qq.com/s/KzZjmM9LxG78f0nh8PGAyQ?from=groupmessage&clicktime=1577343115
假设你是个妹子,你有一位男朋友,于此同时你和另外一位男生暧昧不清,比朋友好,又不是恋人。你随时可以甩了现任男友,另外一位马上就能补上。这是冷备份。
假设你是个妹子,同时和两位男性在交往,两位都是你男朋友。并且他们还互不干涉,独立运行。这就是双机热备份。
正经的我,做了个不正经的项目 https://mp.weixin.qq.com/s/FKM150KLj0M1L27fgJdtDQ
Logoly.Pro 是一个在线的 PornHub 风格 Logo 生成工具,可以帮助你快速生成类似 PornHub 风格的 Logo。
xiyouMc / WebHubBot:Python + Scrapy + MongoDB。 每天500万条数据!!!💥世界上最大的网站。 https://github.com/xiyouMc/WebHubBot
该项目主要用于爬网网站,这是世界上最大的网站。这样,它会检索视频标题,持续时间,mp4链接,封面URL和直接网站的URL。
2000个Star的Github项目很牛逼? - 简书 https://www.jianshu.com/p/225f5e3b3a1f
说实话,这个项目的技术很普通。普通到什么程度呢?我可以很清楚的告诉你,这个项目就用了屈指可数的几个技术点:Http协议、Html、Python、MongoDB 和 Scrapy。就这么几个技术,对于一般的程序员来讲,真心不是什么牛逼点。
那么接下来,我主要从为什么会火和具体的技术点来扯下。
项目中的技术点其实都是基础。我并没有资格说这个项目有多牛逼。在我看来,它就是基础知识堆积起来的而已。
所以,学好基础才是王道,其次要把技术玩起来。
努力成为一个有想法的全栈工程师。