-
- 使用Lombok来缩减代码,Lombok能帮助我们减少写get,set,hashCode,toString等没有技术含量的工作,而且在修改增加或删除java bean中的属性时,不需要去改hashCode,toString等方法,减少因为忘记修改而造成的错误。
- 增加OGNL表达式引擎支持,经过测试它的性能要比SpringEL表达式还要优秀。测试代码在:com.test.script.ScriptTest
-
-
com.jarvis.cache.clone.ICloner中的Object deepClone(Object obj) 改为 Object deepClone(Object obj, final Type type),在能获得Type的情况下使用,能更好保证数据准备和效率
-
进一步优化深度复制功能,因为深度复制的目的主要是用于防止外部修改已经缓存的数据,对于一些不可变对象,就可以直接使用,不再走clone逻辑。
-
增加Jackson支持
-
将CacheKeyTO中所有属性改为final,同时删除fullKey属性。同时增加hashCode和equals两个方法的实现
-
修复DataLoader中,等待第一个请求获取数据后,又再去数据层获取数据的BUG,这个BUG是在4.11版本产生的,建议使用4.11和4.12的用户升级一下。
-
-
- fastjson deepClone 数组中有Map或Collection时,转换失败的问题
- Fastjson深度复制优化:针对深度复制Method的arguments进行优化,通过method.getGenericParameterTypes() 来方便深度复制泛型参数。
- 使用 ThreadLocal 缓存Random,提升获取随机数性能
- 将异步刷新线程设置为守护线程。
- ICacheManager中的get和set方法中,增加Method method和 Object args[]两个参数,方便使用者根据情况进行扩展,比如:增加一些自定义的注解,来处理特殊业务逻辑(比如:增加本地缓存功能)
-
- 增加刷新缓存数据功能,如果不使用自动加载,则在缓存即将过期时,开启线程进行异步刷新数据,可以减少用户的等待,避免因缓存失效失效造成系统压力过大;
- 在刷新缓存和自动加载缓存中,如果从数据层加载数据时,发生异常,则使用旧数据进行续租(如果有旧数据的话),达到提前预防缓存失效后,系统压力过大问题;
- 解决使用fastjson进行深度复制数据组时,转换错误的问题;
- 增加使用cloning进行深度复制,性能要比fastjson提高50%。相关的测试代码在:com.test.fastjson.CloningTest和com.test.fastjson.DeepCloneTest两个类中;
- 将数据加载功能从AbstractCacheManager中移到DataLoader中,使得代码更加清晰易懂;
-
- 修改缓存预警时间值,加入-10~10秒随机数,避免缓存集中失效
- 实现表达式引擎的可扩展性,默认还是使用SpringEL表达式引擎(com.jarvis.cache.script.SpringELParser),但可以自己实际情况进行扩展。扩展方法:实现com.jarvis.cache.script.IScriptParser,然后通过配置把实现的实例注入到AbstractCacheManager中的scriptParser属性即可。使用不同表达式引擎时,注意表达式的语言的区别。
- 增加了JavaScript 表达式引擎实现:com.jarvis.cache.script.JavaScriptParser。如果项目使用JDK1.8的,想用JavaScript的话,建议使用Nashorn 来实现,性能会比较好。
-
- @Cache中增加 expireExpression,实现通过表达式来动态获取expire 值;
- @Cache 中增加 alarmTime。当缓存在alarmTime 时间内即将过期的话,会自动刷新缓存内容;
- 解决 hessian2 无法序列化SoftReference 的bug;
-
- 调整CacheTask 中 Thread.sleep(0); 的位置;
- 增加CacheChangeListener 接口,优化代码结构;
- 使用SoftReference 管理Map中的缓存数据;
-
当遍历次数达到2000时,执行Thread.sleep(0); 触发操作系统立刻重新进行一次CPU竞争, 让其它线程获得CPU控制权的权力。
com.jarvis.cache.map.CachePointCut 做如下修改
- 将 boolean cacheChaned 改为 缓存被修改的计数器(AtomicInteger cacheChanged)
- 增加属性:int unpersistMaxSize,允许不持久化变更数(当缓存变更数量超过此值才做持久化操作)
- 增加属性: boolean copyValue;是否拷贝缓存中的值:true时,是拷贝缓存值,可以避免外界修改缓存值;false,不拷贝缓存值,缓存中的数据可能被外界修改,但效率比较高。
-
AutoLoadHandler中排序线程增加sleep,以节约系统资源
-
将获取AOP配置信息功能从 AdminServlet 中抽取出来,并使用CacheManagerConfig接口来获取。
-
受网友Rekoe 将AutoLoadCache 和 nutz整合的启发(https://github.com/Rekoe/AutoLoadCache),将AutoLoadCache 中的AOP相关功能进行抽取,以达到可扩展
- 把AOP拦截方法从AbstractCacheManager中抽取出来,并使用CacheAopProxyChain 和 DeleteCacheAopProxyChain 两个代理类进行封装拦截到的请求。
- 实现了使用Aspectj进行AOP拦截:com.jarvis.cache.aop.aspectj.AspectjAopInterceptor
- 升级时一定要注意配置文件的变化,可以参考cache-example 中的配置
-
- 调整 写缓存(writeCache)代码结构。
- 将ShardedCachePointCut中hashExpire默认值设置为-1;
- 解析SpEL表达式时,增加判断是否有返回值,避免在不能使用#retVal的地方,使用了#retVal
- 将com.jarvis.cache.map.CachePointCut.shutDown() 改成 destroy()
-
- 注册自定义Spring EL表达式函数
- 如果ShardedCachePointCut 中的 hashExpire 小于0则使用@Cache中设置的expire值,替换hashExpire值。
- 增加@ExCache,用于增强@Cache 设置缓存功能。应用场景举例:我们使用getUserByName时,返回User的对象,其实也可以设置给getUserById的缓存中的,反过也是同样的道理,通过getUserById方法返回的数据,也可以设置给getUserByName的缓存中,这样可以减少与DAO的交互了。
-
使用当前的ProcessingTO来做同步锁,把锁粒度降到了最低,以提升并发性能;删除并发线程的计数器;如果第一个线程执行时出现异常,那等待中的线程,也直接抛出异常,因为此时去执行DAO的出错的可能性非常大,会造成服务器压力过大。
-
“拿来主义”机制指的是,当有多个请求去获取同一个数据时,我们先让其中一个请求先去DAO中获取数据,并放到缓存中,其它请求则等它完成后,直接去缓存中获取数据,通过这种方式减轻DAO中的并发。
但经测试发现,刚往Reids中放的数据,立即去取是获取不到数据的(无法命中),测试代码已经放到cache-example 中。优化后的方案是,不从远程服务器获取,而是从本地内存中获取第一个请求返回的数据。减少并发的同时,还能减轻网络压力。
-
不再使用默认缓存Key,所有的缓存都必须自定义缓存Key;原来使用$hash()来调用hash函数,改为使用#hash()进行调用。
之前版本中使用通配符(?和*)进行批量删除缓存,这种方法性能比较差,需要多次与Redis进行交互,而且随着缓存Key的数量的增加,性能也会下降,如果有多个Reids实例的话,还需要遍历每个实例。为了解决这个问题,我们使用hash表保存需要批量删除的缓存,要批量删除缓存时,只要把hash表删除就可以了。
如果在开发阶段不想使用Redis来缓存数据,可以使用com.jarvis.cache.map.CachePointCut,把数据缓存到本地内存中,虽然它不支持使用通配符进行批量删除缓存,但同样支持使用hash表进行批量删除缓存。所以转用Redis缓存数据是没有任务问题的。
如果需要在MyBatis Mapper中使用@Cache和@CacheDelete,则需要使用com.jarvis.cache.mybatis.CachePointCutProxy 来处理。
-
由于我们这里要实现的功能是,当前的线程要等待前一个正在运行线程的结果,但我们不知道前一个线程的执行到哪一步。有可能在我们要执行wait时,已经完成notifyAll了。通过调整逻辑变得更加严谨。
-
- 优化ConcurrentHashMap 使用,将以下代码:
Boolean isProcessing=null; try { lock.lock(); if(null == (isProcessing=processing.get(cacheKey))) {// 为发减少数据层的并发,增加等待机制。 processing.put(cacheKey, Boolean.TRUE); } } finally { lock.unlock(); }
改为:
Boolean isProcessing=processing.putIfAbsent(cacheKey, Boolean.TRUE);// 为发减少数据层的并发,增加等待机制。
- 放弃使用 @CacheDeleteKey中keyType, 直接使用它的value值来判断是自定义缓存Key,还是默认生成的缓存Key。所以keyType 变得多余了。
-
-
@Cache(expire=0, waitTimeOut=500),当expire=0时,将设置为永久缓存;waitTimeOut 用于设置并发等待时间(毫秒)。
-
增加自动加载,单个线程内的等待时间间隔:
<bean id="autoLoadConfig" class="com.jarvis.cache.to.AutoLoadConfig"> ... ... <property name="autoLoadPeriod" value="50" /><!--默认值50ms--> </bean>
-
优化AbstractCacheManager类的loadData方法中线程同步锁。
-
-
####2.2 解决Hessian不能正确序列化BigDecimal问题
-
<bean id="jdkSerializer" class="com.jarvis.cache.serializer.JdkSerializer" /> <bean id="hessianSerializer" class="com.jarvis.cache.serializer.HessianSerializer" /> <bean id="cachePointCut" class="com.jarvis.cache.redis.ShardedCachePointCut" destroy-method="destroy"> <constructor-arg ref="autoLoadConfig" /> <property name="serializer" ref="hessianSerializer" /> <property name="shardedJedisPool" ref="shardedJedisPool" /> <property name="namespace" value="test" /> </bean>
虽然Kryo效率比较高,但使用Kryo会出现的问题比较多,所以还是慎重使用,系统经常维护的就不太适合使用,经过测试,改变属性名称,或删除中间的属性等情况都可能反序列出错误的值,所以如果遇到有减少或修改的情况要及时清里缓存。如果是增加属性则会反序列化失败,这正符合我们的要求。