shiro反序列化原理（shiro的session信息放redis反序列化异常解决）

本文目录

• shiro的session信息放redis反序列化异常解决
• java resolve
• JAVA 压缩和序列化
• 序列化的原理
• 什么是java的序列化和反序列化

shiro的session信息放redis反序列化异常解决

背景
在本地session移至redis存储时，原本以为引入spring-session-data-redis依赖，配置RedisHttpSessionConfiguration，在web.xml中引入springSessionRepositoryFilter就结束了，没想到遇到序列化相关的问题，具体就是只有getter，没有setter。日志如下：

分析
提示很清楚，就是shiro的SimplePrincipalCollection类中realmNames字段没有setter方法，没法反序列化。
来看看realmNames是什么鬼，作为成熟的框架也偷懒不写setter？仔细一看，发现并不简单。类里面没有realmNames，只有个getRealmNames方法。
原来是个假getter，是由其他字段动态生成的，如下：

看下redis里面存的值

核心就是objectMapper.addMixIn()和objectMapper.setFilters()两个方法
SimplePrincipalCollection是需要处理的类，IncludShiroFields就是一个简单的接口，如下：

通过上面的配置间接控制SimplePrincipalCollection类中必要字段的序列化，从而解决了问题。
ps ：因为使用了注解，一定要去掉objectMapper.configure(MapperFeature.USE_ANNOTATIONS, false)，不然配置不生效。

java resolve

java resolve是什么？让我们一起来了解一下吧！

原理：

反序列化时，首先获取序列化的类 ： desc（ 可理解为单例类的class类，但它和JVM加载到内存中的单例class类有不同）因为如果我们的单例类在构造方法中通过实例不为空则抛出异常防止了反射破坏单例，那单例类是不允许再实例化的。而desc类却依然可以实例化。（当我们反序列化一个对象时，永远不会调用其类的构造函数，反序列化后的实例变量与序列化之前的实例变量相同，类变量与当前的类变量相同，如果反序列化时类未被加载则类变量为默认值。）

判断对象是否能实例化。可以则进行实例化，至此单例类进行了第一次实例化，对象名为obj。第一次实例化完成后，通过反射寻找该单例类中的readResolve()方法，没有则直接返回obj对象。有定义readResolve()方法，desc通过invokeReadResolve(Object obj)方法调用readResolve()方法获取单例对象instance，将他赋值给rep，如果单例对象之前已经被实例化过，那么rep就会指向之前实例化的单例对象。如果我们之前没有实例化单例对象，则rep会指向null。

rep与obj进行比较，由于obj是反射获取的对象，当然与rep不等，于是将rep的值instance赋值给obj，将obj返回，返回对象instance也就保证了单例。
java resolve是从序列化中恢复一个单例对象会破坏单例模式，解决方法是添加readResolve() ：通过反序列化readObject()方法获取对象时会去寻找readResolve()方法，如果该方法不存在则直接返回新对象，如果该方法存在则按该方法的内容返回对象，以确保如果我们之前实例化了单例对象，就返回该对象。如果我们之前没有实例化单例对象，则会返回null。

实战演练，具体步骤如下所示： package com.singleton;   import java.io.ObjectStreamException; import java.io.Serializable;   /**  * 懒汉单例设计模式案例  */ public class SingletonDemo implements Serializable {      /**  * 懒加载  */ private static SingletonDemo instance;       /**      * 私有构造器      */ private SingletonDemo() { // 防止通过反射实例对象而跳过getInstance()方法 if (instance != null) { throw new RuntimeException("Object has been Instance ！！！"); } }   /**  * 调用方法才加载类，资源利用率高了，但要保证线程安全  */ public static synchronized SingletonDemo getInstance() { if (instance == null) { instance = new SingletonDemo(); } return instance; }   /**  * 提供readResolve()方法  * 当JVM反序列化恢复一个新对象时，系统会自动调用readResolve()方法返回指定好的对象  * 从而保证系统通过反序列化机制不会产生多的Java对象  *  * @return 单例对象  * @throws ObjectStreamException 异常  */ private Object readResolve() throws ObjectStreamException { return instance; } } package com.singleton;   import org.junit.Test;   import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.ObjectInputStream; import java.io.ObjectOutputStream;   /**  * 单例测试类  */ public class SingletonTest {   /**  * 测试方法  */ @Test public void test() throws Exception { // 获取instance对象 SingletonDemo instance = SingletonDemo.getInstance();   // 获取文件输出流 FileOutputStream fileOutputStream = new FileOutputStream("E:\\Test.txt"); // 获取对象输出流 ObjectOutputStream objectOutputStream = new ObjectOutputStream(fileOutputStream);   // 输出对象 objectOutputStream.writeObject(instance);   // 关闭资源 objectOutputStream.close(); fileOutputStream.close();   // 获取对象输入流 ObjectInputStream objectInputStream = new ObjectInputStream(new FileInputStream("E:\\Test.txt"));   // 读取对象 Object object = objectInputStream.readObject();   // 判断两个对象是否相等，返回true/false System.out.println(instance == object); }   }

JAVA 压缩和序列化

压缩和序列化主要用在数据的存储和传输上，二者都是由IO流相关知识实现，这里统一介绍下。

全部章节传送门：

Java I/O类支持读写压缩格式的数据流，你可以用他们对其他的I/O流进行封装，以提供压缩功能。

GZIP接口比较简单，适合对单个数据流进行压缩，在Linux系统中使用较多。

ZIP格式可以压缩多个文件，而且可以和压缩工具进行协作，是经常使用的压缩方法。

JAR(Java Archive，Java 归档文件)是与平台无关的文件格式，它允许将许多文件组合成一个压缩文件。为 J2EE 应用程序创建的 JAR 文件是 EAR 文件(企业 JAR 文件)。

JAR 文件格式以流行的 ZIP 文件格式为基础。与 ZIP 文件不同的是，JAR 文件不仅用于压缩和发布，而且还用于部署和封装库、组件和插件程序，并可被像编译器和 JVM 这样的工具直接使用。在 JAR 中包含特殊的文件，如 manifests 和部署描述符，用来指示工具如何处理特定的 JAR。

如果一个Web应用程序的目录和文件非常多，那么将这个Web应用程序部署到另一台机器上，就不是很方便了，我们可以将Web应用程序打包成Web 归档(WAR)文件，这个过程和把Java类文件打包成JAR文件的过程类似。利用WAR文件，可以把Servlet类文件和相关的资源集中在一起进行发布。在这个过程中，Web应用程序就不是按照目录层次结构来进行部署了，而是把WAR文件作为部署单元来使用。

一个WAR文件就是一个Web应用程序，建立WAR文件，就是把整个Web应用程序(不包括Web应用程序层次结构的根目录)压缩起来，指定一个.war扩展名。下面我们将第2章的Web应用程序打包成WAR文件，然后发布

要注意的是，虽然WAR文件和JAR文件的文件格式是一样的，并且都是使用jar命令来创建，但就其应用来说，WAR文件和JAR文件是有根本区别的。JAR文件的目的是把类和相关的资源封装到压缩的归档文件中，而对于WAR文件来说，一个WAR文件代表了一个Web应用程序，它可以包含 Servlet、HTML页面、Java类、图像文件，以及组成Web应用程序的其他资源，而不仅仅是类的归档文件。

在命令行输入jar即可查看jar命令的使用方法。

把对象转换为字节序列的过程称为对象的序列化。把字节序列恢复为对象的过程称为对象的反序列化。

对象的序列化主要有两种用途：

java.io.ObjectOutputStream代表对象输出流，它的writeObject(Object obj)方法可对参数指定的obj对象进行序列化，把得到的字节序列写到一个目标输出流中。

java.io.ObjectInputStream代表对象输入流，它的readObject()方法从一个源输入流中读取字节序列，再把它们反序列化为一个对象，并将其返回。

只有实现了Serializable的对象才能被序列化。对象序列化包括如下步骤：

对象反序列化的步骤如下：

创建一个可以可以序列化的对象。

然后进行序列化和反序列化测试。

s​e​r​i​a​l​V​e​r​s​i​o​n​U​I​D​:​ ​字​面​意​思​上​是​序​列​化​的​版​本​号​，凡是实现Serializable接口的类都有一个表示序列化版本标识符的静态变量。

JAVA序列化的机制是通过判断类的serialVersionUID来验证的版本一致的。在进行反序列化时，JVM会把传来的字节流中的serialVersionUID于本地相应实体类的serialVersionUID进行比较。如果相同说明是一致的，可以进行反序列化，否则会出现反序列化版本一致的异常，即是InvalidCastException。

为了提高serialVersionUID的独立性和确定性，强烈建议在一个可序列化类中显示的定义serialVersionUID，为它赋予明确的值。

控制序列化字段还可以使用Externalizable接口替代Serializable借口。此时需要定义一个默认构造器，否则将为得到一个异常(java.io.InvalidClassException: Person; Person; no valid constructor)；还需要定义两个方法(writeExternal()和readExternal())来控制要序列化的字段。

如下为将Person类修改为使用Externalizable接口。

transient修饰符仅适用于变量，不适用于方法和类。在序列化时，如果我们不想序列化特定变量以满足安全约束，那么我们应该将该变量声明为transient。执行序列化时，JVM会忽略transient变量的原始值并将默认值(引用类型就是null，数字就是0)保存到文件中。因此，transient意味着不要序列化。

静态变量不是对象状态的一部分，因此它不参与序列化。所以将静态变量声明为transient变量是没有用处的。

序列化的原理

XML 序列化的好处在于可读性好，方便阅读和调试。但是序列化以后的字节码文件比较大，而且效率不高，适用于对性能不高，而且 QPS 较低的企业级内部系统之间的数据交换的场景，同时 XML 又具有语言无关性，所以还可以用于异构系统之间的数据交换和协议。比如我们熟知的 webservice，就是采用 XML 格式对数据进行序列化的。XML 序列化/反序列化的实现方式有很多，熟知的方式有 XStream 和 Java 自带的 XML 序列化和反序列化两种

JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，相对于 XML 来说，JSON的字节流更小，而且可读性也非常好。现在 JSON 数据格式在企业运用是最普遍的JSON 序列化常用的开源工具有很多

这几种 json 序列化工具中，Jackson 与 fastjson 要比 GSON 的性能要好，但是 Jackson、GSON 的稳定性要比 Fastjson 好。而 fastjson 的优势在于提供的 api 非常容易使用

Hessian 是一个支持跨语言传输的二进制序列化协议，相对于 Java 默认的序列化机制来说，Hessian 具有更好的性能和易用性，而且支持多种不同的语言
实际上 Dubbo 采用的就是 Hessian 序列化来实现，只不过 Dubbo 对 Hessian 进行了重构，性能更高

Avro 是一个数据序列化系统，设计用于支持大批量数据交换的应用。它的主要特点有：支持二进制序列化方式，可以便捷，快速地处理大量数据；动态语言友好，Avro 提供的机制使动态语言可以方便地处理 Avro 数据

Kryo 是一种非常成熟的序列化实现，已经在 Hive、Storm）中使用得比较广泛，不过它不能跨语言. 目前 dubbo 已经在 2.6 版本支持 kyro 的序列化机制。它的性能要优于之前的hessian2

Protobuf 是 Google 的一种数据交换格式，它独立于语言、独立于平台。Google 提供了多种语言来实现，比如 Java、C、Go、Python，每一种实现都包含了相应语言的编译器和库文件，Protobuf 是一个纯粹的表示层协议，可以和各种传输层协议一起使用。
Protobuf 使用比较广泛，主要是空间开销小和性能比较好，非常适合用于公司内部对性能要求高的 RPC 调用。 另外由于解析性能比较高，序列化以后数据量相对较少，所以也可以应用在对象的持久化场景中但是要使用 Protobuf 会相对来说麻烦些，因为他有自己的语法，有自己的编译器，如果需要用到的话必须要去投入成本在这个技术的学习中

protobuf 有个缺点就是要传输的每一个类的结构都要生成对应的 proto 文件，如果某个类发生修改，还得重新生成该类对应的 proto 文件

各个序列化技术的性能比较
***隐藏网址***

使用 protobuf 开发的一般步骤是

编写 proto 文件

数据类型
string / bytes / bool / int32（4 个字节）
/int64/float/double
enum 枚举类
message 自定义类
修饰符
required 表示必填字段
optional 表示可选字段
repeated 可重复，表示集合
1，2，3，4 需要在当前范围内是唯一的，表示顺序

生成实体类

实现序列化

输出结果：10 3 77 105 99 16 -84 2
可以看到，序列化出来的数字基本看不懂，但是序列化以后的数据确实很小，那我们来了解一下底层的原理

正常来说，要达到最小的序列化结果，一定会用到压缩的技术，而 protobuf 里面用到了两种
压缩算法，一种是 varint，另一种是 zigzag

-varint
先来看 age=300 这个数字是如何被压缩的

这两个字节字节分别的结果是：-84 、2
-84 怎么计算来的呢？ 我们知道在二进制中表示负数的方法，高位设置为 1， 并且是对应数字的二进制取反以后再计算补码表示（补码是反码+1）
所以如果要反过来计算

字符如何转化为编码
“Mic”这个字符，需要根据 ASCII 对照表转化为数字。
M =77、i=105、c=99
所以结果为 77 105 99
这里的结果为什么直接就是 ASCII 编码的值呢？怎么没有做压缩呢？
原因是，varint 是对字节码做压缩，但是如果这个数字的二进制只需要一个字节表示的时候，其实最终编码出来的结果是不会变化的
还有两个数字，3 和 16 代表什么呢？那就要了解 protobuf 的存储格式了

存储格式
protobuf 采用 T-L-V 作为存储方式

tag 的计算方式是 field_number(当前字段的编号) 《《 3 | wire_type
比如 Mic 的字段编号是 1 ，类型 wire_type 的值为 2 所以 ： 1 《《3 | 2 =10
age=300 的字段编号是 2，类型 wire_type 的值是 0， 所以 : 2《《3|0 =16

第一个数字 10，代表的是 key，剩下的都是 value

负数的存储
在计算机中，负数会被表示为很大的整数，因为计算机定义负数符号位为数字的最高位，所以如果采用 varint 编码表示一个负数，那么一定需要 5 个比特位。所以在 protobuf 中通过sint32/sint64 类型来表示负数，负数的处理形式是先采用 zigzag 编码（把符号数转化为无符号数），再采用 varint 编码。

sint32：(n 《《 1) ^ (n 》》 31)
sint64：(n 《《 1) ^ (n 》》 63)
比如存储一个（-300）的值
-300
原码：0001 0010 1100
取反：1110 1101 0011
加 1 ：1110 1101 0100
n《《1: 整体左移一位，右边补 0 -》 1101 1010 1000
n》》31: 整体右移 31 位，左边补 1 -》 1111 1111 1111
n《《1 ^ n 》》31
1101 1010 1000 ^ 1111 1111 1111 = 0010 0101 0111
十进制： 0010 0101 0111 = 599
varint 算法： 从右往做，选取 7 位，高位补 1/0（取决于字节数）
得到两个字节
1101 0111 和 0000 0100
-41 和 4

Protocol Buffer 的性能好，主要体现在 序列化后的数据体积小 & 序列化速度快，最终使得传输效率高，其原因如下：

什么是java的序列化和反序列化

1、什么是序列化？为什么要序列化？
Java 序列化就是指将对象转换为字节序列的过程，而反序列化则是只将字节序列转换成目标对象的过程。
我们都知道，在进行浏览器访问的时候，我们看到的文本、图片、音频、视频等都是通过二进制序列进行传输的，那么如果我们需要将Java对象进行传输的时候，是不是也应该先将对象进行序列化？答案是肯定的，我们需要先将Java对象进行序列化，然后通过网络，IO进行传输，当到达目的地之后，再进行反序列化获取到我们想要的对象，最后完成通信。
2、如何实现序列化
2.1、使用到JDK中关键类 ObjectOutputStream 和ObjectInputStream
ObjectOutputStream 类中：通过使用writeObject(Object object) 方法，将对象以二进制格式进行写入。
ObjectInputStream 类中：通过使用readObject（）方法，从输入流中读取二进制流，转换成对象。
2.2、目标对象需要先实现 Seriable接口
我们创建一个Student类：
public class Student implements Serializable {
private static final long serialVersionUID = 3404072173323892464L;
private String name;
private transient String id;
private String age;
@Override
public String toString() {
return "Student{" +
"name=’" + name + ’\’’ +
", id=’" + id + ’\’’ +
", age=’" + age + ’\’’ +
’}’;
}
public String getAge() {
return age;
}
public void setAge(String age) {
this.age = age;
}
public Student(String name, String id) {
System.out.println("args Constructor");
this.name = name;
this.id = id;
}
public Student() {
System.out.println("none-arg Constructor");
}
public String getName() {
return name;
}
public void setName(String name) {
this.name = name;
}
public String getId() {
return id;
}
public void setId(String id) {
this.id = id;
}
}
代码中Student类实现了Serializable 接口，并且生成了一个版本号：
private static final long serialVersionUID = 3404072173323892464L;
首先：
1、Serializable 接口的作用只是用来标识我们这个类是需要进行序列化，并且Serializable 接口中并没有提供任何方法。
2、serialVersionUid 序列化版本号的作用是用来区分我们所编写的类的版本，用于判断反序列化时类的版本是否一直，如果不一致会出现版本不一致异常。
3、transient 关键字，主要用来忽略我们不希望进行序列化的变量
2.3、将对象进行序列或和反序列化
如果你想学习Java可以来这个群，首先是一二六，中间是五三四，最后是五一九，里面有大量的学习资料可以下载。
2.3.1 第一种写入方式：
public static void main(String args){
File file = new File("D:/test.txt");
Student student = new Student("孙悟空","12");
try {
ObjectOutputStream outputStream = new ObjectOutputStream(new FileOutputStream(file));
outputStream.writeObject(student);
outputStream.close();
} catch (IOException e) {
e.printStackTrace();
}
try {
ObjectInputStream objectInputStream = new ObjectInputStream(new FileInputStream(file));
Student s = (Student) objectInputStream.readObject();
System.out.println(s.toString());
System.out.println(s.equals(student));
} catch (IOException e) {
e.printStackTrace();
} catch (ClassNotFoundException e) {
e.printStackTrace();
}
}
创建对象Student ，然后通过ObjectOutputStream类中的writeObject()方法，将对象输出到文件中。
然后通过ObjectinputStream 类中的readObject（）方法反序列化，获取对象。
2.3.2 第二种写入方式：
在Student 类中实现writeObject（）和readObject（）方法：
private void writeObject(ObjectOutputStream objectOutputStream) throws IOException {
objectOutputStream.defaultWriteObject();
objectOutputStream.writeUTF(id);
}
private void readObject(ObjectInputStream objectInputStream) throws IOException, ClassNotFoundException {
objectInputStream.defaultReadObject();
id = objectInputStream.readUTF();
}
通过这中方式进行序列话，我们可以自定义想要进行序列化的变量，将输入流和输出流传入对线实例中，然后进行序列化以及反序列化。