dex文件格式介绍

前言

dex（Dalvik Executable）是Android平台源代码文件（java，kotlin）经过编译、重构、重排、压缩、混淆后的字节码文件，是对传统的class 文件再处理。dex 更适合于资源有限的嵌入式设备使用，和class 文件比，dex 明显的优势主要表现在下面两个方面

1）  体积更小，dex 在class的基础上，将多个class 文件特征进行统一处理，通过重排，压缩，和class 文件比，体积明显变小

IO 量明显减少，dex 将大量class文件整合成一个文件，在程序执行的过程中可以一次载入，避免多次小文件的IO 读取。

一、dex 的生成过程

dex 文件是通过d8(在 28.0.1之前为dx)命令将class 文件进行处理后生成的文件。

d8/dx 命令通常在SDK\build-tools\api-level\ 目录下：

使用实例：

d8 Demo.class Demo1.class –debug –file-per-class  –lib SDK\platforms\android-29\android.jar–classpath ./ –output Demo

–debug       编译DEX 字节码时在其中包含调试信息，与—release 相对

–file-per-class 每个class文件生成一个dex 文件

–lib           Android SDK 的 android.jar 的路径

–classpath     编译项目的DEX 文件时可能需要使用的类路径资源

–output       输出的目录

二、dex 文件格式详细分析

1. uleb128、sleb128和uleb128p1介绍

Leb128（Little-Endian Base 128），u 表示unsigned ，s表示signed ，p1 是dalvik 独有的编码格式（后面说明），是一种变长的整数压缩编码形式，通常有1-5byte组成，由于一个int 值在机器中占有4Byte。为了实现变长存储，节省空间，在Leb128 格式中每个byte 的最高位作为后续byte 是否有效的标志位，1表示还有后续字节，0表示结束，后面7bits是有效数据，所以一个整数最大需要5byte 存储。

代码可以参考：art/libartbase/base/leb128.h

Uleb 128 格式：

   将无符号整数写成二进制形式，从低位到高位每7个bits作为一个整体组合成一个组，最高字节不足7bit 用0 填充到7bit，在每组最高位填入是否有高字节的标识，构成一个完整的字节，然后将所有字节小端序排列。

sleb128 格式：

sleb128 格式和uleb 128 格式类似，正数的处理和uleb128 完全一致，负数在机器中通过补码标识，若某一byte 第7位和前面的高位都为1 时则停止：

uleb128p1 （uleb128 plus 1）格式：

是uleb128 的一种变体，为了能标识-1 和非负数而设计，则相同编码表示的值uleb128 比uleb128p1 大1，如下例：

2. 大端字节序和小端字节序

大端字节序：高位字节存储在内存的低地址处，低位字节存储在内存的高地址处

小端字节序：高位字节存储在内存的高地址处，低位字节存储在内存的低地址处

比如：0x12345678

大端模式：0x12345678

小端模式：0x78563412

3. dex 文件格式详解

1) 010 Editor 分析工具安装

为了更方便的分析dex 文件格式，建议安装010 Editor，可以下载试用版本。

https://www.sweetscape.com/010editor/ 

2) 生成classes.dex 文件

编写一个简单的java文件，命名为DexDemo.java

Ⅰ.javac DexDemo.java

Ⅱ. d8 DexDemo.class  –outputdemo

生成文件为demo/classes.dex,后续以该DexDemo.java 生成的classes.dex 为例进行分析，文章后

续出现DexDemo.dex 特指该classes.dex文件

3) dex 文件结构

Ⅰ.dex 文件头

 类型定义：

DexDemo.dex 数据：

 通过对struct Header 结构体进行分析，该结构体的占用内存大小为112byte。GetVersion（）函数占用内存不计算在内。下面详细分析各字段：

 Ⅱ.字符串列表解析：

从Header的string_ids_off_ 和string_ids_size_可以知道，在偏移70h 开始，定义了0x13h 个字符串：

类型定义：

该地址开始存储了代码文件中出现的所有字符串的偏移地址.

DexDemo.dex 数据：

 对数据内容进行解析:

 字符串数据区格式为：

DexDemo.dex 数据：

对数据内容进行解析（string_ids表）：

Ⅲ. 类型解析：

从Header的type_ids_off_ 和type_ids_size_可以知道，在偏移BCh 开始，定义了0x7h 个类类型：

类型定义：

其中descriptor_idx_中存储的为string_ids  中的索引。

DexDemo.dex 数据：

对数据内容进行解析（type_ids 表）：

Ⅳ. 方法原型解析：

从Header 的proto_ids_off_和proto_ids_size_可以知道，在偏移D8h 开始，定义了0x4h 个方法原型：

类型定义：

shorty_idx_ 描述方法原型在string_ids 中的索引,包括返回值和参数的简写

return_type_idx_ 描述方法原型在type_ids中的索引

parameters_off_ 为方法参数列表的偏移

DexDemo.dex 数据：

对数据内容进行解析（proto_ids）：

Ⅴ. 方法参数解析：

格式定义：

以其中一个带参函数为例，其中DexDemo.dex 数据如下：

对数据内容进行解析：

Ⅵ. Field数据解析：

从Header 的field_ids_off_和field_ids_size_可以知道，在偏移0108h 开始，定义了0x2h 个方法原型：

类型定义：

class_idx_ 描述该field 所在类的类型在type_ids 中的索引

type_idx_ 描述该field 的类型在type_ids中的索引

name_idx_ 描述该field的名称在string_ids 中的索引

DexDemo.dex 数据：

对数据内容进行解析：

Ⅶ. 方法列表数据解析：

从Header 的method_ids_off_和method_ids_size_可以知道，在偏移0118h 开始，定义了0x5h 个方法原型：

类型定义：

class_idx_ 描述该类类型在type_ids 中的索引

proto_idx_ 描述该方法的原型在proto_ids中的索引

name_idx_ 描述该方法的名称在string_ids中的索引

DexDemo.dex 数据：

 对数据内容进行解析：

Ⅷ. class列表数据解析

从Header 的class_defs_off_和class_defs_size_可以知道，在偏移0140h 开始，定义了0x1h 个类定义：

类型定义：

class_idx_        描述该类类型在type_ids 中的索引

access_flags_     描述该类的访问标记

supperclass_idx_  描述该类的父类在type_ids 中的索引

interfaces_off_    描述从文件开头到该类继承接口列表的偏移量

source_file_idx_   包含该类的源文件名在string_ids中的索引

annotations_off_  描述从文件开头到该类所包含注解列表的偏移量

class_data_off_    描述从文件开头到该类关联类数据的偏移量

static_values_off_  描述从文件开头到 static 字段初始值列表的偏移量

DexDemo.dex 数据：

对数据内容进行解析：

Ⅸ. 类关联数据解析

从类列表的解析看，DexDemo 类关联数据段在该文件中的偏移为02D5h：

数据格式：

DexDemo.dex 数据：

对数据内容进行解析：

Ⅹ. 类关联静态数据解析

从类列表的解析看，DexDemo 静态数据段在该文件中的偏移为02E9h：

数据格式：

DexDemo.dex 数据：

对数据内容进行解析：

Ⅺ. map_list的解析

从Header 的map_off_的字段可以得出，map_list从02f0h 开始，该列表是对文件中所有分类的信息概览，

从Android S 的代码看包括19 个分类。

数据格式：

DexDemo.dex 数据：

对数据内容进行解析：

Ⅻ. 方法bytecode的解析

在“类关联数据”部分，direct_methods/direct_methods段指明了方法的bytecode偏移，如在DexDemo 文件中两个方法的bytecode分别为：

数据格式：

下面对public static void main 函数进行分析，DexDemo.dex 数据：

对数据内容进行解析：

Ⅷ. 对Insns指令解析

对于指令的解析首先需要详细阅读google的指令格式文档：

https://source.android.com/devices/tech/dalvik/instruction-formats和 bytecode 格式文档

https://source.android.com/devices/tech/dalvik/dalvik-bytecode

在指令格式文档中，列出了所有用到的指令类型。bytecode 格式文档中定义了每个指令的详细格式，

包括运算符（op）和相关的操作数。

1）   拆解指令：6201 01 00 1A 00 02 00 6E 20 03 00 01 00 0E 00

Op 码为62，查找bytecode 格式文档：

3）指令格式为21C 查询指令格式文档：

从两个文档分析，第一条占用4个字节，即6201 01 00；其中op：62，VAA：01，field@BBBB：00 01；

则最终的指令为：sget-object v1,Ljava/lang/System;.out:Ljava/io/PrintStream; // field@0001

同样对后续的1A 00 02 00 6E 20 03 00 01 00 0E 00 进行分析，得到下面三条指令：

4. dexdump 工具介绍

 dexdump 是用于解析dex 文件的工具，通过文本的方式展示了dex 文件中的文件头、类信息、field信息、method信息、指令信息、注解信息、等。

使用方法参考帮助文档：

这里特别提一下-d 参数，该参数除了会列出dex 的基本结构外还对方法中bytecode所对应的指令详情进行了说明，为进一步分析代码的执行逻辑提供便利。

三、总结：

Dex 文件格式作为art 虚拟机的执行码载体，与class 字节码相比在嵌入式设备中有着明显的优势，其包含的信息量很大，本文只从DexDemo 简单的实例对各部分做了分析，在实际项目中的情况会更加复杂。但通过该文档的学习，可以了解dex 的整个结构，对关键的header，类，方法，field等的组织形式有清晰的认识，对art 虚拟机代码的学习有极大的帮助。

参考文档：

1.  Leb128 介绍

https://en.wikipedia.org/wiki/LEB128

2.  d8 命令介绍

https://developer.android.com/studio/command-line/d8

3.  代码参考

android S AOSP代码

4.  google 官方文档

https://source.android.com/devices/tech/dalvik/dex-format

https://source.android.com/devices/tech/dalvik/dalvik-bytecode

https://source.android.com/devices/tech/dalvik/instruction-formats

长按关注内核工匠微信


Linux 内核黑科技 | 技术文章 | 精选教程