dex文件格式介绍

2021-01-06 00:00:00 dex 介绍 文件格式

前言

dex(Dalvik Executable)是Android平台源代码文件(java,kotlin)经过编译、重构、重排、压缩、混淆后的字节码文件,是对传统的class 文件再处理。dex 更适合于资源有限的嵌入式设备使用,和class 文件比,dex 明显的优势主要表现在下面两个方面

1)  体积更小,dex 在class的基础上,将多个class 文件特征进行统一处理,通过重排,压缩,和class 文件比,体积明显变小

IO 量明显减少,dex 将大量class文件整合成一个文件,在程序执行的过程中可以一次载入,避免多次小文件的IO 读取。


一、dex 的生成过程

dex 文件是通过d8(在 28.0.1之前为dx)命令将class 文件进行处理后生成的文件。

《dex文件格式介绍》

d8/dx 命令通常在SDK\build-tools\api-level\ 目录下:

《dex文件格式介绍》

使用实例:

d8 Demo.class Demo1.class –debug –file-per-class  –lib SDK\platforms\android-29\android.jar–classpath ./ –output Demo

–debug       编译DEX 字节码时在其中包含调试信息,与—release 相对

–file-per-class 每个class文件生成一个dex 文件

–lib           Android SDK 的 android.jar 的路径

–classpath     编译项目的DEX 文件时可能需要使用的类路径资源

–output       输出的目录

二、dex 文件格式详细分析

1. uleb128、sleb128和uleb128p1介绍

Leb128(Little-Endian Base 128),u 表示unsigned ,s表示signed ,p1 是dalvik 独有的编码格式(后面说明),是一种变长的整数压缩编码形式,通常有1-5byte组成,由于一个int 值在机器中占有4Byte。为了实现变长存储,节省空间,在Leb128 格式中每个byte 的最高位作为后续byte 是否有效的标志位,1表示还有后续字节,0表示结束,后面7bits是有效数据,所以一个整数最大需要5byte 存储。

代码可以参考:art/libartbase/base/leb128.h

Uleb 128 格式:

   将无符号整数写成二进制形式,从低位到高位每7个bits作为一个整体组合成一个组,最高字节不足7bit 用0 填充到7bit,在每组最高位填入是否有高字节的标识,构成一个完整的字节,然后将所有字节小端序排列。

《dex文件格式介绍》

sleb128 格式:

sleb128 格式和uleb 128 格式类似,正数的处理和uleb128 完全一致,负数在机器中通过补码标识,若某一byte 第7位和前面的高位都为1 时则停止:

《dex文件格式介绍》

uleb128p1 (uleb128 plus 1)格式:

是uleb128 的一种变体,为了能标识-1 和非负数而设计,则相同编码表示的值uleb128 比uleb128p1 大1,如下例:

《dex文件格式介绍》

2. 大端字节序和小端字节序

大端字节序:高位字节存储在内存的低地址处,低位字节存储在内存的高地址处

小端字节序:高位字节存储在内存的高地址处,低位字节存储在内存的低地址处

比如:0x12345678

大端模式:0x12345678

小端模式:0x78563412



3. dex 文件格式详解

1) 010 Editor 分析工具安装

为了更方便的分析dex 文件格式,建议安装010 Editor,可以下载试用版本。

https://www.sweetscape.com/010editor/ 

2) 生成classes.dex 文件

编写一个简单的java文件,命名为DexDemo.java

《dex文件格式介绍》

Ⅰ.javac DexDemo.java

Ⅱ. d8 DexDemo.class  –outputdemo

生成文件为demo/classes.dex,后续以该DexDemo.java 生成的classes.dex 为例进行分析,文章后

续出现DexDemo.dex 特指该classes.dex文件

3) dex 文件结构

Ⅰ.dex 文件头

 类型定义:

《dex文件格式介绍》

DexDemo.dex 数据:

《dex文件格式介绍》

 通过对struct Header 结构体进行分析,该结构体的占用内存大小为112byte。GetVersion()函数占用内存不计算在内。下面详细分析各字段:

《dex文件格式介绍》

 Ⅱ.字符串列表解析:

从Header的string_ids_off_ 和string_ids_size_可以知道,在偏移70h 开始,定义了0x13h 个字符串:

类型定义:

《dex文件格式介绍》

该地址开始存储了代码文件中出现的所有字符串的偏移地址.

DexDemo.dex 数据:

《dex文件格式介绍》

 对数据内容进行解析:

《dex文件格式介绍》

《dex文件格式介绍》

 字符串数据区格式为:

《dex文件格式介绍》

DexDemo.dex 数据:

《dex文件格式介绍》

对数据内容进行解析(string_ids表):

《dex文件格式介绍》

Ⅲ. 类型解析:

从Header的type_ids_off_ 和type_ids_size_可以知道,在偏移BCh 开始,定义了0x7h 个类类型:

类型定义:

《dex文件格式介绍》

其中descriptor_idx_中存储的为string_ids  中的索引。

DexDemo.dex 数据:

《dex文件格式介绍》

对数据内容进行解析(type_ids 表):

《dex文件格式介绍》

Ⅳ. 方法原型解析:

从Header 的proto_ids_off_和proto_ids_size_可以知道,在偏移D8h 开始,定义了0x4h 个方法原型:

类型定义:

《dex文件格式介绍》

shorty_idx_ 描述方法原型在string_ids 中的索引,包括返回值和参数的简写

return_type_idx_ 描述方法原型在type_ids中的索引

parameters_off_ 为方法参数列表的偏移

DexDemo.dex 数据:

《dex文件格式介绍》

对数据内容进行解析(proto_ids):

《dex文件格式介绍》

Ⅴ. 方法参数解析:

格式定义:

《dex文件格式介绍》

以其中一个带参函数为例,其中DexDemo.dex 数据如下:

《dex文件格式介绍》

对数据内容进行解析:

《dex文件格式介绍》

Ⅵ. Field数据解析:

从Header 的field_ids_off_和field_ids_size_可以知道,在偏移0108h 开始,定义了0x2h 个方法原型:

类型定义:

《dex文件格式介绍》

class_idx_ 描述该field 所在类的类型在type_ids 中的索引

type_idx_ 描述该field 的类型在type_ids中的索引

name_idx_ 描述该field的名称在string_ids 中的索引

DexDemo.dex 数据:

《dex文件格式介绍》

对数据内容进行解析:

《dex文件格式介绍》

Ⅶ. 方法列表数据解析:

从Header 的method_ids_off_和method_ids_size_可以知道,在偏移0118h 开始,定义了0x5h 个方法原型:

类型定义:

《dex文件格式介绍》

class_idx_ 描述该类类型在type_ids 中的索引

proto_idx_ 描述该方法的原型在proto_ids中的索引

name_idx_ 描述该方法的名称在string_ids中的索引

DexDemo.dex 数据:

《dex文件格式介绍》

 对数据内容进行解析:

《dex文件格式介绍》

Ⅷ. class列表数据解析

从Header 的class_defs_off_和class_defs_size_可以知道,在偏移0140h 开始,定义了0x1h 个类定义:

类型定义:

《dex文件格式介绍》

class_idx_        描述该类类型在type_ids 中的索引

access_flags_     描述该类的访问标记

supperclass_idx_  描述该类的父类在type_ids 中的索引

interfaces_off_    描述从文件开头到该类继承接口列表的偏移量

source_file_idx_   包含该类的源文件名在string_ids中的索引

annotations_off_  描述从文件开头到该类所包含注解列表的偏移量

class_data_off_    描述从文件开头到该类关联类数据的偏移量

static_values_off_  描述从文件开头到 static 字段初始值列表的偏移量

DexDemo.dex 数据:

《dex文件格式介绍》

对数据内容进行解析:

《dex文件格式介绍》

Ⅸ. 类关联数据解析

从类列表的解析看,DexDemo 类关联数据段在该文件中的偏移为02D5h:

数据格式:

《dex文件格式介绍》

DexDemo.dex 数据:

《dex文件格式介绍》

对数据内容进行解析:

《dex文件格式介绍》

《dex文件格式介绍》

Ⅹ. 类关联静态数据解析

从类列表的解析看,DexDemo 静态数据段在该文件中的偏移为02E9h:

数据格式:

《dex文件格式介绍》

DexDemo.dex 数据:

《dex文件格式介绍》

对数据内容进行解析:

《dex文件格式介绍》

Ⅺ. map_list的解析

从Header 的map_off_的字段可以得出,map_list从02f0h 开始,该列表是对文件中所有分类的信息概览,

从Android S 的代码看包括19 个分类。

数据格式:

《dex文件格式介绍》

DexDemo.dex 数据:

《dex文件格式介绍》

对数据内容进行解析:

《dex文件格式介绍》

Ⅻ. 方法bytecode的解析

在“类关联数据”部分,direct_methods/direct_methods段指明了方法的bytecode偏移,如在DexDemo 文件中两个方法的bytecode分别为:

《dex文件格式介绍》

数据格式:

《dex文件格式介绍》

下面对public static void main 函数进行分析,DexDemo.dex 数据:

《dex文件格式介绍》

对数据内容进行解析:

《dex文件格式介绍》

Ⅷ. 对Insns指令解析

对于指令的解析首先需要详细阅读google的指令格式文档:

https://source.android.com/devices/tech/dalvik/instruction-formats和 bytecode 格式文档

https://source.android.com/devices/tech/dalvik/dalvik-bytecode

在指令格式文档中,列出了所有用到的指令类型。bytecode 格式文档中定义了每个指令的详细格式,

包括运算符(op)和相关的操作数。

1)   拆解指令:6201 01 00 1A 00 02 00 6E 20 03 00 01 00 0E 00

Op 码为62,查找bytecode 格式文档:

《dex文件格式介绍》

3)指令格式为21C 查询指令格式文档:

《dex文件格式介绍》

从两个文档分析,第一条占用4个字节,即6201 01 00;其中op:62,VAA:01,field@BBBB:00 01;

则最终的指令为:sget-object v1,Ljava/lang/System;.out:Ljava/io/PrintStream; // field@0001

同样对后续的1A 00 02 00 6E 20 03 00 01 00 0E 00 进行分析,得到下面三条指令:

《dex文件格式介绍》

4. dexdump 工具介绍

 dexdump 是用于解析dex 文件的工具,通过文本的方式展示了dex 文件中的文件头、类信息、field信息、method信息、指令信息、注解信息、等。

使用方法参考帮助文档:

《dex文件格式介绍》

这里特别提一下-d 参数,该参数除了会列出dex 的基本结构外还对方法中bytecode所对应的指令详情进行了说明,为进一步分析代码的执行逻辑提供便利。

三、总结:

Dex 文件格式作为art 虚拟机的执行码载体,与class 字节码相比在嵌入式设备中有着明显的优势,其包含的信息量很大,本文只从DexDemo 简单的实例对各部分做了分析,在实际项目中的情况会更加复杂。但通过该文档的学习,可以了解dex 的整个结构,对关键的header,类,方法,field等的组织形式有清晰的认识,对art 虚拟机代码的学习有极大的帮助。

参考文档:

1.  Leb128 介绍

https://en.wikipedia.org/wiki/LEB128

2.  d8 命令介绍

https://developer.android.com/studio/command-line/d8

3.  代码参考

android S AOSP代码

4.  google 官方文档

https://source.android.com/devices/tech/dalvik/dex-format

https://source.android.com/devices/tech/dalvik/dalvik-bytecode

https://source.android.com/devices/tech/dalvik/instruction-formats

《dex文件格式介绍》

长按关注内核工匠微信


Linux 内核黑科技 | 技术文章 | 精选教程
    原文作者:内核工匠
    原文地址: https://blog.csdn.net/feelabclihu/article/details/124762847
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。

相关文章