MISC¶

什么是 MISC ¶

miscellaneous 杂项

MISC = ALL - PWN - WEB - CRYPTO - REVERSE

一般来讲 misc 包括的题型：

• 隐写、取证、OSINT（信息搜集）、PPC（编程类） —— 传统 misc 题
• 游戏类题目（大概也算 PPC）、工具运用类题目
• 编解码、古典密码 —— 不那么 crypto 的 crypto
• 网络解谜、网站代码审计 —— 不那么 web 的 web
• 代码审计、沙箱逃逸 —— 不那么 binary 的 binary
• Blockchain、IoT、AI —— 新兴类别题目

编码分析 ¶

工具

• Cyberchef/TonyCrane ver.
• Base 系列爆破
• DenCode
• Ciphey

所有信息都是 01 串，而 01 串之间可以发生互相的转换

常见的 01 串转换方式有 编解码、加解密、哈希

字符编码 ¶

为什么会乱码？什么是编解码？ASCII、Unicode、UTF-8 的实现原理是什么？本文帮你讲透！

人类理解的字符 to 计算机理解的 01 串之间的映射

乱码 ¶

用一种字符编码规则解读另一种字符编码的 01 串

• CyberChef，通过 Input 和 Output 窗口的字符集设置 需要注意，CyberChef 的 UTF-8 不会将错误解码替换为 􀳦（非预期）
• vscode 右下角的编码方案（重新打开 / 用编码保存）
• 必要的时候可以使用 python 来进行编解码 / 进制转换等

常见乱码

我们以 " 于是转身向大海走去 " 这句话为例，用不同的编码方式进行编码和解码，会产生不同的乱码形式。

//utf-8下编码
e4 ba 8e      e6 98 af  //于是
e8 bd ac      e8 ba ab  //转身
e5 90 91                //向  
e5 a4 a7      e6 b5 b7  //大海 
e8 b5 b0      e5 8e bb  //走去

//GBK下编码 HEX
d3 da   ca c7     d7 aa   c9 ed 
cf f2   b4 f3     ba a3   d7 df 
c8 a5

//GBK下编码 BINARY
11010011 11011010 11001010 11000111 
11010111 10101010 11001001 11101101 
11001111 11110010 10110100 11110011 
10111010 10100011 11010111 11011111 
11001000 10100101

ef bf bd  ef bf bd  ef bf bd  ef bf bd 
d7        aa        ef bf bd  ef bf bd 
ef bf bd  ef bf bd            ef bf bd  
                    ef bf bd  ef bf bd 
c8 a5

GBK 解码：在 gbk 中，半角 Ascii 字符?的编码是0x3f , 若不足双字节，最后会把多余的字符变成0x3f，所以奇数个字符的最后一个字符会变成?，这个时候数据就被破坏了，就无法复原了

UTF-8 解码：如果超出 UTF-8 的范围，会用0xef 0xbf 0xbd来表示，这个时候数据就被破坏了，就无法复原了

但实际中，有一种情况，是 100% 可以将乱码还原成最初的字符串。就是任意编码格式编码，ISO-8859-1 解码，这个主要因为 ISO-8859-1 是单字节编码，而且匹配所有单字节情况，乱码字符串总是可以还原到最初的二进制。

ASCII¶

ASCII 码是为了英语使用者能够把常用的 128 个字符存储在计算机中而设置的一套规则。

（American Standard Code for Information Interchange，美国标准信息交换码）：总共 128 个字符，包括英文字母、数字、一些特殊符号和控制字符

一共 128 个项，即每个字符可以用一个 7 位的 01 串表示（或一字节） 00-1F：控制字符；20-7E：可见字符；7F：控制字符（DEL）

Latin-1（ISO-8859-1）¶

扩展了 ASCII，一共 256 个项 80-9F：控制字符；A0-FF：可见字符 特点：任何字节流都可以用其解码

利用 Unicode 字符集的一系列编码 ¶

Unicode，正如它的中文意思“统一码”一样，它包含了世界上所有的通用符号（超过 110 多万个符号），而且给每个符号赋予一个独一无二的编码，通常表示为：U+后跟一个十六进制数，例如，U+56fd表示汉字的“国”，U+0639 表示阿拉伯字母 Ain，U+0041 表示英语的字母 A 等。

UTF-8 / UTF-16 / UTF-32 / UCS

以平面划分，17 个平面，每个平面 65536 个码位（2 字节） 通过码位可以表示为 U+0000 ~ U+10FFFF

可容纳 111w+ 个字符，现有 14w+ 个字符（超过一半为 CJK 字符）

UCS (Universal Character Set)

UCS-2：直接用 2 字节表示码位；

UCS-4：直接用 4 字节表示码位

UTF（Unicode Transformation Format）：

• UTF-8：变长编码（1~4），兼容 ASCII

• UTF-16：变长编码（2/4），不兼容 ASCII

中国国标字符集系列编码 ¶

GB 2312 / GBK / GB 18030-2022

参考文档 一图弄懂 ASCII、GB2312、GBK、GB18030 编码 - 腾讯云开发者社区 - 腾讯云

这图中展示了前文所述的几种编码在编码完成后，前 2 个 byte 的值的范围（用 16 进制表示）。每个 byte 可以表示 00 到 FF（即 0 至 255）。从图中我们可以一目了然地看到为什么 GB18030 可以兼容 GBK，GB2312 和 ASCII 了。他们几种编码之间前两位没有重合部分。需要注意的是 ASCII 只有 1byte，所以是没有第二位的。另外 GB18030 在上图中占的面积虽然很小，但是它是 4bytes 编码，这图只展示了前两位。如果后两位也算上，GB18030 的字数要远多于 GBK。另外需要注意的是，由于 GBK 兼容 GB2312，因此属于 GB2312 的蓝色区域其实也可以算作是 GBK 的区域。同理 GBK 的区域理论上也属于 GB18030 的区域。上表中只是展示了多出来的部分。

实际生活中，我们用到的 99% 以上的汉字，其实都在 GB2312 那一块区域内。

GB2312

GB2312 简体中文编码表 - 常用参考表对照表 - 脚本之家在线工具

ASCII 码的设计很优秀，但对于中文使用者，怎么能接受计算机存储不了中文的现实？于是，聪明的中国人在 1980 年发布了一套适用自己的新编准：GB2312。

GB2312 是中华人民共和国国家标准《信息交换用汉字编码字符集 基本集》的简称，全称为 GB 2312-1980。该标准定义了用于简体中文字符和一些其他字符的编码方法，而且兼容 ASCII，广泛应用于中文信息处理系统中。

高字节：0xA1 + 36 - 1 = 0xC4
低字节：0xA1 + 67 - 1 = 0xE3

GBK

最全面的 GBK 编码表 /GBK 字符集 - 常用参考表对照表 - 脚本之家在线工具

随着互联网的快速发展，GB2312 编码表中定义的字符已经不够用了，因此，GB2312 的扩展版 GBK 编码表诞生了。

GBK 是“国标扩展字符集”前 3 个汉字拼音首字母的缩写，全称是《汉字内码扩展规范》（Chinese Internal Code Extension, GBK）。GBK 字符集是 1993 年发布的，它是对 GB2312 的扩展。

GBK 是一个双字节编码字符集，每个字符由一个或两个字节表示。其编码结构如下：

GB18030 国标文档

GB18030 是国家标准化委员会（SAC）发布的字符编码标准，是一种用于汉字、汉语拼音、注音符号和汉字部首等文字的字符集和编码方案，它是继 GB2312 和 GBK 后更强劲的版本。

GB18030 的特点包括：

• 兼容性：GB18030 兼容 ASCII、GB2312、GBK 以及 Unicode 等多种编码方案。
• 完备性：GB18030 收录了 70000 多个字符，包括汉字、汉语拼音、注音符号、汉字部首、拉丁字母、数字、标点符号等。
• 可扩展性：GB18030 采用了四字节编码方案，可以容纳未来出现的所有字符。其中汉字使用双字节或四字节编码，而非汉字字符则使用单字节或双字节编码。

Base 编码 ¶

Base 16¶

base16 编码也称为十六进制编码或 Hex 编码，是一种将二进制数据表示为十六进制数字和字符的方法。它使用 16 个字符（0-9 和 A-F）来表示 4 位二进制数的每个组合。

这里就涉及一个字节序的问题：是用大端模式还是小端模式？Base16 编码明确表明是用小端模式存储。

编码过程：

1. 将二进制数据分割为 4 个一组

2. 映射，将每四位二进制数据映射到对应的 base16 字符。如下：

0000 -> 0
0001 -> 1
0010 -> 2
0011 -> 3
0100 -> 4
0101 -> 5
0110 -> 6
0111 -> 7
1000 -> 8
1001 -> 9
1010 -> A
1011 -> B
1100 -> C
1101 -> D
1110 -> E
1111 -> F

base32¶

由于 5bit 就可以表示 2^5 = 32 个字符。

结果长度必须是 5 的倍数，不足的用 = 不齐（明显特征）

00000 -> A 00001 -> B 00010 -> C 00011 -> D 00100 -> E 00101 -> F 00110 -> G 00111 -> H 01000 -> I 01001 -> J 01010 -> K 01011 -> L 01100 -> M 01101 -> N 01110 -> O 01111 -> P 10000 -> Q 10001 -> R 10010 -> S 10011 -> T 10100 -> U 10101 -> V 10110 -> W 10111 -> X 11000 -> Y 11001 -> Z 11010 -> 2 11011 -> 3 11100 -> 4 11101 -> 5 11110 -> 6 11111 -> 7 ```

base58¶

原理：

• 准备要编码的二进制数据：将要编码的二进制数据准备好，通常是字节的形式。

• 添加版本前缀（可选）：在某些应用中，可以在二进制数据前添加一个版本前缀，以标识数据的类型或用途。这是可选的步骤，具体取决于编码的需求。

• 计算校验和（可选）：在某些情况下，可以计算二进制数据的校验和并附加到数据的末尾，以增加数据的完整性和安全性。这也是可选的步骤。

• Base58 编码：将经过前两步（添加版本前缀和计算校验和，如果适用）的二进制数据转换为 Base58 编码的文本。编码过程如下：

Base58 字符集通常包括 58 个字符，通常是由除去易混淆的字符（如 0、O、I 和 l）以及可能引起歧义的字符（如 + 和 /）的字符集构成。 将二进制数据视为一个大整数，使用 Base58 字符集中的字符作为数字的基数。

将大整数除以 58，记录余数，并继续除以 58，直到商为零。这将生成 Base58 编码的每个字符。

最后，反转生成的字符顺序以获得最终的 Base58 编码字符串。

base64¶

明显特征

结果长度必须是 4 的倍数，不足的用 = 不齐（1~2 个，明显特征）

字符表

标准字符表：A-Za-z0-9+/ 另有多种常用字符表，如 URL 安全字符表：A-Za-z0-9-_

步骤

1. 准备要编码的二进制数据：将要编码的二进制数据准备好，通常是字节的形式。

2. 分组：将二进制数据分成固定大小的组，每组通常为 3 字节（24 位）。如果最后一组不足 3 字节，通常需要进行填充，以便每组都有 3 字节。

3. 将每个组的二进制数据转换为十进制：将每个 3 字节的二进制数据视为一个 8bit*3=24bit 位的二进制整数，再转化为一个十进制整数。

4. Base64 编码：将每个十进制整数编码为 Base64 字符。

   • Base64 字符集通常包括 64 个字符，通常是大写字母 A 到 Z、小写字母 a 到 z、数字 0 到 9 以及两个额外的字符（通常是 "+" 和 "/"）。
   • 以 24 位整数为例，将它分成 4 组，每组 6 位。这 4 组 6 位整数将被编码为 4 个 Base64 字符。
   • 每个 6 位整数对应一个 Base64 字符，根据其在 Base64 字符集中的位置来选择。
   • 如果原始数据不足 3 字节，会添加一个或两个额外的 0 位，以确保每个 6 位整数都有 6 位。
   • Base64 编码的结果是一个文本字符串，其中包含一系列 Base64 字符，每 4 个字符分为一组，每组表示一个 24 位整数。

5. 填充（可选）：如果原始数据的长度不是 3 的倍数，可以使用一个或两个填充字符“=”来补全 Base64 编码，以确保编码长度是 4 的倍数。

import base64
 
str1 = "cPQebAcRp+n+ZeP+YePEWfP7bej4YefCYd/7cuP7WfcPb/URYeMRbesObi/=" # 待解密的 base64 编码
 
string1 = "LMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/ABCDEFGHIJK"    #替换的表
string2 = "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/"
 
print (base64.b64decode(str1.translate(str.maketrans(string1,string2))))

总结 ¶

base 家族编码都不算难，根据特征特点找到对应的加解密方式就可以了。下面总结一下各个 base 编码的特点。

• base16 特征：由大写字母（A-Z）和数字（0-9）组成，通常不需要“=”填充

• base32 特征：由大写字母（A-Z）和数字（2-7）组成，需要“=”填充

• base64 特征：大小写字母（a-Z）和数字（0-9）以及特殊字符（'+','/'）不满 3 的倍数用“=”补齐，结尾有少量等号

• base58 特征：同 base64 相比，少了数字‘0’和字母‘O' 数字’1‘和字母’I‘以及 '+' 和 '/' 符号，也没有“=”

• base85 特征：有很多奇怪的符号，但一般没有“=”

• base91 特征：由 91 个字符（0-9，a-z，A-Z,!#$%&()*+,./:;<=>?@[]^_`{|}~”）组成

• base100 特征：全是 emoji 表情。

其他编码 ¶

• UUencode、XXencode
• QR Code 二维码：介绍
• 条形码
• 盲文编码
• 一些其他好玩的类编码：
  • 北约音标字母
  • 地点三词编码 What3Words

信息搜集 | OSINT ¶

Open Source INTelligence | 公开信息情报

Information Protection & OSINT resources

构造了一个全新的虚拟身份 ¶

sherlock:sherlock-project/sherlock

namechk:https://namechk.com/

图片、文档等附件泄漏 ¶

一些常用的搜索引擎：

• 百度识图搜索：中文互联网图片搜索结果
• Google 图片搜索：用来搜索外国范围的图片
• Bing 图片搜索：和 Google 差不多，都可以参考
• Yandex 图片搜索：搜索相似图片 ; 搜索风景时更常用
• TinEye：搜索完全相同的图片（找来源）

图片信息 注意图片中的文字、牌匾、标志性建筑等，可用来作为关键词搜索

如果图片中关键信息较少，可以优先考虑使用搜索引擎识图 2023

• 太阳角度、阴影长度等太阳相关
  • https://www.suncalc.org/
  • https://www.sunearthtools.com/cn/index.php 时间 <=> 位置互相估计
• 天气信息、云层信息等
• 飞机航班信息
  • https://flightaware.com/
• 估计方向，位置，时间等
• 风景信息 -> Yandex 搜索

几何学信息解算楼层 如何根据一张照片判断出女孩住在几层楼？

【实战类】根据图片信息寻找具体楼层

文档信息泄露

文件隐写 ¶

文件系统 ¶

不同的文件系统，不同的组织方式

• MS 派：FAT、NTFS、exFAT、ReFS
• Apple 派：HFS、APFS
• Linux 派：ext[234]、XFS、Btrfs、ZFS… 文件是一串二进制数据 在 HDD 上是微小磁极的磁化方向；在 SSD 上是电荷的存储状态

文件名 “文件名”是由文件系统管理的，不是文件本身数据的一部分

• 文件系统会记录文件名、文件大小、创建时间、修改时间等信息
• 文件内容才是真正的数据

文件类型 ¶

扩展名 .jpg .webp .txt .docx ..是文件名的一部分，可以随意修改（在一些桌面环境下）；决定了打开文件的默认程序

内容

• 通过文件内容来识别文件类型（√）
• file 命令：根据文件内容判断文件类型
• 不同文件类型有不同的“魔数”

文件结束 ¶

大部分文件类型都有一个标记文件内容结束的标志

• 比如 PNG 的 IEND 块、JPEG 的 EOI 标志（FF D9）

所以一般在文件末尾添加其他字节时，不会影响原文件本身的用途，因此有些隐写是将数据隐藏在文件末尾达到的

附加文件的识别

• exiftools
• binwalk

附加文件的分离

• binwalk 或 foremost 识别并分离
• dd if=<src> of=<dst> bs=1 skip=<offset> 手动分离

• 图像末尾叠加一个压缩包，就是所谓的“图种”
  • 修改后缀名可能可以解压（部分解压软件会忽略前面的图像）
  • 其实不如直接分离

图片格式 ¶

• 文件头 89 50 4E 47 0D 0A 1A 0A | .PNG.... 采用分块的方式存储数据, 每块的结构都是 4 字节长度 + 4 字节类型 + 数据 + 4 字节 CRC 校验
• 四个标准数据块：IHDR、PLTE、IDAT、IEND
• 其他辅助数据块：eXIf、tEXt、zTXt、tIME、gAMA……
• eXIf 元信息，tIME 修改时间，tEXt 文本，zTXt 压缩文本

图片隐写 ¶

两篇博客 CTF MISC 图片隐写简单题学习思路总结（持续更新）_ctf jpg 末尾隐写-CSDN 博客

常见的隐写工具的使用 _stegoveritas-CSDN 博客

图像大小修改 ¶

• PNG 图像按行进行像素数据的压缩，以及存储 / 读取
• 当解码时已经达到了 IHDR 中规定的大小就会结束
• 因此题目可能会故意修改 IHDR 中的高度数据，使之显示不全 -恢复的话更改高度即可，同时注意 crc 校验码，否则可能报错

binascii.crc32(data)，data 为从 IHDR 开始的数据 ( 包含 IHDR)

需要原图的图片隐写 ¶

使用识图工具进行搜索 一般需要搜原图的题题目描述会带有来源暗示之类的 多注意搜到的图像大小、质量，确保是真正的原图 接下来利用原图和隐写图像的差异进行分析

图像像素异或观察差异

• PIL 手动处理 / ImageChops.difference
• stegsolve image combiner

盲水印系列

• 给了打水印的代码的话直接尝试根据代码逆推即可
• 没有给代码的可能就是常见的现有盲水印工具

guofei9987/blind_watermark

LSB 图片隐写 ¶

LSB 全称为 least significant bit，是最低有效位的意思

LSB 隐写将颜色通道的最低位用来编码信息

• 图像：stegsolve / CyberChef View Bit Plane
• 数据：stegsolve / CyberChef Extract LSB / zsteg / PIL

# PIL 库的使用
from PIL import Image #导入和图像读写处理有关的 Image 类
img = Image.open(file_name) #打开图像
img.show() 显示图像；img.save(file_name) #保存图像
img.size #图像大小
img.mode #图像模式
img.convert(mode) #转换图像模式
img.getpixel((x, y)) #获取像素点颜色
img.putpixel((x, y), color) #设置像素点颜色
np.array(img) #将图像转换为 numpy 数组

具体图像模式

• '1'：黑白二值（0/255）；'L'：灰度（8 bit），'l'：32 bit 灰度
• L = 0.299 R + 0.587 G + 0.114 B
• 'P'：8bit 调色盘，获取的像素值是调色盘索引
• 'RGB'、'RGBA'
• 'CMYK'：转换时有色差，CMY = 255 - RGB，K = 0
• 'YCbCr'、'LAB'、'HSV' 等，转换时有复杂公式（可能出现新的隐写）

PIL 其他模块用途

• ImageDraw 用于绘制图像、绘制图形
• ImageChops 用于图像通道的逻辑运算
• ImageOps 用于图像整体的运算一类
• ImageFilter 用于图像的滤波处理

人为隐写 ¶

• JPEG 中 DCT 系数可以进行 LSB 隐写
• JPEG 中 DHT 定义的 huffman 表可能有冗余项，可以隐写
• PNG 中附加多余 IDAT 数据块的隐写（显示时被忽略）
• PNG 中使用调色盘时可以进行调色盘隐写（EZStego 隐写）

工具隐写 ¶

steghide、stegoveritas、SilentEye 等 一般找到了类似密码一类的大概率是工具题

音频隐写 ¶

使用 Python 的 soundfile / librosa 库进行音频处理

mp3：有损压缩

wav：无损无压缩（waveform）

• 直接存储的是音频的波形数据，可操作性更高
• 文件结构也是分 chunk 的，有 RIFF、fmt、data 等
• 编码音频数据的 sample 也可以进行 LSB 隐写

flac：无损压缩，如果出现可能考虑转换为 wav

音频叠加 ¶

如果可以找到原音频，或提供了原音频，可以进行比较

方法是在 Audition 中创建多轨会话

• 将两个音频拖入两个轨道
• 效果 > 匹配响度，将两条音轨的响度匹配
• 点进其中一条音轨，效果 > 反相，将波形上下颠倒
• 两条音轨匹配上波形之后播放 / 混音，就能听到差异了

频谱隐写 ¶

一般使用 Adobe Audition 打开来进行进一步的分析

频谱隐写是观察音频的频谱图，可能会有部分信息经过了调整

压缩 ¶

ZIP 也使用分段的方式存储数据

• 本地文件记录 50 4B 03 04，可以有多个
• 中央目录记录 50 4B 01 02，可以有多个
• 中央目录结束 50 4B 05 06 在中央目录记录中有一个字段记录加密方式
• 如果不为 0 表示有加密 其他字段，如最小版本
• 可能修改为一个不合法的值，无法用解压软件解压

沙箱逃逸 ¶

• 沙箱：做了某些限制的隔离环境；例如 Docker，或一个沙箱程序，如 rbash；Python 解释器也可以作为一个沙箱
• 通过限制模块、限制函数、代码审计等方式
• 沙箱逃逸就是在沙箱中执行代码，获取到沙箱外的权限
• Python 的 os 及 importlib 模块是常见的逃逸点

PPC¶

Quine¶

流量取证 ¶

流量取证一般就是拿到这些数据包（cap、pcap、pcapng 格式）进行分析

• 如有损坏的话修复数据包（少见，pcapfix 可以修复）
• 分析、提取得到正在通信的内容（可能包含有效信息）
• 分析一些特定的、不太常见的协议（比如一些自定义协议）
• 分析、解密一些加密的协议（比如 VMess 等）

常用工具 ¶

• tcpdump 抓 TCP 包（Linux 命令行）
• Wireshark 直接抓包，得到物理层的全部数据并解析（开源）
• 自带命令行工具 tshark：官网，可以再 wireshark 中筛选，然后得到对应的指令 一文读懂网络报文分析神器 Tshark：100+ 张图、100+ 个示例轻松掌握 - 腾讯云开发者社区 - 腾讯云
• termshark 类似 Wireshark 的开源命令行工具
• pyshark：tshark 的 Python 封装，可以用 Python 脚本分析
• scapy：Python 库，也可以用来分析流量包

HTTP 协议流量分析 ¶

• 分析统计信息，查看所有的 HTTP 请求 URI
• 分析 HTTP 往返的情况，流量整体信息
• 具体分析某些请求：利用过滤器
• 分析某一数据包具体内容：跟踪流，跟踪 TCP 解析 TCP，跟踪 HTTP 可以自动解压 gzip 等；分析请求头、响应头、请求体、响应体等 Wireshark 分析 sql 布尔盲注流量包_sql 注入 wireshark 抓包分析-CSDN 博客

其他协议 ¶

ICMP 协议：ping 某时也会带有一些信息，可以进行进一步分析 OICQ 协议：QQ 使用，是加密的，但是可以看到双方 QQ 号等

WIFI 协议（IEEE 802.11） 可以使用 Linux aircrack 套件爆破密码 有了密码后可以在 Wireshark 中设置并解密流量

Kali-WIFI 攻防 ( 二 )---- 无线网络分析工具 Aircrack-ng_airdecap-ng-CSDN 博客

USB 协议 安装了 USBcap 之后可以在 Wireshark 中捕获 USB 流量 有工具可以解析流量，绘制鼠标轨迹，得到按键信息等

VMess，需要读文档 / 源码，实现解密

内存取证 ¶

先 strings ¶

提取出文件中所有的 ASCII 字符串，没准就发现有效信息秒杀了 会有超多，可以输出到文件然后搜索，或者直接 grep strings mem.raw | grep "flag" 提取 Unicode 字符 strings -el

再上 volatility ¶

• 开源的内存取证工具，可以分析 Windows/Linux/macOS
• 先识别系统信息
• 针对不同系统使用不同命令分析
• 能跑的都跑一遍，注意看输出