Python Digital Forensics 简明教程

Python Digital Network Forensics-I

本章将解释使用 Python 执行网络取证所涉及的基本原理。

Understanding Network Forensics

网络取证是数字取证的一个分支，它处理对计算机网络流量（包括本地和广域网 (WAN)）的监控和分析，目的是收集信息、收集证据或入侵检测。网络取证在调查盗窃知识产权或信息泄露等数字犯罪中发挥着至关重要的作用。网络通信的截图有助于调查者解决如下一些关键问题 −

访问了哪些网站？
在我们的网络上上传了哪些内容？
从我们的网络下载了哪些内容？
正在访问哪些服务器？
是否有人将敏感信息发送到公司防火墙之外？

Internet Evidence Finder (IEF)

IEF 是一款数字取证工具，用于查找、分析和展示计算机、智能手机、平板电脑等不同数字媒体上找到的数字证据。它非常受欢迎，数千名取证专业人员都在使用它。

Use of IEF

由于其受欢迎程度，IEF 被取证专业人员广泛使用。IEF 的一些用途如下所述：

由于其强大的搜索功能，它可以同时搜索多个文件或数据媒体。
它还用于通过新的分割技术从 RAM 的未分配空间中恢复被删除的数据。
如果调查人员想要以其打开日期的原始格式重建网页，那么他们可以使用 IEF。
它还用于搜索逻辑或物理磁盘卷。

Dumping Reports from IEF to CSV using Python

IEF 将数据存储在 SQLite 数据库中，以下 Python 脚本将在 IEF 数据库中动态识别结果表，并将它们转储到各个 CSV 文件中。

此过程按照以下所示的步骤进行：

首先，生成 IEF 结果数据库，它将是一个以 .db 扩展名结尾的 SQLite 数据库文件。
然后，查询该数据库以识别所有表。
最后，将这些结果表写入单独的 CSV 文件。

Python Code

让我们看看如何为此目的使用 Python 代码 −

对于 Python 脚本，导入必要的库，如下所示：

from __future__ import print_function

import argparse
import csv
import os
import sqlite3
import sys

现在，我们需要提供 IEF 数据库文件的路径：

if __name__ == '__main__':
   parser = argparse.ArgumentParser('IEF to CSV')
   parser.add_argument("IEF_DATABASE", help="Input IEF database")
   parser.add_argument("OUTPUT_DIR", help="Output DIR")
   args = parser.parse_args()

现在，我们确认 IEF 数据库是否存在如下所示：

if not os.path.exists(args.OUTPUT_DIR):
   os.makedirs(args.OUTPUT_DIR)
if os.path.exists(args.IEF_DATABASE) and \ os.path.isfile(args.IEF_DATABASE):
   main(args.IEF_DATABASE, args.OUTPUT_DIR)
else:
   print("[-] Supplied input file {} does not exist or is not a " "file".format(args.IEF_DATABASE))
   sys.exit(1)

现在，与我们之前在脚本中做的一样，通过光标连接到 SQLite 数据库以通过光标执行查询：

def main(database, out_directory):
   print("[+] Connecting to SQLite database")
   conn = sqlite3.connect(database)
   c = conn.cursor()

以下代码行将从数据库中提取表名：

print("List of all tables to extract")
c.execute("select * from sqlite_master where type = 'table'")
tables = [x[2] for x in c.fetchall() if not x[2].startswith('_') and not x[2].endswith('_DATA')]

现在，我们将从表中选择所有数据并通过在光标对象上使用 fetchall() 方法，我们将把包含表数据的元组列表完整地存储在变量中：

print("Dumping {} tables to CSV files in {}".format(len(tables), out_directory))

for table in tables:
c.execute("pragma table_info('{}')".format(table))
table_columns = [x[1] for x in c.fetchall()]

c.execute("select * from '{}'".format(table))
table_data = c.fetchall()

现在，通过使用 CSV_Writer() 方法，我们将内容写入 CSV 文件：

csv_name = table + '.csv'
csv_path = os.path.join(out_directory, csv_name)
print('[+] Writing {} table to {} CSV file'.format(table,csv_name))

with open(csv_path, "w", newline = "") as csvfile:
   csv_writer = csv.writer(csvfile)
   csv_writer.writerow(table_columns)
   csv_writer.writerows(table_data)

以上脚本将从 IEF 数据库的表中提取所有数据，并将内容写入我们选择的 CSV 文件。

Working with Cached Data

从 IEF 结果数据库中，我们可以获取 IEF 本身不一定支持的更多信息。我们可以使用 IEF 结果数据库从电子邮件服务提供商（如 Yahoo、Google 等）获取缓存数据，这些数据是信息的副产品。

以下是使用 IEF 数据库通过 Google Chrome 访问 Yahoo 邮件缓存数据的 Python 脚本。请注意，这些步骤与上一篇 Python 脚本中的步骤大致相同。

首先，按如下所示为 Python 导入必要的库：

from __future__ import print_function
import argparse
import csv
import os
import sqlite3
import sys
import json

现在，提供 IEF 数据库文件的路径，并提供命令行处理程序接受的两个位置参数，如下一个脚本中所示：

if __name__ == '__main__':
   parser = argparse.ArgumentParser('IEF to CSV')
   parser.add_argument("IEF_DATABASE", help="Input IEF database")
   parser.add_argument("OUTPUT_DIR", help="Output DIR")
   args = parser.parse_args()

现在，按照如下所示确认 IEF 数据库的存在：

directory = os.path.dirname(args.OUTPUT_CSV)

if not os.path.exists(directory):os.makedirs(directory)
if os.path.exists(args.IEF_DATABASE) and \ os.path.isfile(args.IEF_DATABASE):
   main(args.IEF_DATABASE, args.OUTPUT_CSV)
   else: print("Supplied input file {} does not exist or is not a " "file".format(args.IEF_DATABASE))
sys.exit(1)

现在，按如下所示与 SQLite 数据库建立连接，以通过光标执行查询：

def main(database, out_csv):
   print("[+] Connecting to SQLite database")
   conn = sqlite3.connect(database)
   c = conn.cursor()

可以使用以下代码行来获取 Yahoo 邮件联系缓存记录的实例：

print("Querying IEF database for Yahoo Contact Fragments from " "the Chrome Cache Records Table")
   try:
      c.execute("select * from 'Chrome Cache Records' where URL like " "'https://data.mail.yahoo.com" "/classicab/v2/contacts/?format=json%'")
   except sqlite3.OperationalError:
      print("Received an error querying the database --    database may be" "corrupt or not have a Chrome Cache Records table")
      sys.exit(2)

现在，查询返回的元组列表要保存到一个变量中，如下所示：

contact_cache = c.fetchall()
contact_data = process_contacts(contact_cache)
write_csv(contact_data, out_csv)

请注意，这里我们将使用两种方法，分别是 process_contacts() 用来设置结果列表以及遍历每个联系缓存记录， json.loads() 用来将从表中提取的 JSON 数据存储到变量中以进行进一步的操作：

def process_contacts(contact_cache):
   print("[+] Processing {} cache files matching Yahoo contact cache " " data".format(len(contact_cache)))
   results = []

   for contact in contact_cache:
      url = contact[0]
      first_visit = contact[1]
      last_visit = contact[2]
      last_sync = contact[3]
      loc = contact[8]
	   contact_json = json.loads(contact[7].decode())
      total_contacts = contact_json["total"]
      total_count = contact_json["count"]

      if "contacts" not in contact_json:
         continue
      for c in contact_json["contacts"]:
         name, anni, bday, emails, phones, links = ("", "", "", "", "", "")
            if "name" in c:
            name = c["name"]["givenName"] + " " + \ c["name"]["middleName"] + " " + c["name"]["familyName"]

            if "anniversary" in c:
            anni = c["anniversary"]["month"] + \"/" + c["anniversary"]["day"] + "/" + \c["anniversary"]["year"]

            if "birthday" in c:
            bday = c["birthday"]["month"] + "/" + \c["birthday"]["day"] + "/" + c["birthday"]["year"]

            if "emails" in c:
               emails = ', '.join([x["ep"] for x in c["emails"]])

            if "phones" in c:
               phones = ', '.join([x["ep"] for x in c["phones"]])

            if "links" in c:
              links = ', '.join([x["ep"] for x in c["links"]])

现在，对于公司、职位和笔记，使用 get 方法，如下所示：

company = c.get("company", "")
title = c.get("jobTitle", "")
notes = c.get("notes", "")

现在，我们将元数据和提取的数据元素追加到结果列表中，如下所示：

results.append([url, first_visit, last_visit, last_sync, loc, name, bday,anni, emails, phones, links, company, title, notes,total_contacts, total_count])
return results

现在，使用 CSV_Writer() 方法，我们将在 CSV 文件中写入内容：

def write_csv(data, output):
   print("[+] Writing {} contacts to {}".format(len(data), output))
   with open(output, "w", newline="") as csvfile:
      csv_writer = csv.writer(csvfile)
      csv_writer.writerow([
         "URL", "First Visit (UTC)", "Last Visit (UTC)",
         "Last Sync (UTC)", "Location", "Contact Name", "Bday",
         "Anniversary", "Emails", "Phones", "Links", "Company", "Title",
         "Notes", "Total Contacts", "Count of Contacts in Cache"])
      csv_writer.writerows(data)

借助于上面的脚本，我们可以使用 IEF 数据库处理来自 Yahoo 邮件的缓存数据。