对于我们的初始数据集，我们将选择一个网站，该网站看起来包含足够广泛的问题，可以从中构建有用的启发式方法。乍一看，写作社区似乎很合适。

每个网站档案都以 XML 文件的形式提供。我们需要构建一个管道来摄取这些文件并将它们转换为文本，然后我们可以从中提取特征。以下示例显示了datascience.stackexchange.comPosts.xml的文件：

<?xml version="1.0" encoding="utf-8"?>
<posts><row Id="5" PostTypeId="1" CreationDate="2014-05-13T23:58:30.457"
Score="9" ViewCount="516" Body="&lt;p&gt; &quot;Hello World&quot; example? "
OwnerUserId="5" LastActivityDate="2014-05-14T00:36:31.077"
Title="How can I do simple machine learning without hard-coding behavior?"
Tags="&lt;machine-learning&gt;" AnswerCount="1" CommentCount="1" /><row Id="7" PostTypeId="1" AcceptedAnswerId="10" ... />

为了能够利用这些数据，我们需要能够加载 XML 文件，解码文本中的 HTML 标签，并以更易于分析的格式（例如 pandas DataFrame）表示问题和相关数据。下面的函数就是这样做的。提醒一下，此函数的代码以及本书中的所有其他代码都可以在本书的 GitHub 存储库中找到。

import xml.etree.ElementTree as ElTdef parse_xml_to_csv(path, save_path=None):"""Open .xml posts dump and convert the text to a csv, tokenizing it in theprocess:param path: path to the xml document containing posts:return: a dataframe of processed text"""# Use python's standard library to parse XML filedoc = ElT.parse(path)root = doc.getroot()# Each row is a questionall_rows = [row.attrib for row in root.findall("row")]# Using tdqm to display progress since preprocessing takes timefor item in tqdm(all_rows):# Decode text from HTMLsoup = BeautifulSoup(item["Body"], features="html.parser")item["body_text"] = soup.get_text()# Create dataframe from our list of dictionariesdf = pd.DataFrame.from_dict(all_rows)if save_path:df.to_csv(save_path)return df

对于训练模型所需的任何预处理，这通常是推荐的做法。在模型优化过程之前运行的预处理代码会显着减慢实验速度。尽可能始终提前预处理数据并将其序列化到磁盘。

一旦我们有了这种格式的数据，我们就可以检查我们之前描述的方面。我们接下来详述的整个探索过程可以在本书 GitHub 存储库的数据集探索笔记本中找到。

首先，我们使用它df.info()来显示关于我们的 DataFrame 的摘要信息，以及任何空值。这是它返回的内容：

df.info()

AcceptedAnswerId         4124 non-null float64
AnswerCount              33650 non-null int64
Body                     33650 non-null object
ClosedDate               969 non-null object
CommentCount             33650 non-null int64
CommunityOwnedDate       186 non-null object
CreationDate             33650 non-null object
FavoriteCount            3307 non-null float64
Id                       33650 non-null int64
LastActivityDate         33650 non-null object
LastEditDate             10521 non-null object
LastEditorDisplayName    606 non-null object
LastEditorUserId         9975 non-null float64
OwnerDisplayName         1971 non-null object
OwnerUserId              32117 non-null float64
ParentId                 25679 non-null float64
PostTypeId               33650 non-null int64
Score                    33650 non-null int64
Tags                     7971 non-null object
Title                    7971 non-null object
ViewCount                7971 non-null float64
body_text                33650 non-null object
full_text                33650 non-null object
text_len                 33650 non-null int64
is_question              33650 non-null bool

我们可以看到我们有超过 31,000 个帖子，其中只有大约 4,000 个有一个被接受的答案。此外，我们可以注意到Body表示帖子内容的 的某些值是 null，这看起来很可疑。我们希望所有帖子都包含文本。查看带有 null 的行Body很快就会发现它们属于一种在数据集提供的文档中没有引用的帖子，因此我们将它们删除。

让我们快速深入了解格式，看看我们是否理解它。每个帖子PostTypeId的问题值为 1，答案值为 2。我们希望看到哪种类型的问题获得高分，因为我们希望将问题的分数用作我们真实标签（问题的质量）的弱标签。

首先，让我们将问题与相关答案进行匹配。以下代码选择所有具有可接受答案的问题，并将它们与所述答案的文本连接起来。然后我们可以查看前几行并验证答案是否与问题匹配。这也将使我们能够快速浏览文本并判断其质量。

questions_with_accepted_answers = df[df["is_question"] & ~(df["AcceptedAnswerId"].isna())
]
q_and_a = questions_with_accepted_answers.join(df[["Text"]], on="AcceptedAnswerId", how="left", rsuffix="_answer"
)pd.options.display.max_colwidth = 500
q_and_a[["Text", "Text_answer"]][:5]

在表 4-2中，我们可以看到问题和答案似乎是匹配的，并且文本似乎大部分是正确的。我们现在相信我们可以将问题与其相关的答案相匹配。

作为最后一次健全性检查，让我们看看有多少问题没有得到回答，有多少问题至少得到了一个答案，有多少答案被接受了。

has_accepted_answer = df[df["is_question"] & ~(df["AcceptedAnswerId"].isna())]
no_accepted_answers = df[df["is_question"]& (df["AcceptedAnswerId"].isna())& (df["AnswerCount"] != 0)
]
no_answers = df[df["is_question"]& (df["AcceptedAnswerId"].isna())& (df["AnswerCount"] == 0)
]print("%s questions with no answers, %s with answers, %s with an accepted answer"% (len(no_answers), len(no_accepted_answers), len(has_accepted_answer))
)# 3584 questions with no answers, 5933 with answers, 4964 with an accepted answer.

我们在已回答、部分回答和未回答的问题之间的分配相对平均。这似乎是合理的，所以我们可以有足够的信心继续我们的探索。

我们了解数据的格式，并且有足够的数据可以开始使用。如果您正在处理一个项目并且您当前的数据集太小或包含大多数难以解释的特征，您应该收集更多数据或完全尝试不同的数据集。

矢量化

图 4-4。矢量化表示的例子

向量化数据的方法有很多种，因此我们将重点介绍一些适用于一些最常见数据类型（例如表格数据、文本和图像）的简单方法。

Geoffrey Hinton 因其在深度学习方面的工作而获得图灵奖，他在演讲中承认了这个问题并给出了以下提示：“要处理 14 维空间中的超平面，请想象一个 3D 空间，然后对自己说14高声。每个人都这样做。” （参见 G. Hinton 等人的演讲中的幻灯片 16，“神经网络架构的主要类型概述”在这里。）如果这对你来说似乎很难，你会很高兴听到降维，这是以更少的维度表示向量同时尽可能多地保留其结构的技术。

这些投影有助于发现您随后可以调查的数据模式。但是，它们是真实数据的近似表示，因此您应该通过使用其他方法查看此类图来验证您所做的任何假设。例如，如果您看到所有属于一个类的点簇似乎具有共同特征，请检查您的模型是否确实利用了该特征。

首先，使用降维技术绘制数据，并根据您要检查的属性为每个点着色。对于分类任务，首先根据其标签为每个点着色。例如，对于无监督任务，您可以根据您正在查看的给定特征的值对点进行着色。这使您可以查看是否有任何区域看起来很容易让您的模型分离，或者更棘手。

以下是如何使用 UMAP 轻松完成此操作，将我们在“矢量化”中生成的嵌入传递给它：

import umap# Fit UMAP to our data, and return the transformed data
umap_emb = umap.UMAP().fit_transform(embeddings)fig = plt.figure(figsize=(16, 10))
color_map = {True: '#ff7f0e',False:'#1f77b4'
}
plt.scatter(umap_emb[:, 0], umap_emb[:, 1],c=[color_map[x] for x in sent_labels],s=40, alpha=0.4)

提醒一下，我们决定开始时只使用来自 Stack Exchange 作者社区的数据。该数据集的结果显示在图 4-9中。乍一看，我们可以看到一些我们应该探索的区域，比如左上角未回答问题的密集区域。如果我们能够确定它们具有哪些共同特征，我们可能会发现有用的分类特征。

在对数据进行矢量化和绘图后，开始系统地识别相似数据点组并探索它们通常是个好主意。我们可以简单地通过查看 UMAP 图来做到这一点，但我们也可以利用聚类。

图 4-9。根据给定问题是否已成功回答着色的 UMAP 图

聚类

以下是一个示例代码片段，用于对我们的数据集进行聚类，以及使用我们之前描述的维数技术 UMAP 可视化我们的聚类。

from sklearn.cluster import KMeans
import matplotlib.cm as cm# Choose number of clusters and colormap
n_clusters=3
cmap = plt.get_cmap("Set2")# Fit clustering algorithm to our vectorized features
clus = KMeans(n_clusters=n_clusters, random_state=10)
clusters = clus.fit_predict(vectorized_features)# Plot the dimentionality reduced features on a 2D plane
plt.scatter(umap_features[:, 0], umap_features[:, 1],c=[cmap(x/n_clusters) for x in clusters], s=40, alpha=.4)
plt.title('UMAP projection of questions, colored by clusters', fontsize=14)

正如您在图 4-10中所见，我们本能地对 2D 表示进行聚类的方式并不总是与我们的算法在矢量化数据上找到的聚类相匹配。这可能是因为我们的降维算法中的伪影或复杂的数据拓扑。事实上，将点的分配集群添加为特征有时可以通过利用所述拓扑来提高模型的性能。

拥有集群后，检查每个集群并尝试确定每个集群的数据趋势。为此，您应该为每个聚类选择几个点，就好像您是模型一样，从而用您认为正确答案应该是什么来标记这些点。在下一节中，我将描述如何进行此标记工作。

图 4-10。可视化我们的问题，按集群着色

虽然这种表示很简单，但我们的模型需要学习一些相当复杂的模式来识别该月的最后两个周末。例如2018年最后一个周末（29日00:00:00到12月30日23:59:59），Unix时间表示范围为1546041600到1546214399（你可以验证如果你取两个数字之间的差值，表示以秒为单位的 23 小时 59 分 59 秒间隔）。

这个范围并没有使它特别容易与其他月份的其他周末相关联，因此当使用 Unix 时间作为输入时，模型很难将相关周末与其他周末区分开来。我们可以通过生成特征来简化模型的任务。

特征交叉