​从轨迹中预训练情境时间感知的、用于用户位置预测的地点嵌入

2021-04-28 00:00:00 时间 预测 轨迹 嵌入 地点
对轨迹数据进行预训练地点嵌入能够用于用户下一个地点预测任务。现有的基于轨迹数据预训练的地点嵌入方法，将一个地点用单一的向量表达。然而在现实世界中，一个地点通常在不同的场景下扮演不同的功能。如果轨迹中的地点嵌入能够准确表达其功能，用户下一个地点预测的性能可以得到提升。

本文介绍北京交通大学等机构在国际人工智能领域顶会AAAI’21上发表的论文《Pre-training Context and Time Aware Location Embeddings from Spatial-TemporalTrajectories for User Next Location Prediction》，使得在计算地点嵌入的时候能够考虑具体场景下（一条轨迹中）的空间相邻地点。为了在地点嵌入中进一步融合轨迹中的时间信息，本文提出了一个时间编码模块和一个预训练目标。
一、问题背景
对轨迹数据中的地点进行地点嵌入能够用于用户下一个地点预测任务。与用全连接网络进行地点嵌入相比，利用无监督方法或自监督目标预训练地点嵌入可以融合更通用以及更容易解释的关于地点的信息。通过这种方式，得到的预训练地点嵌入可以用于大量下游模型，提升计算效率以及预测准确性。
轨迹中的地点嵌入类似于自然语言处理中的词嵌入（Word Embedding）。但是，轨迹包含了一个文本中不具备的时间维度的信息。如图1（a）所示，在轨迹中两个地点的访问时间差可以反映访问频次以及驻留时长等信息。另一方面，时间也潜在反映了一个地点的功能。如图1（b）所示，对于不同类型的地点，用户的访问时间分布完全不同。现有方法没有显式地考虑相对时间差。
图1 轨迹中的时间信息
另一方面，多功能地点在现实世界中是一个常见的现象。比如，一个购物中心可能包含了电影院和餐馆，一个办公场所可能包含娱乐设施和健身房。如图2所示，人们访问同一个地点在不同场景下可能是为了不同的目的。现有的方法，将一个地点表示为单一的向量，不能处理在不同场景下地点的功能。
图2 一个地点在不同场景下可能具备不同功能
为了处理上述地点嵌入中的问题，作者提出了场景化及时间感知的地点嵌入模型CTLE。CTLE通过学习得到的映射函数根据轨迹上下文动态生成地点嵌入。映射函数通过Transformer编码器实现，并利用预训练任务“预测遮罩地点”建模用户轨迹中的序列关系。为了进一步融合时间信息，作者通过一个时间编码模块建模两个地点间的相对时间差，并利用预训练任务“预测遮罩小时”提取地点功能。
二、CTLE模型
图3展示了CTLE模型架构，其包含了三个模块：1）编码层，其融合时间编码向量以及地点编码向量；2）Transformer编码器，其作为映射函数计算在给定场景邻居下的地点嵌入；3）预训练目标，其通过“遮罩地点预测”以及“遮罩小时预测”两个自监督目标得到预训练地点嵌入。下面详细介绍CTLE模型的构建过程。
图3 CTLE模型架构
2.1为场景感知地点嵌入的预训练Transformer
给定一条轨迹，作者首先将其地点序列通过全连接网络进行地点编码，得到地点编码后的向量序列。然后将序列输入到Transformer编码器中，建模地点之间的相关性，文中将Transformer编码器后一层的输出记为，作为计算得到的地点嵌入。
受BERT模型启发，作者提出自监督目标“遮罩地点预测”来学习场景感知的地点嵌入。给定一条轨迹，作者随机遮罩20%的地点，并且替换该地点为一个特殊的记号，然后将处理过的轨迹输入模型，然后利用模型预测被遮罩的地点。通过该自监督目标，学习得到的地点嵌入能够保证与场景相关。
2.2 融合时间信息
作者通过时间编码和预训练目标将时间信息融入模型。
1）在编码层进行时间编码。原始的Transformer通过引入位置编码保留原始序列的顺序。但是对于轨迹来说，地点访问记录在时间维度上并非均匀分布，并且相对时间差包含了重要的信息，如图1（a）所示。因此，作者提出了两种改进：a）将原始位置编码中的位置索引替换为访问位置的时间戳，b）将位置编码中的参数改为可学习的。对于得到的时间编码，通过向量相加，将其与地点编码进行融合。通过这种方式，模型能够在位置嵌入中考虑相对访问时间差。
2）在预训练中引入“遮罩小时预测”目标。为了进一步从时间中提取信息，作者提出了“遮罩小时预测”自监督目标。作者利用与2.1中相似的遮罩方式，遮罩轨迹中的部分时间，然后让模型预测该位置是在一天中的第几小时被访问。因此CTLE模型终的训练损失函数是“遮罩地点预测”和“遮罩小时预测”两类损失的加和。预训练阶段的模型结构如图3（b）所示。
2.3 应用范围
为了保证CTLE学习得到的场景化地点嵌入有效，轨迹需要相对较密，这样目标地点的上下文才会相对比较充分。因此本文提出的方法不适用于签到等稀疏轨迹数据。
三、实验结果
作者在北京和沈阳两个真实的移动基站数据集上进行了实验，每个基站被认为是一个地点，作者剔除了停留时长小于5分钟的地点用于过滤非停留地点。表1给出了数据集的统计信息。
表1 数据集统计信息
作者比较了不同地点嵌入方法运用在不同下一个地点预测模型上的性能，实验结果如表2所示。实验结果表明，本文提出的CTLE预训练地点嵌入方法针对下一个地点预测问题，在不同数据集上，运用在不同种模型中，均取得了优的性能。
表2 不同方法用于下一个地点预测的性能
作者分析了CTLE中各模块的性能，实验结果如图4所示。实验结果表明，时间编码和“遮罩小时预测”任务均能提升模型的性能。
图4 模块性能分析
四、小结

在本文中，作者提出了一种新型的场景以及时间感知的地点嵌入方法CTLE。它依据场景动态生成地点的嵌入向量，使得一个地点在给定场景下的特定功能可以被识别。在两个真实数据集上的实验表明了CTLE位置嵌入方法的有效性。

关注公众号，订阅更多内容

转载请注明：康瑞部落 » ​从轨迹中预训练情境时间感知的、用于用户位置预测的地点嵌入

相关文章