pysppark&39；s&quot；BETWEEN&QUOT；函数：时间戳上的范围搜索不包括在内

问题描述

pyspark的"介于"函数不包含时间戳输入。

例如，如果我们想要两个日期之间的所有行，比如‘2017-04-13’和‘2017-04-14’，那么当日期作为字符串传递时，它会执行"独占"搜索。即省略‘2017-04-14 00：00：00’字段

但是，文档似乎暗示它是inclusive(虽然没有引用时间戳)

当然，一种方法是从上限添加一微秒，并将其传递给函数。然而，这并不是一个很好的解决办法。有没有执行包含式搜索的干净方法？

示例：

import pandas as pd
from pyspark.sql import functions as F
... sql_context creation ...
test_pd=pd.DataFrame([{"start":'2017-04-13 12:00:00', "value":1.0},{"start":'2017-04-14 00:00:00', "value":1.1}])
test_df = sql_context.createDataFrame(test_pd).withColumn("start", F.col("start").cast('timestamp'))
test_df.show()

+--------------------+-----+
|               start|value|
+--------------------+-----+
|2017-04-13 12:00:...|  1.0|
|2017-04-14 00:00:...|  1.1|
+--------------------+-----+

test_df.filter(F.col("start").between('2017-04-13','2017-04-14')).show()

+--------------------+-----+
|               start|value|
+--------------------+-----+
|2017-04-13 12:00:...|  1.0|
+--------------------+-----+

---

解决方案

已找到答案。pyspark的"BETWING"函数在处理时间戳输入时不一致。

1. 如果您在没有时间的情况下以字符串格式提供输入，它将执行独占搜索(与我们从上面链接的文档中预期的不同)。
2. 如果您以DateTime对象或精确时间(例如，‘2017-04-14 00：00：00’)形式提供输入，则它将执行包含性搜索。

对于上面的示例，以下是独占搜索的输出(使用pd.to_datetime)：

test_df.filter(F.col("start").between(pd.to_datetime('2017-04-13'),pd.to_datetime('2017-04-14'))).show()

+--------------------+-----+
|               start|value|
+--------------------+-----+
|2017-04-13 12:00:...|  1.0|
|2017-04-14 00:00:...|  1.1|
+--------------------+-----+

类似地，如果我们以字符串格式提供日期和时间，它似乎会执行包含式搜索：

test_df.filter(F.col("start").between('2017-04-13 12:00:00','2017-04-14 00:00:00')).show()

+--------------------+-----+
|               start|value|
+--------------------+-----+
|2017-04-13 12:00:...|  1.0|
|2017-04-14 00:00:...|  1.1|
+--------------------+-----+