pandas从数据框中用连续的差异过滤行< n。

我有一个 pandas 数据帧这样。

id         time
1             1
2             3
3             4
4             5
5             8
6             8

我想删除相隔不到2秒的行。我首先计算了连续行之间的时间差,并将其添加为一列。

df['time_since_last_detect'] = df.time.diff().fillna(0)

结果是:

id         time       time_since_last_detect
1             1                            0
2             3                            2
3             4                            1
4             5                            1
5             8                            3
6             8                            0

然后用 df[df.time_since_last_detect > 1],其结果是。

id         time       time_since_last_detect
2             3                            2
5             8                            3

但问题是,一旦有一行被删除,它就不会重新计算与新的前一行的差值。例如,在删除第一行和第三行之后,第二行和第四行之间的差值将是2。但是第四行还是会被这个过滤器删除,这是我不希望发生的。解决这个问题的最好方法是什么?这就是我想要达到的结果。

id         time       time_since_last_detect
2             3                            2
4             5                            1
5             8                            3

解决方案:

不是一个完美的解决方案,但你可以做下面的情况。需要修改下面的,使一个通用的函数。

import pandas as pd

d = {'id' : [1,2,3,4,5,6], 'time' : [1,3,4,5,8,8]}
df = pd.DataFrame(data =d)

df['time_since_last_detect'] = df.time.diff().fillna(0)
timeperiod = 2

df['time_since_last_sum'] =  df['time_since_last_detect'].rolling(min_periods=1, window=timeperiod).sum().fillna(0) # gets sum of rolling period , in this case 2. One case change as needed

df_final =  df.loc[(df['time_since_last_detect'] >= 2) | (df['time_since_last_sum'] == 2)] # Filter data with 2 OR condition 1. If last_detect>2 or last of 2 rolling period is 2 

输出:

   id  time  time_since_last_detect  time_since_last_sum
   2     3                     2.0                  2.0
   4     5                     1.0                  2.0
   5     8                     3.0                  4.0

给TA打赏
共{{data.count}}人
人已打赏
解决方案

在WebSocket握手过程中出错。意外的响应代码。在Minikube的Ingress上出现502

2022-4-20 20:00:08

解决方案

如何用非数字值对数据框进行分组和透视。

2022-4-20 20:00:10

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索