Deleting first instance of date in dataframe value Python

user_8378885 0
Viewed 81

I have a dataframe that looks like this:

Publication Date        Date              Value
2018-01-01              2018-01-01        2
2018-01-01              2018-01-02        13
2018-01-01              2018-01-03        14
2018-01-01              2018-01-04        12
2018-01-02              2018-01-02        1.5
2018-01-02              2018-01-03        14
2018-01-02              2018-01-04        15
2018-01-02              2018-01-05        15.5
2018-01-03              2018-01-03        1.8
2018-01-03              2018-01-04        13
2018-01-03              2018-01-05        17
2018-01-03              2018-01-06        15
.
.

I want to delete every 1st row of the data where the Publication Date changes because there are very small values on each iteration. The output would look like:

Publication Date        Date              Value
2018-01-01              2018-01-02        13
2018-01-01              2018-01-03        14
2018-01-01              2018-01-04        12
2018-01-02              2018-01-03        14
2018-01-02              2018-01-04        15
2018-01-02              2018-01-05        15.5
2018-01-03              2018-01-04        13
2018-01-03              2018-01-05        17
2018-01-03              2018-01-06        15
.
.

The data is basically in this format but includes extra columns not shown (ie: the Date switches by Date+1 for every Publication Date).

What's the best way to do this?

pandas-groupby pandas dataframe python-3.x python
2 Answers

You can use boolean indexing with shift

df[df['Publication Date'] == df['Publication Date'].shift()]


    Publication Date    Date    Value
1   2018-01-01  2018-01-02  13.0
2   2018-01-01  2018-01-03  14.0
3   2018-01-01  2018-01-04  12.0
5   2018-01-02  2018-01-03  14.0
6   2018-01-02  2018-01-04  15.0
7   2018-01-02  2018-01-05  15.5
9   2018-01-03  2018-01-04  13.0
10  2018-01-03  2018-01-05  17.0
11  2018-01-03  2018-01-06  15.0
user_62873080

Using duplicated:

res = df[df.duplicated(subset=['PublicationDate'])]

Or, more generalizable, using cumcount or tail with groupby:

res = df[df.groupby('PublicationDate').cumcount() > 0]

res = df.groupby('PublicationDate').apply(lambda x: x.tail(len(x)-1))\
        .reset_index(drop=True)

print(res)

  PublicationDate        Date  Value
0      2018-01-01  2018-01-02   13.0
1      2018-01-01  2018-01-03   14.0
2      2018-01-01  2018-01-04   12.0
3      2018-01-02  2018-01-03   14.0
4      2018-01-02  2018-01-04   15.0
5      2018-01-02  2018-01-05   15.5
6      2018-01-03  2018-01-04   13.0
7      2018-01-03  2018-01-05   17.0
8      2018-01-03  2018-01-06   15.0
user_92095460
Related