КАК PANDAS КОНВЕРТИРУЕТ МОИ ДАННЫЕ В КАТЕГОРИИ В ЭТОЙ СТРОКЕ КОДА

  
 



   0 а 

   1 б 

   2 в 

   3 а 



  

  
 

 




   0 а а 

   1 б б 

   2 с с 

   3 а а 

  

  
 

 

 



   группа значений 

   0 65 60 - 69 

   1 49 40 - 49 

   2 56 50 - 59 

   3 43 40 - 49 

   4 43 40 - 49 

   5 91 90 - 99 

   6 32 30 - 39 

   7 87 80 - 89 

   8 36 30 - 39 

   9 8 0 - 9 

  

  
 
 



 



   0 НЭН 

   1 б 

   2 в 

   3 НаН 




 

 



   А Б 

   0 NaN 

   1 б б 

   2 с с 

   3 а NaN 

  

  


   Объект 

   Категория Б 


  

  
 



   Категория А 

   Категория Б 


  

  


   0 а 

   1 б 

   2 в 

   3 а 

   Имя: А, тип d: категория 





   0 б 

   1 в 

   2 в 

   3 д 

   Имя: B, dtype: категория 


  

  
 

 



   Категория А 

   Категория Б 


  

  


   0 а 

   1 б 

   2 в 

   3 а 

   Имя: А, тип d: категория 





   0 б 

   1 с 

   2 в 

   3 д 

   Имя: B, dtype: категория 


  

  
 

 

 

 



   0 НЭН 

   1 б 

   2 в 

   3 НаН 



  

  
 

 

 

 



   0 а 

   1 б 

   2 в 

   3 а 

   Имя: А, тип d: категория 





   0 б 

   1 с 

   2 в 

   3 д 

   Имя: B, dtype: категория 


  

  
 



   0 а 

   1 б 

   2 в 

   3 а 



 



   0 а 

   1 б 

   2 в 

   3 а 






   0 а 

   1 б 

   2 в 

   3 а 





  

  
 

 


 



   CategoricalDtype(categories=None, order=False, категории_dtype=None) 

  

  
 

   # Равно, поскольку порядок не учитывается, если order=False 

 


   # Неравен, так как второй CategoricalDtype упорядочен 

 

  

  
 

 



   кот с 

   считать 3 3 

   уникальный 2 2 

   верх к с 

   частота 2 2 




   счет 3 

   уникальный 2 

   верх в 

   частота 2 

   Имя: кот, тип d: объект 

  

  
 



   0 б 

   1 а 

   2 б 

   3 в 













  

  
 



   0 а 

   1 б 

   2 в 

   3 а 




 

 



   0 Группа а 

   1 Группа б 

   2 Группа в 

   3 Группа А 




   # Вы также можете передать объект, похожий на dict, для сопоставления переименования 

 



   0 Группа а 

   1 Группа б 

   2 Группа в 

   3 Группа а 



  

  

 
 
 

   ValueError: Категориальные категории должны быть уникальными 

  

  

 
 
 

   ValueError: Категориальные категории не могут быть нулевыми 

  

  
 






   0 Группа а 

   1 Группа б 

   2 Группа в 

   3 Группа А 



  

  
 



   0 Группа а 

   1 Группа б 

   2 Группа в 

   3 Группа а 



  

  
 



   0 а 

   1 б 

   2 а 






   0 а 

   1 б 

   2 а 



  

  
 



   0 один 

   1 два 

   2 четыре 

   3 - 




 



   0 один 

   1 два 

   2 четыре 

   3 НаН 



  

  
 

 

 

 



   0 а 

   3 а 

   1 б 

   2 в 




 

  

  


   0 а 

   3 а 

   1 б 

   2 в 






   0 а 

   3 а 

   1 б 

   2 с 



  

  
 

 



   0 1 

   1 2 

   2 3 

   3 1 




 



   1 2 

   2 3 

   0 1 

   3 1 




 

  

  
 

 



   0 1 

   1 2 

   2 3 

   3 1 




 



   1 2 

   2 3 

   0 1 

   3 1 




 

  

  
 
 
 
 
 
 
 
 
 



 


   2 е 1 

   3 е 2 

   7 а 1 

   6 а 2 

   0 б 1 

   5 б 1 

   1 б 2 

   4 б 2 

  

  
 

 


   7 а 1 

   6 а 2 

   0 б 1 

   5 б 1 

   1 б 2 

   4 б 2 

   2 е 1 

   3 е 2 

  

  
 

 

 



   0 1 

   1 2 

   2 3 






   0 2 

   1 2 

   2 2 






   0 2 

   1 2 

   2 2 



  

  
 

   0 Верно 

   1 Ложь 

   2 Ложь 



 

   0 Верно 

   1 Ложь 

   2 Ложь 


  

  
 

   0 Ложь 

   1 Верно 

   2 Ложь 



 

   0 Верно 

   1 Верно 

   2 Верно 



 

   0 Ложь 

   1 Верно 

   2 Ложь 


  

  

 
 
 

   Ошибка типа: категориальные значения можно сравнивать только в том случае, если «категории» одинаковы. 

  

  
 


 
 
 

   Ошибка типа: невозможно сравнить категориальное значение для op __gt__ с типом  

   Если вы хотите сравнить значения, используйте «np.asarray(cat) other». 


 

  

 d 0 

   
 

 

 



            а с 1,0 

            d 2,0 

            б в 3,0 

            d 4,0 

           
           

  
 

 

 

 

 

   значения кошек 

   j б 2 

   к б 2 


 

   категория кошек 

   значения int64 



 

   ч а 

   и б 

   дж б 

   Имя: кошки, dtype: категория 



 

   ценности кошек 

   и б 2 

   j б 2 

   к б 2 

  

  
   # получить всю строку «h» как серию 

 

   кошки а 

   значения 1 

   Имя: h, dтип: объект 

  

  
 


 

   # возвращает строку 


  

  
 

   высота х 

   Имя: кошки, тип d: категория 


  

  
 

 



   0 а 

   1 а 

   2 б 

   3 б 






   0 Верно 

   1 Верно 

   2 Ложь 

   3 Ложь 



 

 



   0 01.01.2015 

   1 02.01.2015 

   2 03.01.2015 

   3 04.01.2015 

   4 05.01.2015 






   0 1 

   1 2 

   2 3 

   3 4 

   4 5 


  

  
 

 

 


 

           0 Верно 


          
 1 Верно 

          
 2 Верно 

          3 Верно 

  
 

   # те же категории 

 

 

 

   0 а 

   1 б 

   0 а 

   1 б 

   2 а 




   # разные категории 

 

 

   0 а 

   1 б 

   0 б 

   1 с 



   # Выходной тип dtype выводится на основе значений категорий 

 

 

 

   0 1,0 

   1 2,0 

   0 3,0 

   1 4,0 



 

   0 а 

   1 б 

   0 б 

   1 с 




 



  

  
 

 

 

   
Traceback (последний вызов — последний)
 
 

 в  (to_union, sort_categories, ignore_order) 

   
 
   
   «чтобы объединить упорядоченные категорики, все категории должны быть одинаковыми» 

 
   
   «Категорический.упорядоченный должен быть одинаковым» 

   
 

: для объединения упорядоченных категорий все категории должны быть одинаковыми.
  

  
 

 






   # «b» кодируется как 0 









   # «b» кодируется как 1 




 






   # «b» везде кодируется как 0, так же, как и c1, но отличается от c2 



  

 # переименовываем категории 

 Безымянный: 0 int64 

  
 

   # только две категории 



   0 а 

   1 б 

   2 НаН 

   3 а 






   0 0 

   1 1 

   2 -1 

   3 0 


  

  
 



   0 а 

   1 б 

   2 НаН 






   0 Ложь 

   1 Ложь 

   2 Верно 





   0 а 

   1 б 

   2 а 



  

  
 

   # тип объекта 




   # категория dтип 



  

  
 

   # тип объекта 




   # категория dтип 



  

  

 
 
 

   TypeError: тип данных «категория» не понятен 


 


 
 
 


  

 int64 

  
 

 

 

 




   # Теперь сортируется по порядку категорий 



   строковые значения 

   4 д 1 

   2 б 2 

   3 с 3 

   1 а 4 

  

Мне нужна помощь в понимании этой строки кода:

 y_train2 = train_target2.astype('category').cat.codes

  

Прав ли я, говоря это y_train2
заменяется на категориальную переменную с помощью astype(category)
а потом cat.codes
используется для преобразования его в целые числа?

 # Train data pre-processing
train_target2 = df_train_01['class_2'] 
train_target5 = df_train_01['class_5']

df_train_02.drop(['class_2', 'class_5'], axis=1, inplace=True)

# convert text labels to integers
y_train2 = train_target2.astype('category').cat.codes
y_train5 = train_target5.astype('category').cat.codes

# Test data pre-processing
test_target2 = df_test_01['class_2'] 
test_target5 = df_test_01['class_5']

# drop 'class_2' and 'class_5' columns
df_test_02.drop(['class_2', 'class_5'], axis=1, inplace=True)
y_test2 = test_target2.astype('category').cat.codes
y_test5 = test_target5.astype('category').cat.codes

  

5 золотых значков
39 серебряных знаков
78 бронзовых знаков

спросил 5 апр. 2021 в 17:45

Я думаю, что вы правильно понимаете функцию и атрибут фрейма данных; pdf.astype(‘category’) преобразует значения в категориальные данные и PDF. Categorical.codes() (или pdf. Series.codes() ) — это атрибут, который преобразует значения в набор целых чисел, начинающихся с 0.
Попробуйте ввести какой-нибудь простой фрагмент ниже, чтобы увидеть, как они работают.

 from sklearn.datasets import load_iris
import pandas as pd
import numpy as np

iris = load_iris()
pdf = pd.DataFrame(iris.data, columns=['s-length', 's-width', 'p-length', 'p-width'])

print(
  iris['s-length'].astype('category'),
  len(np.unique(iris['s-length'])), # -> 35
  len( set(iris['s-length'].astype('category').cat.codes ), # -> 35
  np.unique(iris['s-length'].astype('category').cat.codes)), # -> array([ 0, 1,...34]), dtype=int8)
)

  

ответ дан 5 апр. 2021 в 18:37

6 серебряных знаков
17 бронзовых знаков

По сути, категориальный тип данных pandas представляет собой сопоставление между значениями, которые не имеют числовой интерпретации и уникального номера для каждого значения.

Давайте разберем ваш код:

 # Take the series `train_target2` and convert it to categorical type
train_target2.astype('category')

# Access the attributes or methods of a categorical series
train_target2.astype('category').cat

# Take the `codes` attribute
train_target2.astype('category').cat.codes

  

На самом деле .codes
не преобразует данные в числа. Скорее, вы берете только числовой эквивалент каждой категории. Строго говоря, .astype('category')
— это часть, которая преобразовала ваши данные в категориальные.

Вы можете найти атрибуты и методы этого типа данных здесь
.

ответ дан 5 апр 2021 в 19:17

Артуро Сбр

5 золотых значков
39 серебряных знаков
78 бронзовых знаков

У меня есть фрейм данных с данными такого типа (слишком много столбцов):

 col1        int64
col2        int64
col3        category
col4        category
col5        category

  

Столбцы выглядят так:

 Name: col3, dtype: category
Categories (8, object): [B, C, E, G, H, N, S, W]

  

Я хочу преобразовать все значения в каждом столбце в целые числа следующим образом:

 [1, 2, 3, 4, 5, 6, 7, 8]

  

Я решил это для одного столбца следующим образом:

 dataframe['c'] = pandas.Categorical.from_array(dataframe.col3).codes

  

Теперь у меня есть два столбца в моем фрейме данных — старый col3
и новый c
и нужно удалить старые столбцы.

Это плохая практика. Это работает, но в моем фрейме данных слишком много столбцов, и я не хочу делать это вручную.

Как мне сделать это умнее?

спросил 14 авг. 2015 в 13:31

Сначала создаём пример фрейма данных:

 In [75]: df = pd.DataFrame({'col1':[1,2,3,4,5], 'col2':list('abcab'),  'col3':list('ababb')})

In [76]: df['col2'] = df['col2'].astype('category')

In [77]: df['col3'] = df['col3'].astype('category')

In [78]: df.dtypes
Out[78]:
col1       int64
col2    category
col3    category
dtype: object

  

 In [80]: cat_columns = df.select_dtypes(['category']).columns

In [81]: cat_columns
Out[81]: Index([u'col2', u'col3'], dtype='object')

In [83]: df[cat_columns] = df[cat_columns].apply(lambda x: x.cat.codes)

In [84]: df
Out[84]:
   col1  col2  col3
0     1     0     0
1     2     1     1
2     3     2     0
3     4     0     1
4     5     1     1

  

1. NaN становится -1
2. Этот метод является быстрым, поскольку взаимосвязь между кодом и категорией легко доступна и ее не нужно вычислять.

ответ дан 14 авг 2015 в 14:01

Меня это устраивает:

 pandas.factorize( ['B', 'C', 'D', 'B'] )[0]

  

 [0, 1, 2, 0]

  

ответил 12 сен 2017 в 23:20

8 золотых значков
53 серебряных знака
71 бронзовый знак

Если вас беспокоило только то, что вы создали дополнительный столбец и удалили его позже, просто не используйте сначала новый столбец.

 dataframe = pd.DataFrame({'col1':[1,2,3,4,5], 'col2':list('abcab'),  'col3':list('ababb')})
dataframe.col3 = pd.Categorical.from_array(dataframe.col3).codes

  

Всё готово. Теперь как Categorical.from_array
устарел, используйте Categorical
напрямую

 dataframe.col3 = pd.Categorical(dataframe.col3).codes

  

Если вам также нужно обратное сопоставление индекса с меткой, есть еще лучший способ для этого

 dataframe.col3, mapping_index = pd.Series(dataframe.col3).factorize()

  

 print(dataframe)
print(mapping_index.get_loc("c"))

  

ответ дан 27 мая 2017 в 5:56

4 золотых значка
32 серебряных знака
51 бронзовый знак

Здесь необходимо преобразовать несколько столбцов. Итак, один из подходов, который я использовал, — это .

 for col_name in df.columns:
    if(df[col_name].dtype == 'object'):
        df[col_name]= df[col_name].astype('category')
        df[col_name] = df[col_name].cat.codes

  

При этом все столбцы строковых/объектных типов преобразуются в категориальные. Затем применяет коды к каждому типу категории.

ответ дан 15 фев 2018 в 6:07

Что я делаю, я replace
ценности.

 df['col'].replace(to_replace=['category_1', 'category_2', 'category_3'], value=[1, 2, 3], inplace=True)

  

Таким образом, если col
столбец имеет категориальные значения, они заменяются числовыми значениями.

ответ дан 6 июля 2020 г. в 10:32

3 серебряных значка
14 бронзовых знаков

 from sklearn.preprocessing import LabelEncoder 
labelencoder= LabelEncoder() #initializing an object of class LabelEncoder
data['C'] = labelencoder.fit_transform(data['C']) #fitting and transforming the desired categorical column.

  

ответ дан 9 янв. 2020 в 6:52

Чтобы преобразовать все столбцы в Dataframe в числовые данные:

 df2 = df2.apply(lambda x: pd.factorize(x)[0])

  

ответ дан 17 марта 2021 в 16:23

Ответы здесь кажутся устаревшими. У Панд теперь есть factorize()

функция, и вы можете создавать категории как:

 df.col.factorize() 

  

 pandas.factorize(values, sort=False, na_sentinel=- 1, size_hint=None)

  

ответ дан 5 дек 2020 в 0:03

3 золотых значка
31 серебряный знак
46 бронзовых знаков

 df['col3']=df['col3'].replace(['B', 'C', 'E', 'G', 'H', 'N', 'S', 'W'],[1,2,3,4,5,6,7,8])

  

 df['col3']=df['col3'].map({1: 'B', 2: 'C', 3: 'E', 4:'G', 5:'H', 6:'N', 7:'S', 8:'W'})

  

ответ дан 31 дек 2021 в 11:16

Один из самых простых способов преобразовать категориальную переменную в фиктивные/индикаторные переменные – использовать get_dummies
предоставлено пандами.
Скажем, например, у нас есть данные, в которых sex
категориальное значение (мужской и женский)
и вам нужно преобразовать его в манекен/индикатор, вот как это сделать.

 tranning_data = pd.read_csv("../titanic/train.csv")
features = ["Age", "Sex", ] //here sex is catagorical value
X_train = pd.get_dummies(tranning_data[features])
print(X_train)

Age Sex_female Sex_male
20    0          1
33    1          0
40    1          0
22    1          0
54    0          1
  

ответ дан 28 сен 2020 в 8:46

Хади Мир

2 золотых значка
29 серебряных знаков
32 бронзовых знака

 categorical_columns =['sex','class','deck','alone']

for column in categorical_columns:
     df[column] = pd.factorize(df[column])[0]

  

Факторизация преобразует каждые уникальные категориальные данные в столбце в определенное число (от 0 до бесконечности).

ответ дан 6 янв. 2022 в 20:01

 dataset=pd.read_csv('Data2.csv')
np.set_printoptions(threshold=np.nan)
X = dataset.iloc[:,:].values

  

 from sklearn.preprocessing import LabelEncoder
labelencoder_X=LabelEncoder()
X[:,0] = labelencoder_X.fit_transform(X[:,0])

  

11 золотых знаков
43 серебряных знака
52 бронзовых знака

ответил 30 июля 2017 в 22:19

Вы можете сделать это без кода, как показано ниже:

 f = pd.DataFrame({'col1':[1,2,3,4,5], 'col2':list('abcab'),'col3':list('ababb')})

f['col1'] =f['col1'].astype('category').cat.codes
f['col2'] =f['col2'].astype('category').cat.codes
f['col3'] =f['col3'].astype('category').cat.codes

f

  

ответ дан 17 окт. 2020 в 4:14

3 серебряных значка
6 бронзовых знаков

Просто используйте сопоставление вручную:

 dict = {'Non-Travel':0, 'Travel_Rarely':1, 'Travel_Frequently':2}

df['BusinessTravel'] = df['BusinessTravel'].apply(lambda x: dict.get(x))

  

ответ дан 16 янв. 2022 в 12:03

Для определенного столбца, если вас не волнует порядок, используйте это

 df['col1_num'] = df['col1'].apply(lambda x: np.where(df['col1'].unique()==x)[0][0])

  

Если вас волнует порядок, укажите их в виде списка и используйте это

 df['col1_num'] = df['col1'].apply(lambda x: ['first', 'second', 'third'].index(x))

  

ответ дан 27 мар 2020 в 19:53

2 золотых значка
14 серебряных знаков
26 бронзовых знаков

вы можете использовать что-то вроде этого

 df['Grade'].replace(['A', 'B', 'C'], [0, 1, 2], inplace=True)

  

используйте аргумент inplace, если так, чтобы не выполнять копирование. вы выбираете столбец и заменяете там отдельный столбец тем, который вам нужен.

ответ дан 4 апр в 22:52

6 серебряных знаков
18 бронзовых знаков