Clase 08 · 16 minGratis
Tus datos están sucios (y ni siquiera lo sabes): limpieza de datos con Pandas
Clase 8 del curso gratis de Python para Análisis de Datos: leer un Excel con Pandas, qué es un NaN, dropna, unificar texto y exportar el resultado limpio.
Por más experto que seas en machine learning o en inteligencia artificial, si no tienes buenos datos no puedes hacer nada. Ningún dataset del mundo real llega perfecto: hay vacíos, formatos distintos, texto escrito de mil maneras. Limpiar datos es dejarlos en un formato consistente antes de analizarlos.
Leer un Excel con Pandas
Con open() no se puede leer un Excel (no es texto plano). Pandas sí:
import pandas as pd
gastos = pd.read_excel("gastos.xlsx")Pandas lee muchos formatos: read_csv, read_json, read_parquet, incluso
tablas de bases de datos. Si el archivo está dentro de carpetas, escribes su
ruta completa.
Mirar antes de tocar
gastos.head() # las primeras filas (5 por defecto; .head(2) muestra 2)
gastos.tail() # las últimas
gastos.sample(3) # 3 filas al azarNaN: Not a Number
Donde tu Excel tenía una celda vacía, Pandas muestra NaN (del
inglés Not a Number). Pandas no sabe qué hay ahí, pero sabe que no es un
número, y eso impide hacer cálculos correctos.
gastos.isna().sum() # cuántos vacíos hay en cada columnaQuitar lo incompleto: dropna
Si esos registros no son representativos, la decisión más simple es quitarlos:
limpios = gastos.dropna() # quita filas con algún vacío
limpios = gastos.dropna(subset=["valor"]) # solo si falta el valorUnificar el texto
café , CAFÉ y Café son lo mismo para ti, pero no para Python. Se
unifican con los métodos de texto (.str):
limpios["categoria"] = limpios["categoria"].str.strip().str.upper()strip() quita los espacios de los extremos; upper() pasa todo a
mayúsculas (también existen lower() y title()). Es normal no recordar
cada comando: la documentación de Pandas está para eso.
Guardar el resultado
limpios.to_excel("gastos_limpios.xlsx", index=False)Lo mejor: el proceso queda automatizado. La próxima vez que llegue un archivo nuevo, ejecutas el notebook y sale limpio.
El reto de esta clase
Un Excel lleno a mano con vacíos y categorías mal escritas: cuenta los vacíos, quita las filas sin valor, deja las categorías bien escritas y exporta el resultado. Enunciado y solución en el material de la clase.
