PyTorch, la celebre libreria Python per il deep learning, è una delle soluzioni più potenti per costruire modelli di machine learning. Tuttavia, non basta solo implementare una rete neurale: è fondamentale avere dati ben preparati e preprocessati, affinché il modello possa apprendere in modo efficace. La fase di preprocessing, infatti, è cruciale per la performance finale di qualsiasi modello di deep learning. I dati grezzi, se non trattati correttamente, possono contenere rumore o essere in formati non adatti per il modello, riducendo così le possibilità di ottenere risultati ottimali. In PyTorch, il preprocessing dei dati implica una serie di operazioni, tra cui la normalizzazione per uniformare la scala dei dati, trasformazioni specifiche in base al tipo di dato e, nel caso di dati testuali, la tokenizzazione per preparare il testo affinché possa essere elaborato dal modello. In questo articolo, esploreremo questi aspetti in dettaglio, analizzando come PyTorch possa aiutarci a gestire queste operazioni in modo efficiente, offrendo strumenti potenti e flessibili.
Normalizzazione dei Dati
Quando si parla di normalizzazione dei dati, il problema principale che si cerca di risolvere è quello delle diverse scale numeriche tra le variabili. Consideriamo un esempio pratico: un dataset in cui sono presenti l'altezza di una persona (espressa in centimetri) e il suo reddito annuo (espresso in euro). Le due variabili hanno scale completamente diverse: l'altezza può variare tra 150 e 200, mentre il reddito annuo può variare tra 15.000 e 150.000. Se non si normalizzano i dati, l'algoritmo di machine learning potrebbe tendere a concentrarsi maggiormente sulla variabile con valori numerici più ampi (il reddito), ignorando altre caratteristiche importanti come l'altezza.
La normalizzazione cerca di risolvere questo problema uniformando le scale delle variabili. Una delle tecniche più utilizzate in questo contesto è la standardizzazione, che trasforma i dati in modo che abbiano una media di 0 e una deviazione standard di 1. Per ottenere questo, si sottrae la media di ogni variabile dai suoi valori e si divide per la deviazione standard. Un’altra tecnica comune è la normalizzazione Min-Max, che riduce i dati all’interno di un intervallo predefinito, solitamente [0, 1]. In pratica, si sottrae il valore minimo dalla variabile e si divide per la differenza tra il valore massimo e il minimo. Entrambe queste tecniche sono utili in base al tipo di modello che si sta utilizzando. Per esempio, la standardizzazione è preferita quando i dati seguono una distribuzione gaussiana, mentre la normalizzazione Min-Max è più adatta per modelli che utilizzano funzioni di attivazione come la sigmoide, che sono sensibili alla scala dei dati.
import torch
# Dati di esempio (un batch di variabili con diverse scale)
data = torch.tensor([[1.0, 2000.0], [2.0, 3000.0], [3.0, 4000.0]])
# Calcolare la media e la deviazione standard per ogni colonna
mean = data.mean(dim=0)
std = data.std(dim=0)
# Applicare la standardizzazione (media 0, deviazione standard 1)
normalized_data = (data - mean) / std
print("Standardized Data:", normalized_data)
# Calcolare il minimo e il massimo per ogni colonna
min_val = data.min(dim=0).values
max_val = data.max(dim=0).values
# Applicare la normalizzazione Min-Max (range [0, 1])
normalized_data_min_max = (data - min_val) / (max_val - min_val)
print("Min-Max Normalized Data:", normalized_data_min_max)In PyTorch, queste operazioni di normalizzazione possono essere facilmente implementate tramite torch.Tensor e le funzioni matematiche integrate, che offrono supporto per operazioni come sottrazione, divisione e calcolo della deviazione standard. Inoltre, è possibile utilizzare librerie esterne come scikit-learn, che offrono metodi già pronti per normalizzare o standardizzare i dati, rendendo il processo ancora più rapido ed efficiente.
Trasformazioni Specifiche per Tipo di Dato
Oltre alla normalizzazione, un altro aspetto importante del preprocessing riguarda le trasformazioni specifiche per il tipo di dato. Quando si lavora con dati immagini, ad esempio, è fondamentale applicare trasformazioni come il ridimensionamento, la rotazione o la data augmentation. Queste operazioni sono utili per migliorare la robustezza del modello, creando versioni differenti delle immagini per evitare il sovradattamento (overfitting) e aumentare la varietà dei dati a disposizione. In PyTorch, la libreria torchvision.transforms offre una serie di trasformazioni predefinite che consentono di applicare operazioni come il cambio di formato, la conversione in scala di grigi, l’applicazione di filtri e molto altro. Utilizzare queste trasformazioni permette di creare pipeline di preprocessing complesse e ben strutturate per i dati visivi.
from torchvision import transforms
from PIL import Image
# Caricare un'immagine di esempio
img = Image.open("example_image.jpg")
# Definire una pipeline di trasformazione
transform = transforms.Compose([
transforms.Resize((128, 128)), # Ridimensionare l'immagine a 128x128
transforms.ToTensor(), # Convertire l'immagine in un tensor
])
# Applicare la trasformazione
transformed_img = transform(img)
print("Transformed Image Shape:", transformed_img.shape)
Per quanto riguarda i dati audio, PyTorch e altre librerie di supporto offrono strumenti dedicati per operazioni specifiche come il filtraggio del rumore e la normalizzazione dell’ampiezza. Inoltre, per trasformare i dati audio da rappresentazioni temporali a rappresentazioni spettrali (ad esempio, spettrogrammi), esistono funzioni integrate che rendono l’intero processo molto più semplice e automatizzato.
Preprocessing dei Dati Testuali
Un altro tipo di dato che richiede un trattamento particolare è il dato testuale. Nel caso del preprocessing del testo, una delle operazioni fondamentali è la tokenizzazione. Questo processo consiste nel suddividere un testo in unità più piccole chiamate token, che possono essere parole, sottoparole (sub-words) o addirittura singoli caratteri. La tokenizzazione è un passaggio indispensabile prima di alimentare i dati a un modello di deep learning, in quanto le reti neurali non sono in grado di elaborare testo direttamente. Il testo deve essere prima convertito in sequenze numeriche che rappresentano ciascun token.
import torch
from torchtext.data.utils import get_tokenizer
from torchtext.vocab import build_vocab_from_iterator
# Tokenizzare il testo
tokenizer = get_tokenizer("basic_english")
text = "This is an example sentence."
tokens = tokenizer(text)
print("Tokens:", tokens)
# Creare un vocabolario da un set di testi
def yield_tokens(data_iter):
for text in data_iter:
yield tokenizer(text)
# Esempio di dataset
data = ["This is the first sentence.", "And here is the second sentence."]
vocab = build_vocab_from_iterator(yield_tokens(data), specials=["<unk>"])
print("Vocabulary:", vocab.get_stoi())
La scelta del tipo di tokenizzazione dipende dal modello e dall’obiettivo che si vuole raggiungere. Ad esempio, la tokenizzazione basata su parole è un approccio semplice, ma può soffrire del problema delle parole fuori vocabolario (out-of-vocabulary words), ovvero quelle parole che non compaiono nel vocabolario del modello. La tokenizzazione sub-word, invece, è una tecnica più avanzata che permette di segmentare le parole in unità più piccole (come radici o prefissi), rendendo il modello più robusto nei confronti di parole non viste durante l’addestramento.
In PyTorch, la tokenizzazione può essere realizzata utilizzando librerie esterne come Hugging Face Transformers, che offrono modelli pre-addestrati per la tokenizzazione, o utilizzando strumenti più semplici come torchtext, che consente di definire il vocabolario e gestire le sequenze di testo in modo efficiente.
from transformers import AutoTokenizer
# Caricare il tokenizer di un modello pre-addestrato
tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")
# Tokenizzare una frase
text = "This is an example sentence."
tokens = tokenizer(text)
print("Tokens:", tokens)