last_timestep - bidirectional mode

[ftwasdYK]

Καλησπέρα,

θα ήθελα να ρωτήσω για την ασκήση μας, σε ενα bidirectional RNN στο backward κομμάτι το output που μας ενδιαφέρει δεν θα έπρεπε να είναι το αντίστοιχο τελευταιο χρονικό βήμα πριν το padding?

Πχ. αν δωσω ως είσοδο την ακολουθια $[x_1, x_2, x_3, ... x_T, 0, 0, 0]$, οπου τα 0 ειναι το padding, τοτε στο backward κομμάτι η ακολουθία που θα υπολογιστεί δεν θα είναι με την μορφή $[0, 0, 0, x_T, x_{T-1}, ... ,x_1;]$;

Η βασική μου ερώτηση είναι ότι στη μέθοδο last_timestep στο BasicLSTM στο αρχείο lstm.py δεν θα επρέπε το last_backward to slicing να μην είναι το [:,0,:], διότι θα γυρνάει πάντα το τελευταίο χρονικό βήμα το οποίο μπορεί να είναι και ένα σημείο στο οποίο έχει προηγηθεί padding; Οπώς για το παράδειγμα που έγραψα θα γυρνούσε το $[-> 0<- , 0, 0, x_T, x_{T-1}, ... ,x_1;]$

[efthymisgeo]

Η υλοποίηση είναι σωστή. Το lstm γυρνάει "aligned" ακολουθίες συνεπώς το x_0 (η x_1 με το δικό σας συμβολισμό) βρίσκεται στη θέση 0 και στη forward και στη backward μεταβλητή.

Καλή πρακτική γενικά για τέτοιου είδους απορίες είναι να βλέπετε το documentation και να σκάψετε λίγο στο google

• https://pytorch.org/docs/stable/generated/torch.nn.LSTM.html
• https://stackoverflow.com/questions/53010465/bidirectional-lstm-output-question-in-pytorch