1. :Το 2006, ο επιστήμονας υπολογιστών Geoffrey Hinton δημοσίευσε ένα σπιτικό έγγραφο με τίτλο "Deep Learning:Autorial on Deep Neural Networks" στο περιοδικό Nature. Αυτό το έγγραφο θεωρείται ορόσημο στον τομέα των τεχνητών νευρωνικών δικτύων και βοήθησε στη διάδοση του όρου "βαθιά μάθηση". Ο Hinton και οι συνάδελφοί του στο Πανεπιστήμιο του Τορόντο θεωρούνται ευρέως ως πρωτοπόροι στην ανάπτυξη τεχνικών βαθιάς μάθησης.
2. Η χρήση του όρου από τον Yoshua Bengio :Ο Yoshua Bengio, ένας άλλος εξέχων ερευνητής στον τομέα, διαδραμάτισε επίσης σημαντικό ρόλο στη διάδοση του όρου "βαθιά μάθηση" στις αρχές της δεκαετίας του 2000. Ο Bengio και οι συνάδελφοί του στο Université de Montréal διεξήγαγαν πρωτοποριακή έρευνα σε αλγόριθμους βαθιάς μάθησης και χρησιμοποίησε συχνά τον όρο "βαθιά μάθηση" στις ερευνητικές του εκδόσεις.
3. Επίδραση της γνωστικής ψυχολογίας :Μερικοί πιστεύουν ότι η έμπνευση για τον όρο "βαθιά μάθηση" μπορεί να προέρχεται από την έννοια της "βαθιάς δομής" στη γνωστική ψυχολογία. Η βαθιά δομή είναι ένας όρος που χρησιμοποιείται στη γλωσσολογία και τη γνωστική ψυχολογία για να περιγράψει την υποκείμενη αναπαράσταση ή σύνταξη μιας γλώσσας που ξεπερνά τα χαρακτηριστικά επιφανειακών επιπέδων των λέξεων και των φράσεων. Αυτή η ιδέα μπορεί να έχει επηρεάσει την κατανόηση των μοντέλων βαθιάς μάθησης ως καταγραφής υποκείμενων προτύπων και σύνθετων σχέσεων στα δεδομένα.
4. Σύγκριση με την παραδοσιακή μηχανική μάθηση :Ο όρος "βαθιά μάθηση" ήταν πιθανό να το διαφοροποιήσει από τις παραδοσιακές μεθόδους μάθησης. Ενώ οι παραδοσιακοί αλγόριθμοι μηχανικής μάθησης συχνά βασίζονται σε ρηχά νευρωνικά δίκτυα ή ρηχές αναπαραστάσεις δεδομένων, η βαθιά μάθηση περιλαμβάνει τη χρήση βαθιών νευρωνικών δικτύων με πολλαπλά κρυμμένα στρώματα. Αυτές οι βαθιές αρχιτεκτονικές επιτρέπουν πιο σύνθετη και ιεραρχική εξαγωγή χαρακτηριστικών, επιτρέποντας στα μοντέλα να μαθαίνουν υψηλότερους παραστάσεις δεδομένων.
5. Ιστορικό πλαίσιο :Στις πρώτες ημέρες της έρευνας του νευρικού δικτύου, τα ρηχά νευρωνικά δίκτυα ήταν ο κανόνας και αντιμετώπισαν περιορισμούς στις δυνατότητες αναπαραγωγής και την ικανότητά τους να χειρίζονται σύνθετα προβλήματα. Η εμφάνιση ισχυρών υπολογιστικών πόρων, όπως οι γραφικές μονάδες επεξεργασίας (GPU), στα τέλη της δεκαετίας του 2000, επέτρεψε την αποτελεσματική εκπαίδευση των βαθύτερων νευρωνικών δικτύων. Αυτό το ιστορικό πλαίσιο συνέβαλε στην ανάγκη για έναν όρο που κατέλαβε την πρόοδο και την αυξημένη πολυπλοκότητα αυτών των νέων προσεγγίσεων, εξ ου και ο όρος "βαθιά μάθηση" απέκτησε έλξη.
Είναι πιθανό ότι ένας συνδυασμός αυτών των παραγόντων, μαζί με τη σύγκλιση των ερευνητικών προσπαθειών και των ανακαλύψεων, που οδήγησαν στην ευρεία υιοθέτηση του όρου "βαθιά μάθηση" για να περιγράψει το υποπόδιο εντός της μηχανικής μάθησης που επικεντρώνεται στα βαθιά νευρωνικά δίκτυα.