Πόση μνήμη χρειάζονται τα κέντρα δεδομένων της τεχνητής νοημοσύνης

Μετά τη διοργάνωση ενός διαδικτυακού σεμιναρίου με τον Gunjan Shah, πρώην ανώτερο μηχανικό cloud, τεχνητής νοημοσύνης και μηχανικής μάθησης στη Google, οι αναλυτές της Bernstein εξέφρασαν τις απόψεις τους σχετικά με την ποσότητα μνήμης που απαιτούν τα κέντρα δεδομένων της τεχνητής νοημοσύνης.

Στα βασικά συμπεράσματά της, η εταιρεία εξήγησε ότι αυτά τα κέντρα δεδομένων απαιτούν εξαιρετικά διαφορετικές ποσότητες μνήμης, ανάλογα με το αν εκπαιδεύουν ή εκτελούν μοντέλα.

Ο αναλυτής Mark Newman επισημαίνει ότι η εκπαίδευση απαιτεί «σημαντικά περισσότερη μνήμη από την εξαγωγή συμπερασμάτων», καθώς απαιτεί την αποθήκευση μοντέλων, διαβαθμίσεις, κλίσεις, καταστάσεις βελτιστοποίησης και «συχνών σημείων ελέγχου».

Η Bernstein, επικαλούμενη το σχόλιο του ειδικού, σημείωσε ότι ακόμη και ένα μεσαίου μεγέθους μοντέλο μπορεί να καταναλώσει «~1 TB συνδυασμένης μνήμης» κατά τη διάρκεια της εκπαίδευσης. Αντίθετα, η εξαγωγή συμπερασμάτων απαιτεί πολύ λιγότερη μνήμη, με την αποθήκευση να περιορίζεται σε προσωρινές διαδρομές και μνήμη KV.

Ο Newman δηλώνει ότι οι hyperscalers αιφνιδιάστηκαν από την έκρηξη της υιοθέτησης της τεχνητής νοημοσύνης, προκαλώντας απότομη αύξηση της ζήτησης και των τιμών στις μνήμες.

Αυτή η ανισορροπία λέγεται ότι έχει ωθήσει προς τα πάνω το κόστος βασικών εξαρτημάτων όπως οι HBM και DRAM (εξαρτήματα για μνήμες).

Ωστόσο, η εταιρεία σημειώνει ότι οι βελτιώσεις στις αρχιτεκτονικές μοντέλων, οι νέες τεχνικές κβαντοποίησης και οι ημιαγωγοί επόμενης γενιάς θα πρέπει να βοηθήσουν στη «διαχείριση της ζήτησης για μνήμες μακροπρόθεσμα» και να υποστηρίξουν τη βιωσιμότητα.

Η εταιρεία επισημαίνει την αποθήκευση ως ένα άλλο πρόβλημα. Η έλλειψη HDDs (σκληρών δίσκων) έχει ωθήσει πολλούς χειριστές προς τους SSDs (Solid State Disks).

Η Bernstein προσθέτει ότι οι SSDs είναι «πέντε έως δέκα φορές πιο ακριβοί» από τους HDDs, όμως οι εταιρείες είναι διατεθειμένες να απορροφήσουν το κόστος για να συνεχίσουν να εξελίσσουν τα μοντέλα τους.

Οι SSD λέγεται επίσης ότι προσφέρουν πλεονεκτήματα στην απόδοση, όπως «χαμηλότερο λειτουργικό κόστος, μειωμένη κατανάλωση ενέργειας και ελάχιστες απαιτήσεις για ψύξη».

Ένα άλλο ζήτημα είναι οι ειδικά σχεδιασμένες TPU ( Tensor Processing Unit, Μονάδα Επεξεργασίας Τανυστών), οι οποίες προσφέρουν «χαμηλότερο κόστος κτήσης, υψηλότερη απόδοση ανά watt και ανώτερη επεκτασιμότητα», αν και οι GPU (Graphics Processing Unit, Μονάδες Επεξεργασίας Γραφικών) προτιμώνται για γρήγορη δημιουργία πρωτοτύπων εξαιτίας του ώριμου οικοσυστήματός τους.

Αναφορικά με το τι έρχεται, η εταιρεία αναφέρει ότι η High Bandwidth Flash (επόμενης γενιάς τεχνολογία μνήμης) θα μπορούσε να γίνει ένα κρίσιμο νέο επίπεδο, προσφέροντας τεράστια γρήγορη, μη πτητική μνήμη και χαμηλότερες ενεργειακές ανάγκες για τα μελλοντικά φορτία εργασίας AI.