Η DeepSeek θα διαθέσει ελεύθερα το λογισμικό που χρησιμοποιεί για να «τρέχει» τα μοντέλα τεχνητής νοημοσύνης της σε μεγάλη κλίμακα, γεγονός που ενδέχεται να καταστήσει την τεχνολογία της πιο φθηνή και πιο εύκολη στη χρήση της.
Η υπηρεσία, με την ονομασία DeepInfer, είναι το λογισμικό που χρησιμοποιεί η DeepSeek για να επιταχύνει τη λειτουργία των μοντέλων της και να αξιοποιεί τους υπολογιστικούς πόρους πιο αποτελεσματικά.
«Μοιραζόμαστε την τεχνολογική υποδομή μας για να βοηθήσουμε την κοινότητα να μειώσει το υπολογιστικό κόστος, να περιορίσει τη χρήση ενέργειας και να καταστήσει την τεχνητή νοημοσύνη πιο προσιτή οικονομικά», δήλωσε την Τρίτη στο X η κινεζική εταιρεία τεχνητής νοημοσύνης με έδρα το Χανγκτσόου.
Το DeepInfer υποστηρίζει επί του παρόντος το μοντέλο V4.1-Flash της DeepSeek, αλλά θα υποστηρίξει και μελλοντικά συστήματα, δήλωσε η εταιρεία.
Η εν λόγω κυκλοφορία ρίχνει φως στον τρόπο με τον οποίο η DeepSeek συγκρατεί το κόστος στη χρήση προηγμένης τεχνητής νοημοσύνης, διαδικασία γνωστή ως εξαγωγή συμπερασμάτων (inference).
Επίσης, προσφέρει έναν τρόπο στις εταιρείες υπολογιστικού νέφους (cloud) και φιλοξενίας (hosting) που χρησιμοποιούν τα μοντέλα της DeepSeek να εφαρμόσουν αυτές τις μεθόδους για τη μείωση του κόστους.
Το ίδιο μοντέλο μπορεί να κοστίζει σημαντικά περισσότερο για να «τρέξει», ανάλογα με το λογισμικό που χρησιμοποιείται για την εξυπηρέτησή του. Το πιο αποτελεσματικό λογισμικό μπορεί να μειώσει το υπολογιστικό κόστος κάθε αιτήματος και ενδεχομένως να περιορίσει τη χρήση ενέργειας.
Το DeepInfer συγκεντρώνει διαφορετικές τεχνικές, όπως η κατανεμημένη εξαγωγή συμπερασμάτων (distributed inference) —δηλαδή τον διαμοιρασμό των φόρτων εργασίας τεχνητής νοημοσύνης σε διαφορετικό υλικό εξοπλισμό— οι οποίες επιτρέπουν στα μοντέλα να αντλούν υψηλότερη απόδοση από τα τσιπ.
Πολλές από τις βασικές τεχνικές χρησιμοποιούνται ευρέως, αλλά η DeepSeek τις έχει προσαρμόσει ώστε να λειτουργούν αποτελεσματικά με τα μοντέλα της.
Το χαμηλότερο κόστος εξαγωγής συμπερασμάτων —το κόστος λειτουργίας των μοντέλων τεχνητής νοημοσύνης— μπορεί να βελτιώσει τα περιθώρια κέρδους για τους παρόχους τεχνητής νοημοσύνης και ενδεχομένως να μεταφραστεί σε φθηνότερες τιμές για τους πελάτες.
Για τις επιχειρήσεις, το DeepInfer θα μπορούσε να μειώσει το κόστος λειτουργίας των μοντέλων της DeepSeek στις δικές τους υποδομές. Μέχρι στιγμής, δεν υπάρχει ανεξάρτητη αξιολόγηση των κερδών αποδοτικότητας του DeepInfer.