Αγώνας για τεράστια data centers
Τα εργαστήρια AI ανταγωνίζονται για να κατασκευάσουν data centers μεγέθους Μανχάταν, με κόστος δισεκατομμυρίων δολαρίων και κατανάλωση ενέργειας αντίστοιχη μιας μικρής πόλης. Η προσπάθεια αυτή βασίζεται στην πεποίθηση ότι η αύξηση της υπολογιστικής ισχύος θα οδηγήσει τελικά σε υπερνοητικά συστήματα AI, ικανά να εκτελούν κάθε είδους εργασία.
Αμφισβήτηση της στρατηγικής “scaling”
Όλο και περισσότεροι ερευνητές AI υποστηρίζουν ότι η επέκταση των μεγάλων γλωσσικών μοντέλων ίσως φτάνει στα όριά της και ότι απαιτούνται νέες καινοτομίες για να βελτιωθεί η απόδοση της τεχνητής νοημοσύνης.
Νέα προσέγγιση από την Adaption Labs
Αυτή είναι η πρόκληση που αναλαμβάνει η Sara Hooker, πρώην VP AI Research της Cohere και μέλος της Google Brain, με τη νέα της startup, Adaption Labs. Μαζί με τον Sudip Roy, επίσης βετεράνο της Cohere και της Google, ίδρυσαν μια εταιρεία που βασίζεται στην ιδέα ότι το “scaling” των LLMs έχει γίνει αναποτελεσματικό για την περαιτέρω βελτίωση των μοντέλων AI. Η Hooker, που αποχώρησε από την Cohere τον Αύγουστο, ανακοίνωσε διακριτικά τη νέα εταιρεία αυτόν τον μήνα, ξεκινώντας ευρύτερη αναζήτηση ταλέντων.
Προσαρμοστικά συστήματα AI
Σε συνέντευξή της στο TechCrunch, η Hooker εξηγεί ότι η Adaption Labs αναπτύσσει συστήματα AI που μπορούν να προσαρμόζονται και να μαθαίνουν συνεχώς από πραγματικές εμπειρίες, με εξαιρετική αποδοτικότητα. Δεν αποκάλυψε λεπτομέρειες για τις μεθόδους που χρησιμοποιούν, ούτε αν βασίζονται σε LLMs ή σε άλλη αρχιτεκτονική.
Περιορισμοί της απλής επέκτασης
Η Hooker τονίζει ότι βρισκόμαστε σε σημείο καμπής, όπου είναι φανερό πως η απλή επέκταση των μοντέλων — μια προσέγγιση που μπορεί να φαίνεται ελκυστική αλλά είναι ουσιαστικά αδιάφορη — δεν έχει οδηγήσει σε νοημοσύνη ικανή να αλληλεπιδρά με τον πραγματικό κόσμο.
Η ουσία της μάθησης
Σύμφωνα με τη Hooker, η προσαρμογή είναι η “καρδιά της μάθησης”. Για παράδειγμα, αν χτυπήσεις το πόδι σου στο τραπέζι της τραπεζαρίας, την επόμενη φορά θα προσέξεις περισσότερο. Τα εργαστήρια AI έχουν προσπαθήσει να ενσωματώσουν αυτή την ιδέα μέσω της ενισχυτικής μάθησης (RL), που επιτρέπει στα μοντέλα να μαθαίνουν από τα λάθη τους σε ελεγχόμενα περιβάλλοντα. Ωστόσο, οι σημερινές μέθοδοι RL δεν βοηθούν τα μοντέλα που βρίσκονται ήδη σε παραγωγή να μαθαίνουν από τα λάθη τους σε πραγματικό χρόνο — απλώς συνεχίζουν να επαναλαμβάνουν τα ίδια λάθη.
Υψηλό κόστος προσαρμογής
Ορισμένα εργαστήρια AI προσφέρουν συμβουλευτικές υπηρεσίες για να προσαρμόσουν τα μοντέλα στις ανάγκες των επιχειρήσεων, αλλά αυτό έχει σημαντικό κόστος. Για παράδειγμα, η OpenAI φέρεται να απαιτεί από τους πελάτες να δαπανήσουν πάνω από $10 εκατομμύρια για να έχουν πρόσβαση σε τέτοιες υπηρεσίες.
Δυσκολίες στην προσαρμογή των μοντέλων
Η Hooker επισημαίνει ότι λίγα μεγάλα εργαστήρια καθορίζουν τα μοντέλα AI που διατίθενται με τον ίδιο τρόπο σε όλους, και η προσαρμογή τους είναι πολύ δαπανηρή. Πιστεύει όμως ότι αυτό μπορεί να αλλάξει, καθώς τα συστήματα AI μπορούν να μάθουν αποδοτικά από το περιβάλλον τους. Αν αυτό αποδειχθεί, θα αλλάξει ριζικά το ποιος ελέγχει και διαμορφώνει την AI, αλλά και ποιον εξυπηρετούν τελικά αυτά τα μοντέλα.
Αμφιβολίες για το μέλλον του scaling
Η Adaption Labs αποτελεί ένδειξη ότι η εμπιστοσύνη της βιομηχανίας στο “scaling” των LLMs κλονίζεται. Πρόσφατη μελέτη του MIT έδειξε ότι τα μεγαλύτερα μοντέλα AI ίσως σύντομα παρουσιάσουν φθίνουσες αποδόσεις. Το κλίμα στο San Francisco αλλάζει επίσης, με τον γνωστό podcaster Dwarkesh Patel να φιλοξενεί πλέον πιο σκεπτικιστικές συζητήσεις με διακεκριμένους ερευνητές AI.
Κριτική από κορυφαίους ερευνητές
Ο Richard Sutton, βραβευμένος με Turing και γνωστός ως “πατέρας του RL”, δήλωσε στον Patel τον Σεπτέμβριο ότι τα LLMs δεν μπορούν πραγματικά να επεκταθούν επειδή δεν μαθαίνουν από πραγματικές εμπειρίες.
Αυτόν τον μήνα, ο πρώην εργαζόμενος της OpenAI Andrej Karpathy εξέφρασε στον Patel επιφυλάξεις για το μακροπρόθεσμο δυναμικό του RL στη βελτίωση των μοντέλων AI.
Προβληματισμοί για την προεκπαίδευση
Αυτές οι ανησυχίες δεν είναι πρωτόγνωρες. Στα τέλη του 2024, ερευνητές AI είχαν ήδη εκφράσει φόβους ότι η επέκταση μέσω προεκπαίδευσης — όπου τα μοντέλα μαθαίνουν μοτίβα από τεράστια σύνολα δεδομένων — έφτανε στα όριά της. Μέχρι τότε, η προεκπαίδευση ήταν το “μυστικό όπλο” για την πρόοδο των μοντέλων της OpenAI και της Google.
Νέες κατευθύνσεις στη βελτίωση
Οι ανησυχίες για το scaling της προεκπαίδευσης πλέον επιβεβαιώνονται στα δεδομένα, αλλά η βιομηχανία AI έχει βρει εναλλακτικούς τρόπους βελτίωσης. Το 2025, τα μοντέλα AI reasoning, που αφιερώνουν περισσότερο χρόνο και υπολογιστικούς πόρους για να επιλύσουν προβλήματα πριν απαντήσουν, έχουν ενισχύσει σημαντικά τις δυνατότητες των συστημάτων AI.
Το νέο μέτωπο: RL και reasoning
Τα εργαστήρια AI φαίνεται να πιστεύουν ότι η επέκταση της ενισχυτικής μάθησης και των reasoning models είναι το επόμενο βήμα. Ερευνητές της OpenAI είχαν δηλώσει στο TechCrunch ότι ανέπτυξαν το πρώτο τους reasoning model, o1, επειδή πίστευαν ότι θα μπορούσε να επεκταθεί αποτελεσματικά. Ερευνητές της Meta και της Periodic Labs δημοσίευσαν πρόσφατα μελέτη για το πώς το RL θα μπορούσε να ενισχύσει περαιτέρω την απόδοση — μια έρευνα που φέρεται να στοίχισε πάνω από $4 εκατομμύρια, αναδεικνύοντας το υψηλό κόστος των τρεχουσών προσεγγίσεων.
Η Adaption Labs αναζητά το επόμενο άλμα
Σε αντίθεση με αυτή την τάση, η Adaption Labs στοχεύει να βρει την επόμενη μεγάλη καινοτομία και να αποδείξει ότι η μάθηση από εμπειρία μπορεί να είναι πολύ πιο οικονομική. Σύμφωνα με τρεις επενδυτές που είδαν τα pitch decks της εταιρείας, η startup βρισκόταν σε συζητήσεις για συγκέντρωση κεφαλαίων ύψους $20 εκατομμύρια ⇾ $40 εκατομμύρια το φθινόπωρο. Η διαδικασία φέρεται να έχει ολοκληρωθεί, αν και το τελικό ποσό παραμένει άγνωστο. Η Hooker δεν σχολίασε σχετικά.
Φιλοδοξίες και εμπειρία
Όταν ρωτήθηκε για τους επενδυτές της, η Hooker απάντησε ότι η εταιρεία έχει στηθεί με μεγάλες φιλοδοξίες. Στο παρελθόν, είχε ηγηθεί της Cohere Labs, όπου εκπαίδευε μικρά μοντέλα AI για επιχειρηματικές εφαρμογές. Πλέον, τα συμπαγή συστήματα AI ξεπερνούν συχνά τα μεγαλύτερα σε κριτήρια προγραμματισμού, μαθηματικών και λογικής — μια τάση που η Hooker θέλει να ενισχύσει.
Ενίσχυση της πρόσβασης στην έρευνα AI
Η Hooker έχει επίσης διακριθεί για την προσπάθειά της να διευρύνει την πρόσβαση στην έρευνα AI παγκοσμίως, προσλαμβάνοντας ταλέντα από περιοχές με χαμηλή εκπροσώπηση, όπως η Αφρική. Αν και η Adaption Labs θα ανοίξει σύντομα γραφείο στο San Francisco, η Hooker σχεδιάζει να προσλάβει προσωπικό από όλο τον κόσμο.
Οι συνέπειες αν το scaling αποδειχθεί αδιέξοδο
Αν η Hooker και η Adaption Labs έχουν δίκιο για τα όρια του scaling, οι επιπτώσεις θα είναι τεράστιες. Έχουν ήδη επενδυθεί δισεκατομμύρια στην επέκταση των LLMs, με την προσδοκία ότι τα μεγαλύτερα μοντέλα θα οδηγήσουν στη γενική νοημοσύνη. Ωστόσο, είναι πιθανό η πραγματική προσαρμοστική μάθηση να αποδειχθεί όχι μόνο πιο ισχυρή, αλλά και πολύ πιο αποδοτική.
Marina Temkin συνέβαλε στο ρεπορτάζ.