Η Meta λανσάρει το Llama 3, ένα μοντέλο AI ικανό να δημιουργεί εικόνες σε πραγματικό χρόνο στο WhatsApp

Σήμερα (18/4) η Meta ανακοίνωσε τα δύο πρώτα μοντέλα της επόμενης γενιάς του Llama, το Meta Llama 3, έτοιμο για πλήρη χρήση. Αυτή η νέα έκδοση περιλαμβάνει προεκπαιδευμένα και βελτιωμένα μοντέλα γλώσσας, με παραμέτρους 8B e 70B, ικανό να καλύψει ένα ευρύ φάσμα αναγκών. Ακολουθώντας την παράδοση της υποστήριξης της κοινότητας ανοιχτού κώδικα, η Meta έκανε το Λάμα 3 για την κοινότητα. Αυτό σημαίνει επίσης ότι το Meta AI, η τεχνητή νοημοσύνη που υπάρχει στα κοινωνικά δίκτυα της εταιρείας, θα βελτιωθεί επίσης, συμπεριλαμβανομένης της δυνατότητας δημιουργίας εικόνων σε πραγματικό χρόνο στο WhatsApp. Δείτε περισσότερα!

Γνωρίστε τη Λάμα 3

Με τη Λάμα 3 η εταιρεία σκοπεύει να αναπτύξει ανοιχτά μοντέλα που συναγωνίζονται τα καλύτερα μοντέλα αποκλειστικής γλώσσας που είναι διαθέσιμα αυτήν τη στιγμή, όπως συμβαίνει με GPT-4. Τα σχόλια των προγραμματιστών έχουν δοθεί προτεραιότητα στη βελτίωση της συνολικής χρηστικότητας του Llama 3, σύμφωνα με το Meta, "διατήρηση δέσμευσης για ηγετική θέση στην υπεύθυνη χρήση και εφαρμογή των Grand Language Models (LLMs)".

Ακολουθώντας τις αρχές του ανοιχτός κώδικας, υιοθετήθηκε μια προσέγγιση πρώιμης και συχνής κυκλοφορίας, η οποία επιτρέπει στην κοινότητα να έχει πρόσβαση και να συμβάλλει στην ανάπτυξη αυτών των μοντέλων σε πραγματικό χρόνο. Τα πρότυπα που βασίζονται σε κείμενο που παρουσιάζονται σήμερα είναι μόνο τα πρώτα στη σειρά Llama 3 Το όραμα για το μέλλον περιλαμβάνει περαιτέρω την επέκταση του Llama 3 για να προσφέρει πολυγλωσσική και πολυτροπική υποστήριξη, να αυξάνει τις δυνατότητες περιβάλλοντος και να βελτιώνει συνεχώς την απόδοση σε όλες τις βασικές πτυχές του. LLMs, όπως ο συλλογισμός και η κωδικοποίηση.

Σύμφωνα με τη σχεδιαστική προσέγγιση στο Λάμα 3, η Meta επέλεξε μια αρχιτεκτονική μετασχηματιστή μόνο για αποκωδικοποιητή, η οποία είναι προεπιλεγμένη επιλογή. Το Llama 3 χρησιμοποιεί το tokenization με ένα διευρυμένο λεξιλόγιο του 128 χιλιάδες μάρκες, με αποτέλεσμα πιο αποτελεσματική κωδικοποίηση γλώσσας και, κατά συνέπεια, βελτιωμένη απόδοση του μοντέλου. Για να βελτιστοποιήσει την αποτελεσματικότητα συμπερασμάτων των μοντέλων Llama 3, η εταιρεία ενσωμάτωσε την τεχνική προσοχής ομαδοποιημένων ερωτημάτων (GQA) σε δύο διαφορετικά μεγέθη: 8B και 70B. Κατά τη διάρκεια της εκπαίδευσης, οι ακολουθίες που χρησιμοποιούνται έχουν μήκος 8.192 μάρκες και εφαρμόζεται μια μάσκα για να διασφαλιστεί ότι η αυτοπροσοχή παραμένει εντός των ορίων του εγγράφου.

Για να εκπαιδεύσετε το καλύτερο γλωσσικό μοντέλο, είναι απαραίτητο να έχετε ένα μεγάλο, υψηλής ποιότητας σύνολο δεδομένων εκπαίδευσης. Σύμφωνα με τις αρχές σχεδιασμού μας, έχουμε επενδύσει σημαντικά σε δεδομένα προεκπαίδευσης για το Llama 3. Αυτό το μοντέλο είναι προεκπαιδευμένο σε περισσότερα από 15 τρισεκατομμύρια μάρκες, όλα από δημοσίως διαθέσιμες πηγές. Το εκπαιδευτικό μας σύνολο δεδομένων είναι επτά φορές μεγαλύτερο από αυτό που χρησιμοποιήθηκε για το Llama 2 και περιλαμβάνει τετραπλάσιο κώδικα.

Κατά την προετοιμασία για μελλοντικές περιπτώσεις πολύγλωσσης χρήσης, περισσότερο από το 5% του συνόλου προεκπαιδευτικών δεδομένων Llama 3 αποτελείται από δεδομένα υψηλής ποιότητας σε άλλες γλώσσες εκτός από τα αγγλικά, καλύπτει περισσότερες από 30 γλώσσες. Ωστόσο, η Meta δεν αναμένει να επιτύχει το ίδιο επίπεδο απόδοσης σε αυτές τις γλώσσες με αυτό που επιτεύχθηκε στα αγγλικά.

Για να διασφαλιστεί ότι το Llama 3 εκπαιδεύεται με δεδομένα υψηλότερης ποιότητας, αναπτύχθηκε μια σειρά αγωγών φιλτραρίσματος δεδομένων. Αυτοί οι αγωγοί περιλαμβάνουν τη χρήση του ευρετικά φίλτρα, φίλτρα για ακατάλληλο περιεχόμενο, τεχνικές σημασιολογικής απεγγραφής και ταξινομητές κειμένου για την αξιολόγηση της ποιότητας των δεδομένων. Οι προηγούμενες εκδόσεις του Llama είναι αποτελεσματικές σε αναγνώριση δεδομένων υψηλής ποιότητας, στη συνέχεια χρησιμοποιήθηκε το Llama 2 για τη δημιουργία των δεδομένων εκπαίδευσης για τους ταξινομητές ποιότητας κειμένου που τροφοδοτούν το Llama 3.

Επιπλέον, η Meta χρησιμοποίησε πειράματα για να καθορίσει τους καλύτερους τρόπους συγχώνευσης δεδομένων από διαφορετικές πηγές στο τελικό σύνολο δεδομένων πριν από την εκπαίδευση. Αυτά τα πειράματα μας επέτρεψαν να επιλέξουμε έναν συνδυασμό δεδομένων που διασφαλίζει ότι το Llama 3 έχει καλή απόδοση σε διάφορες περιπτώσεις χρήσης, όπως ασήμαντες ερωτήσεις, ΣΤΈΛΕΧΟΣ (επιστήμη, τεχνολογία, μηχανική και μαθηματικά), κωδικοποίηση, ιστορική γνώση, μεταξύ άλλων.

Σύγκριση με το Llama 2

τα νέα μοντέλα Λάμα 3, με παραμέτρους 8Β και 70Β, αντιπροσωπεύουν μια πρόοδο σε σχέση με το Λάμα 2, θέτοντας ένα νέο πρότυπο για τα μοντέλα LLM σε αυτές τις κλίμακες. Η Meta ισχυρίζεται ότι λόγω βελτιώσεων τόσο στην προ-εκπαίδευση όσο και στη μετα-εκπαίδευση, τα προ-εκπαιδευμένα και τα τελειοποιημένα με οδηγίες μοντέλα είναι επί του παρόντος οι αδιαμφισβήτητοι ηγέτες στην κλίμακα παραμέτρων 8Β και 70Β.

Οι βελτιστοποιήσεις στις διαδικασίες μετά την εκπαίδευση είχαν ως αποτέλεσμα α μείωση των εσφαλμένων ποσοστών απόρριψης, εκτός από τη βελτίωση της ευθυγράμμισης και την αύξηση της ποικιλομορφίας στις αποκρίσεις μοντέλων. Σημαντικές βελτιώσεις παρατηρήθηκαν επίσης σε χαρακτηριστικά όπως η συλλογιστική, η δημιουργία κώδικα και η μελλοντική καθοδήγηση, κάνοντας το Llama 3 ακόμα πιο προσαρμόσιμο και στοχευμένο.

Κατά την ανάπτυξη του Llama 3, έγινε ανάλυση της απόδοσης του μοντέλου, τόσο σε τυπικά σημεία αναφοράς όσο και σε σενάρια πραγματικού κόσμου. Για να διασφαλιστεί η αποτελεσματική βελτιστοποίηση για πρακτικές εφαρμογές, δημιουργήθηκε μια νέα σουίτα ανθρώπινης αξιολόγησης υψηλής ποιότητας. Αυτό το σετ αποτελείται από 1.800 προτροπές που καλύπτουν 12 περιπτώσεις κύριας χρήσης, συμπεριλαμβανομένων ζητώντας συμβουλές, καταιγισμός ιδεών, ταξινόμηση, απάντηση σε ερωτήσεις κλειστού τύπου, κωδικοποίηση, δημιουργική γραφή, εξαγωγή, πλαστοπροσωπία χαρακτήρων/προσώπων, απάντηση σε ερωτήσεις ανοιχτού τύπου, συλλογισμός, επανεγγραφή e περίληψη.

Για να αποφευχθεί η υπερπροσαρμογή (ή υπερβολική τοποθέτηση, ο πιο συχνά χρησιμοποιούμενος όρος) τυχαία μοντέλων σε αυτό το σύνολο αξιολόγησης, ακόμη και οι ομάδες μοντελοποίησης της ίδιας της Meta δεν έχουν πρόσβαση σε αυτό. Το παρουσιαζόμενο γράφημα δείχνει τα συγκεντρωτικά αποτελέσματα των ανθρώπινων αξιολογήσεων σε αυτές τις κατηγορίες και προτρέπει, συγκρίνοντας την απόδοση του Llama 3 με τα μοντέλα Claude Ασμάτιο, Mistral Medium e GPT-3.5.

Πώς το Llama 3 βελτιώνει το Meta AI

Λόγω της προόδου που σημειώθηκε με το Meta Llama 3, η εταιρεία ανακοινώνει τη διεθνή επέκταση του Meta AI — υπενθυμίζοντας ότι ο πόρος ήταν αποκλειστικός στις Ηνωμένες Πολιτείες. Έχοντας ως ισχυρός ανταγωνιστής των υπαρχόντων μοντέλων, το Meta AI είναι πλέον διαθέσιμο σε περισσότερους ανθρώπους σε όλο τον κόσμο, επιτρέποντας στους χρήστες του Facebook, Instagram, WhatsApp e Αγγελιαφόρος απολαύστε αυτήν τη δωρεάν τεχνολογία για να εκτελέσετε μια ποικιλία ενεργειών, να δημιουργήσετε περιεχόμενο και να αποκτήσετε πρόσβαση σε πληροφορίες σε πραγματικό χρόνο.

Το Meta AI αποκαλύφθηκε αρχικά κατά τη διάρκεια του Connect πέρυσι, και τώρα χρήστες σε χώρες όπως Αυστραλία, Καναδάς, Γκάνα, Τζαμάικα, Μαλάουι, Νέα Ζηλανδία, Νιγηρία, Πακιστάν, Σιγκαπούρη, Νότια Αφρική, Ουγκάντα, Ζάμπια e Ζιμπάμπουε μπορεί επίσης να απολαύσει τα οφέλη του. Ως μέρος της επέκτασης του Meta AI, οι άνθρωποι θα μπορούν πλέον να έχουν πρόσβαση σε αυτό μετα.αι, στην έκδοση web.

Σκοπεύετε να βγείτε το βράδυ με φίλους; Ζητήστε από τη Meta AI να σας προτείνει ένα εστιατόριο με εκπληκτική θέα και ακόμη και επιλογές για vegan. Οργανώνετε ένα ταξίδι για το Σαββατοκύριακο; Ζητήστε από το Meta AI να βρει εκπομπές για το βράδυ του Σαββάτου. Ετοιμάζεσαι για τεστ; Ζητήστε από τη Meta AI να σας εξηγήσει πώς λειτουργούν τα κληρονομικά χαρακτηριστικά. Μετακομίζετε στο πρώτο σας διαμέρισμα; Ζητήστε από τη Meta AI να «φανταστείτε» την αισθητική που θέλετε και ο βοηθός θα δημιουργήσει μερικές φωτογραφίες έμπνευσης για τα έπιπλά σας. 

Ο Meta εξηγεί λίγο πώς η τεχνητή νοημοσύνη μπορεί να σας βοηθήσει

O Meta AI θα είναι επίσης διαθέσιμο απευθείας στη λειτουργία αναζήτησης του Facebook, του Instagram, του WhatsApp και του Messenger. Αυτό σημαίνει ότι μπορείτε πρόσβαση σε πληροφορίες από το Διαδίκτυο σε πραγματικό χρόνο χωρίς να χρειάζεται εναλλαγή μεταξύ εφαρμογών. Για παράδειγμα, φανταστείτε ότι σχεδιάζετε ένα ταξίδι με φίλους σε μια ομαδική συνομιλία του Messenger. Με την αναζήτηση Messenger, μπορείτε να ζητήσετε από το Meta AI — που υποστηρίζεται από το νέο Llama 3 — να βρει πτήσεις από την προέλευση σας προς τον προορισμό σας και να ανακαλύψετε τα πιο αργά Σαββατοκύριακα για επίσκεψη. Και φυσικά, όλα αυτά χωρίς να χρειαστεί να φύγετε από την εφαρμογή Messenger.

Οι άνθρωποι θα έχουν επίσης τη δυνατότητα πρόσβασης στο Meta AI κατά την περιήγησή τους στο Facebook Feed. Εάν βρείτε μια ανάρτηση που κεντρίζει το ενδιαφέρον σας, μπορείτε να ζητήσετε περισσότερες πληροφορίες απευθείας από το Meta AI από αυτήν την ανάρτηση, όπως μια κανονική αναζήτηση στο Google, μόνο μέσα σε μια ανάρτηση στο Facebook.

Η Meta επιταχύνει τη διαδικασία απεικόνισης για να επιτρέψει στους ανθρώπους να δημιουργούν εικόνες σε πραγματικό χρόνο από κείμενο χρησιμοποιώντας τη δυνατότητα Imagine του Meta AI. Η διάθεση αυτής της δυνατότητας ξεκίνησε σήμερα σε έκδοση beta, διαθέσιμη στο WhatsApp και την εμπειρία ιστού Meta AI στις Ηνωμένες Πολιτείες. Όταν αρχίσουν να πληκτρολογούν, οι χρήστες θα δουν μια εικόνα να εμφανίζεται αμέσως. Αυτή η εικόνα θα εξελίσσεται με κάθε λίγα γράμματα που πληκτρολογείτε, επιτρέποντάς σας να παρακολουθείτε καθώς το Meta AI ζωντανεύει την ιδέα σας σε πραγματικό χρόνο.

Σύμφωνα με την εταιρεία, αυτές οι δημιουργημένες εικόνες παρουσιάζουν α βελτιωμένη ευκρίνεια και ποιότητα, προσφέροντας καλύτερη δυνατότητα συμπερίληψης κειμένου σε εικόνες. Επιπλέον, θα παρέχει προτάσεις για τη βελτίωση της εικόνας, επιτρέποντάς σας να συνεχίσετε τη βελτίωση από το αρχικό σας σημείο εκκίνησης. Όταν βρείτε μια εικόνα, απλώς ζητήστε από το Meta AI να την κινήσει, να την προσαρμόσει σε μια νέα μορφή ή ακόμα και να τη μετατρέψει σε GIF να μοιραστείτε με τους φίλους σας.

Αν και αυτές οι ενημερώσεις αφορούν συγκεκριμένα το Meta AI στο Facebook, το Instagram, το WhatsApp, το Messenger και τον ιστό, είναι σημαντικό να θυμάστε ότι το Meta AI είναι επίσης διαθέσιμο στις Ηνωμένες Πολιτείες για έξυπνα γυαλιά Ray-Ban Meta, και σύντομα μέσα Meta quest — Συσκευές μετα-εικονικής πραγματικότητας.

Διαφάνεια με ανοιχτό κώδικα και ασφάλεια

Οι δυνατότητες της γενετικής τεχνολογίας AI μπορεί πραγματικά να βελτιώσει την εμπειρία χρήστη των προϊόντων της Meta και το ευρύτερο οικοσύστημα. Ωστόσο, ένα άλλο σημείο που πρέπει να αντιμετωπιστεί είναι να διασφαλιστεί ότι αυτό γίνεται σε α υπεύθυνος e segura. Ως εκ τούτου, η εταιρεία λαμβάνει μέτρα για την αξιολόγηση και τον μετριασμό των κινδύνων σε όλα τα στάδια ανάπτυξης και εφαρμογής της τεχνητής νοημοσύνης. Αυτό περιλαμβάνει την ενσωμάτωση διασφαλίσεων στη διαδικασία σχεδιασμού και απελευθέρωσης του βασικού μοντέλου Llama, καθώς και υποστήριξη του οικοσυστήματος προγραμματιστών για την προώθηση υπεύθυνων πρακτικών.

Ως εκ τούτου, με το Llama 3, υιοθετήθηκε μια συστηματική προσέγγιση που ενσωματώνει διασφαλίσεις σε όλα τα στάδια ανάπτυξης. Αυτό σημαίνει ότι έχει δοθεί ιδιαίτερη προσοχή στις διαδικασίες εκπαίδευσης και συντονισμού, εκτός από την προσφορά εργαλείων που επιτρέπουν στους προγραμματιστές να εφαρμόζουν μοντέλα με υπευθυνότητα.

Αυτή η προσέγγιση όχι μόνο ενισχύει τις προσπάθειες για υπεύθυνη τεχνητή νοημοσύνη, αλλά αντικατοπτρίζει επίσης το όραμα της ανοιχτής καινοτομίας, δίνοντας τη δυνατότητα στους προγραμματιστές να προσαρμόζουν με ασφάλεια τα προϊόντα τους προς όφελος των χρηστών τους. Ο Meta έχει επίσης το Οδηγός Υπεύθυνης Χρήσης, μια σημαντική πηγή για τους προγραμματιστές, που παρέχει κατευθυντήριες γραμμές για προϊόντα κατασκευής.

Όπως εξηγήσαμε όταν κυκλοφόρησε το Llama 2, είναι σημαντικό να είστε σκόπιμοι στο σχεδιασμό αυτών των μέτρων, καθώς υπάρχουν ορισμένα που μπορούν να εφαρμοστούν αποτελεσματικά μόνο από τον πάροχο του μοντέλου και άλλα που λειτουργούν αποτελεσματικά μόνο όταν εφαρμόζονται από τον προγραμματιστή ως μέρος των ειδικών τους εφαρμογή.

Ενισχύει την εταιρεία

Από την κυκλοφορία του Meta AI πέρυσι, η μάρκα βελτιώνει συνεχώς την εμπειρία σε διάφορους τομείς:

• Οι απαντήσεις της Meta AI σε πολιτικά και κοινωνικά ζητήματα έχουν βελτιωθεί, ενσωματώνοντας συγκεκριμένες κατευθυντήριες γραμμές για αυτά τα θέματα. Ο στόχος είναι να προσφέρουμε μια ποικιλία σχετικών απόψεων για ένα θέμα, σεβόμενοι παράλληλα τις προθέσεις του χρήστη όταν θέτει συγκεκριμένες ερωτήσεις.
• Συμπεριλαμβανομένων συγκεκριμένων οδηγιών και απαντήσεων για να γίνει πιο χρήσιμο, χρησιμοποιώντας μοντέλα ανταμοιβής για να καθοδηγήσετε τη συμπεριφορά σας.
• Η απόδοση του Meta AI αξιολογείται σε σημεία αναφοράς και μέσω δοκιμών με ειδικούς σε ανθρώπους, για την αντιμετώπιση τυχόν ζητημάτων που εντοπίζονται σε μια συνεχή διαδικασία.
• Διασφαλίσεις επιπέδου αιτήματος και απόκρισης, συμπεριλαμβανομένων φίλτρων και ταξινομητών για να διασφαλιστεί ότι οι αλληλεπιδράσεις είναι ευθυγραμμισμένες με τις οδηγίες και είναι ασφαλείς.
• Εργαλεία σχολίων για τους χρήστες να μοιράζονται τις εμπειρίες τους, επιτρέποντάς μας να βελτιώνουμε συνεχώς την απόδοση του Meta AI.

Και εσύ, τι σου φάνηκε για τα νέα; Ανυπομονούμε να φτάσουμε στη Βραζιλία, έτσι δεν είναι; Πες μας τι βρήκες σε εμάς σχόλια!

Δείτε επίσης:

Google Photos δωρεάν δωρεάν επεξεργασία εικόνας AI για όλους τους χρήστες.

Με πληροφορίες από: Στόχος [1], [2] e [3].

Κριτική από Glaucon Vital στις 18/4/24.