Meta veröffentlicht Code Llama, ein KI-Modell zum Generieren und Verstehen von Code
Vor kurzem hat Meta eine brandneue KI-Variante namens „Code Llama“ vorgestellt, die in der vergangenen Woche veröffentlicht wurde. Diese Innovation baut auf dem bereits existierenden Modell Llama-2 auf, das in einer Zusammenarbeit von Meta und Microsoft entwickelt wurde. Der Fokus von Code Llama liegt darauf, besonders effektiv Programmcode zu generieren.
Die Entstehung von Code Llama erfolgte durch eine zusätzliche Phase des Trainings von Llama-2 mit spezifischen Datensätzen, die sich auf Programmcode beziehen. Dieses weiterentwickelte Modell ist in der Lage, sowohl Code als auch natürlich formulierte Sprache in Bezug auf Programmcode zu generieren. Es kann sowohl auf Basis von bestehendem Code als auch auf Grundlage von Anfragen in natürlicher Sprache Code erzeugen. Ein weiteres bemerkenswertes Feature besteht darin, dass Code Llama nicht nur bei der Generierung von Code, sondern auch bei der Code-Vervollständigung und der Fehlerbehebung (Debugging) unterstützend tätig ist.
Die Bandbreite der von Code Llama unterstützten Programmiersprachen ist beeindruckend und umfasst viele der heute gängigen Sprachen. Dazu gehören Python, C++, Java, PHP, Typescript (Javascript), C#, Bash und viele weitere.
Meta hat drei Größen von Code Llama veröffentlicht:
- 7 Milliarden Parameter: Dieses Modell ist klein und kann sogar auf einer einzelnen GPU ausgeführt werden. Es kann Code generieren und verstehen, aber es kann keine Code-Vervollständigung durchführen.
- 13 Milliarden Parameter: Dieses Modell ist etwas größer und kann Code-Vervollständigung durchführen. Es wurde mit „Fill-in-the-middle (FIM)“-Daten trainiert, die Code mit fehlenden Codezeilen enthalten.
- 34 Milliarden Parameter: Dieses Modell ist das größte und kann Code generieren, verstehen und Code-Vervollständigung durchführen. Es wurde mit einem größeren Datensatz als die kleineren Modelle trainiert.
Zusätzlich zu den allgemeinen Versionen von Code Llama hat Meta auch zwei spezialisierte Versionen veröffentlicht:
- Python-Version: Diese Version wurde mit weiteren 100 Milliarden Parametern für Python trainiert und ist besonders gut darin, Python-Code zu generieren und zu verstehen.
- Instruct-Modell: Dieses Modell kann auf Instruktionen wie ChatGPT reagieren und Code generieren. Es kann auch Code-Vervollständigung durchführen.
Der Code für Code Llama ist auf GitHub verfügbar. Alle Modelle und Versionen von Code Llama sind sowohl für die Forschung als auch für die kommerzielle Nutzung frei verfügbar.
Quelle(n):
GitHub via Caschys Blog
Verpasse keine News, folge mir auf WhatsApp oder Google News
Links mit einem * sind Partner-Links. Durch einen Klick darauf gelangt ihr direkt zum Anbieter. Solltet ihr euch dort für einen Kauf entscheiden, erhalte ich eine kleine Provision. Für euch ändert sich am Preis nichts. Danke für eure Unterstützung!
