La nueva herramienta de codificación asistida de Meta cuenta con tres tamaños: 7B, 13B y 34B. Cada uno de estos modelos se ha entrenado con 500B de tokens de código y datos relacionados con el código.

Los modelos de 7B y de 13B fueron entrenados con la capacidad de relleno en el medio (FIM), lo que les permite insertar código en el código existente, lo que significa que pueden soportar tareas como la finalización de código desde el primer momento.

El modelo 7B puede operar en una sola GPU. El modelo 34B permite una mejor asistencia a la codificación, pero los modelos más pequeños de 7B y 13B son más rápidos y adecuados para tareas que requieren baja latencia, como la finalización de código en tiempo real.

De igual forma, Meta aseguró que perfeccionó otras dos variantes de Code Llama: Code Llama – Phyton y Code Llama – Instruct.

Code Llama – Phyton es una variante de Code Llama especializada en lenguajes y perfeccionada con 100,000 tokens de código Python. Python es el lenguaje más utilizado para la generación de código. Meta califica que Python y Pytorch desempeñan un papel importante en la comunidad de IA.

Code Llama – Instruct es una variación de Code Llama ajustada con instrucciones diversas que continúa en proceso de entrenamiento, pero con un objetivo diferente. El modelo recibe una indicación en lenguaje natural y el resultado esperado.

Esto le permite comprender mejor lo que la gente espera de sus instrucciones. Meta recomienda el uso de las variantes Code Llama – Instruct siempre que se utilice Code Llama para la generación de código.