Ai2 rilascia OLMo 2, una famiglia di modelli linguistici open-source che promuove la democratizzazione dell’IA e riduce il divario tra soluzioni aperte e proprietarie.
I nuovi modelli, disponibili nelle versioni a 7B e 13B parametri, sono addestrati su un massimo di 5 trilioni di token e dimostrano livelli di prestazioni che eguagliano o superano modelli analoghi completamente aperti, pur rimanendo competitivi con modelli open-weight come Llama 3.1 su benchmark accademici inglesi.
“Dal rilascio del primo OLMo nel febbraio 2024, abbiamo assistito a una rapida crescita dell’ecosistema dei modelli linguistici aperti e a una riduzione del divario di prestazioni tra i modelli aperti e quelli proprietari”, ha spiegato Ai2.
Il team di sviluppo ha ottenuto questi miglioramenti grazie a diverse innovazioni, tra cui misure di stabilità dell’addestramento migliorate, approcci all’addestramento per fasi e metodologie post-addestramento all’avanguardia derivate dal framework Tülu 3. Tra i miglioramenti tecnici degni di nota ci sono il passaggio dalla norma di livello non parametrica alla RMSNorm e l’implementazione dell’incorporazione posizionale rotante.
La svolta nell’addestramento del modello OLMo 2
Il processo di formazione ha utilizzato un sofisticato approccio in due fasi. La fase iniziale ha utilizzato il dataset OLMo-Mix-1124, composto da circa 3,9 trilioni di token, provenienti da DCLM, Dolma, Starcoder e Proof Pile II. La seconda fase ha incorporato una miscela accuratamente curata di dati web di alta qualità e contenuti specifici del dominio attraverso il dataset Dolmino-Mix-1124.
Particolarmente degna di nota è la variante OLMo 2-Instruct-13B, che è il modello più capace della serie. Il modello dimostra prestazioni superiori rispetto ai modelli Qwen 2.5 14B instruct, Tülu 3 8B e Llama 3.1 8B instruct in vari benchmark.
Impegno per la scienza aperta
Rafforzando il suo impegno verso la scienza aperta, Ai2 ha rilasciato una documentazione completa che include pesi, dati, codice, ricette, checkpoint intermedi e modelli ottimizzati per le istruzioni. Questa trasparenza consente un’ispezione completa e la riproduzione dei risultati da parte della comunità AI più ampia.
Il rilascio introduce anche un quadro di valutazione chiamato OLMES (Open Language Modeling Evaluation System), che comprende 20 benchmark progettati per valutare capacità fondamentali come il richiamo delle conoscenze, il ragionamento di senso comune e il ragionamento matematico.
OLMo 2 alza l’asticella dello sviluppo dell’IA open-source, accelerando potenzialmente il ritmo dell’innovazione nel settore e mantenendo al contempo trasparenza e accessibilità.
