Generando automaticamente un codice che sfrutta due tipi di ridondanza dei dati, un sistema sviluppato dal MIT migliora l’efficienza dei modelli di intelligenza artificiale.
I ricercatori del MIT hanno creato un sistema automatizzato che migliora l’efficienza dei modelli di intelligenza artificiale, consentendo agli sviluppatori di algoritmi di apprendimento profondo di sfruttare simultaneamente due tipi di ridondanza dei dati. Ciò riduce la quantità di elaborazione, larghezza di banda e archiviazione della memoria necessari per le operazioni di apprendimento automatico.
Le tecniche esistenti per l’ottimizzazione degli algoritmi possono essere ingombranti e in genere consentono agli sviluppatori di sfruttare solo la scarsità o la simmetria, due diversi tipi di ridondanza presenti nelle strutture di dati di apprendimento profondo. Consentendo a uno sviluppatore di creare un algoritmo da zero che sfrutti entrambe le ridondanze contemporaneamente, l’approccio dei ricercatori del MIT ha aumentato la velocità di elaborazione di quasi 30 volte in alcuni esperimenti. Poiché il sistema utilizza un linguaggio di programmazione intuitivo, potrebbe ottimizzare gli algoritmi di apprendimento automatico per un’ampia gamma di applicazioni. Il sistema potrebbe anche aiutare gli scienziati che non sono esperti di apprendimento profondo ma vogliono migliorare l’efficienza degli algoritmi di intelligenza artificiale che usano per elaborare i dati. Inoltre, il sistema potrebbe avere applicazioni nell’informatica scientifica: “Per molto tempo, catturare queste ridondanze di dati ha richiesto un grande sforzo di implementazione. Invece, uno scienziato può dire al nostro sistema cosa vorrebbe calcolare in modo più astratto, senza dire al sistema esattamente come calcolarlo”, afferma Willow Ahrens, postdoc del Massachusetts Institute of Technology e coautrice di un articolo sul sistema.
Eliminare il calcolo
Nell’apprendimento automatico, i dati sono spesso rappresentati e manipolati come matrici multidimensionali noti come tensori. A differenza di una matrice bidimensionale, un tensore può avere molte dimensioni, o assi, rendendo i tensori più difficili da manipolare. I modelli di apprendimento profondo eseguono operazioni sui tensori utilizzando moltiplicazioni e addizioni di matrici ripetute: questo processo è il modo in cui le reti neurali apprendono modelli complessi nei dati. L’enorme volume di calcoli che devono essere eseguiti su queste strutture di dati multidimensionali richiede un’enorme quantità di elaborazione ed energia.
Per semplificare il processo, i ricercatori del MIT hanno creato un nuovo compilatore, ovvero un programma per computer che traduce codice complesso in un linguaggio più semplice che può essere elaborato da una macchina. Il compilatore, chiamato SySTeC, può ottimizzare i calcoli sfruttando automaticamente sia la scarsità sia la simmetria nei tensori.
Ottimizzazioni simultanee
Per usare SySTeC, uno sviluppatore inserisce il suo programma e il sistema ottimizza automaticamente il suo codice per tutti e i tipi di simmetria. Quindi la seconda fase di SySTeC esegue ulteriori trasformazioni per memorizzare solo valori di dati diversi da zero, ottimizzando il programma per la scarsità. Alla fine, SySTeC genera codice pronto all’uso. “In questo modo, otteniamo i vantaggi di entrambe le ottimizzazioni. E la cosa interessante della simmetria è che, poiché il tuo tensore ha più dimensioni, puoi ottenere ancora più risparmi sui calcoli” prosegue Ahrens.
I ricercatori hanno dimostrato accelerazioni di quasi un fattore di 30 con codice generato automaticamente da SySTeC.
Poiché il sistema è automatizzato, potrebbe essere particolarmente utile in situazioni in cui uno scienziato desidera elaborare dati utilizzando un algoritmo che sta scrivendo da zero.
In futuro, i ricercatori desiderano integrare SySTeC nei sistemi di compilazione tensore sparsi esistenti per creare un’interfaccia fluida per gli utenti. Inoltre, vorrebbero utilizzarlo per ottimizzare il codice per programmi più complicati.
