Vi ho già parlato delle novità del Meta Connect 2024 in questo articolo (https://www.linkedin.com/feed/update/urn:li:activity:7245396888873558017/).
Tra queste novità c’è la nuova AI di Meta, Llama 3.2. Cosa rende interessante questa AI? È davvero funzionale per le piccole attività quotidiane, e la cosa più interessante è che può funzionare anche con GPU integrate (schede video incluse nel processore), rendendola accessibile su dispositivi che dispongono di soli 2GB di VRAM per il modello da 1B di parametri e 6GB di VRAM per quello da 3B di parametri.
Attenzione però: queste sono le configurazioni minime, quindi non aspettatevi tempi di risposta velocissimi. Inoltre, potrebbe essere necessario usare il cosiddetto “batch size”, che sfrutta parte della RAM del sistema per compensare la mancanza di VRAM.
Come installarla?
Semplice! Ho già realizzato un video tutorial su come installare Llama 3.1 (con 8B di parametri) utilizzando Ollama, che sfrutta il “prompt dei comandi” di Windows, evitando di usare risorse aggiuntive rispetto a un’interfaccia grafica. Potete guardare il video a questo link: https://www.linkedin.com/posts/marco-sala-web_ai-meta-llama3-activity-7224724859111518209-F7ML?utm_source=share&utm_medium=member_desktop
Perché un’AI in locale?
La risposta è semplice: avrete la possibilità di gestire dati riservati direttamente sul vostro dispositivo, senza preoccupazioni che questi circolino in rete o finiscano in mani indesiderate.
Quindi, se avete un portatile con una GPU integrata e desiderate un’AI personale e locale, Llama 3.2 potrebbe essere la soluzione che fa per voi.