#distributed-training

Decoupled DiLoCo : entraîner les IA sans synchronisation parfaite

Google déploie une architecture qui entraîne les modèles géants sur des centres de données distants, sans bloquer sur la synchronisation réseau.