Le infrastrutture cloud o legacy spesso vengono utilizzate per lo sviluppo delle prime fasi dell'AI o per il proof of concept, ma quando l'AI viene utilizzata a livello di produzione, i data scientist devono poter contare su un'infrastruttura che sia appositamente ottimizzata.
Dovrebbe pertanto essere tenuto in considerazione quanto segue:
- Dimensioni e crescita del set di dati
- Costi e disponibilità di soluzioni di rete, storage e GPU dalle performance elevate
- Requisiti relativi a sicurezza, controllo, gestione e proprietà dei dati.
Spesso, infatti una soluzione on-premise o ibrida sarà in grado di offrire risultati migliori in tempi più rapidi, con un costo totale di proprietà inferiore.