Choix base de données pour objets connectés

Bonjour à tous !

Je commence à travailler sur un projet personnel d’objets connectés, consistant à en stocker des données pour ensuite en tirer des prédictions.

Pour ce projet, j’ai environ 1300 points de données à enregistrer chaque minute. Par conséquent, j’ai besoin de stocker environ 2 millions de lignes par jour.

Naïvement, j’ai commencé à initialiser mon projet Django avec postgreSQL mais je me rends bien compte que sur le long terme, ce ne sera pas tenable.

Par conséquent, je voulais savoir si vous auriez des recommandations à me faire pour choisir une base de données (a priori, noSQL), qui réponde aux critères suivants :

1. Capable d’absorber 2 millions de lignes par jour. J’envisage d’archiver les données tous les ans donc environ 700 millions de lignes
2. Managée. C’est un projet perso, je n’ai pas envie de passer du temps à galérer avec les configurations serveur

Quelqu’un aurait-il déjà été face à une problématique de ce genre ? Merci d’avance pour votre expertise !

Pour du monitoring, est-ce qu’un système comme Prometheus ne serait pas adapté ?

Merci SpaceFox,

Désolé, je me suis très mal exprimé. C’est plutôt du stockage de données dans un premier temps, pour ensuite en tirer des prévisions (je vais modifier le titre en conséquence).

Du coup, je ne pense pas que Prometheus soit le plus adapté dans mon cas, mais je vais quand même creuser !

Merci pour ton aide en tout cas.

Merci pour ta réponse. Je suis allé voir les solutions que tu proposes @Society et effectivement ça a l’air pas mal.

A côté de ça, je me suis rendu compte que dans un premier temps, je n’avais pas besoin d’afficher ces données (je vais faire de l’analyse dessus), donc elles sont pour l’instant stockées sous forme de CSV.

Une fois que j’en aurai suffisamment, je verrai alors entre toutes tes propositions celle qui semble le plus adaptée à ingérer ce CSV (qui pèsera tout de même, au bout d’une an, 42 Go…).

Merci pour votre aide !