Je dirais que la réponse est dépendante de ton archi, et de ses possibilités. Ton truc est en PHP, ou en natif?
Si c'est en PHP, t'as pas beaucoup de choix, mais il y a une connexion persistante qui permet de ne pas s'énerver, si t'es en FastCGI, logiquement il garde cela de page en page, tu gagnes quelques ms précieuses sur la connexion, et tu vas pas te prendre 200 connexions vu que t'es limité en termes de FastCGI.
En compilé je fais plus ou moins pareil, j'ai un pool de connexions ouvertes, et je vais pêcher dedans à chaque query. Si t'utilises l'API C, tu dois bien faire gaffe à ce que tu fais, pour pas exploser le bousin en demandant le result du query (qui est du dernier, donc si t'es en multithread benh.... pas forcément celui que tu crois
).
Dans d'autres cas je préfère le mode connecté/déconnecté, mais en fermant au bon moment (dès que je sais que j'ai fini, pas en fin de process), ça me permets de pas trop charger la mémoire. Mais dans les grandes lignes, le persistent a souvent ma préférence