Sujet: Memory FS?
08/06/2006 @ 14:39:53: philfr: Memory FS?
Ce serait plus facile à lire si tu formatais en [ code ]...

Mais le bo veut dire que tu écris sur ton disque. Et ces fichiers-là, tu peux gagner à les mettre en tmpfs, mais il faut aussi les backuper dans l'autre sens...
08/06/2006 @ 14:47:14: zion: Memory FS?
Ah benh alors non...

Si c'est de l'écriture, j'ai mon idée d'où ca vient, et pas besoin de backuper le répertoire, c'est mon répertoire de cache.

D'ailleurs je vais le purger, il dépasse le gb :ddr555:
08/06/2006 @ 14:52:14: didix: Memory FS?
Tentant ce I-Ram quand même !
08/06/2006 @ 14:52:48: philfr: Memory FS?
Et que mets-tu dans cette cache ? :write:
08/06/2006 @ 15:01:00: zion: Memory FS?
En fait, mon CMS est un ensemble de modules (plus d'une vingtaines :oh: ).

Un premier module de template XML avec des trucs du genre <forum:categories ... />
Un module d'output XHTML ... (je passe les détails :oh: ).

Mais dans les XML, il y a des tags <cache> pour me permettre de réaliser un cache au niveau serveur de tout ou partie de ce qui est généré pour ce type d'output. Cache qui est sauvé sur disque :oh:

J'ai aussi des caches de ce qui a été généré pour un user sur telle ou telle page pour lui renvoyer si il revient dans les secondes qui viennent (ca aussi c'est paramétré suivant la page).

Enfin bref, y a pleins de modules qui ont accès à ce cache, et pour une seule page, je peux créer 10 fichiers dans le cache :oh:

La shoutbox par exemple est un morceau caché et partagé par tout le monde. Les news la c'est caché mais chacun avec sa version (à cause des drapeaux :oh: ).

J'avais prévu une procédure pour cleaner le cache automatiquement pour pas me retrouver avec tout ce fourbi, mais on dirait que je vais devoir la revoir :joce:
08/06/2006 @ 15:16:23: zion: Memory FS?
Bon hop, j'ai cleané le cache et mounté le répertoire en tmpfs... Ca a l'air de fonctionner jusque la :oh:
08/06/2006 @ 15:18:22: zion: Memory FS?
J'ai l'impression que c'est pas négatif jusque la :joce:

Je dirais même plus, c'est positif :dawa:
08/06/2006 @ 15:53:13: philfr: Memory FS?
En plus, t'as pas besoin du script de sync... :grin:

Fais quand-même attention que ton répertoire de cache en tmpfs ne te bouffe pas tes 2GB de RAM...
08/06/2006 @ 15:56:15: zion: Memory FS?
J'ai rajouté un rm dans le cron.hourly... 1gb de généré depuis que le serveur est up, soit 3 semaines. Donc en 1 heure, il devrait pas faire trop de mal :ddr555:
08/06/2006 @ 15:59:29: philfr: Memory FS?
Et tu vires chaque fois toute ta cache, comme ça ?
Fais plutôt un "find -mtime xxx | xargs rm" pour effacer les fichiers plus vieux qu'un certain âge.
08/06/2006 @ 15:59:46: zion: Memory FS?
Bon, prochaine étape, je me crée un log avec la durée de génération de toutes les pages pour savoir ou je vais pouvoir grapiller l'une ou l'autre ms la prochaine fois :joce:

Hop, 24h de monitoring :oh:
08/06/2006 @ 16:02:41: zion: Memory FS?
philfr> En fait non, je peux me permettre de virer le cache disque sans m'en préoccuper.

Il y a 2 niveaux à mon cache. Un premier cache en mémoire partagée pour les pages les plus utilisées et un deuxième sur disque pour les autres. C'est suffisant je pense :ddr555:
08/06/2006 @ 16:03:01: philfr: Memory FS?
Mets ton log en tmpfs... :oh:
08/06/2006 @ 16:03:33: zion: Memory FS?
Euh... non, il va être énorme :ddr555:
08/06/2006 @ 16:07:31: philfr: Memory FS?
Alors t'étonne pas d'avoir des bo dans ton vmstat...
08/06/2006 @ 16:11:26: zion: Memory FS?
Non, mais ce sera que pour 24h... :wink:

Déjà ici avec le tmpfs pour le cache, le disque va probablement tenir quelques mois en plus :sifflote:
08/06/2006 @ 16:13:46: zion: Memory FS?
C'est juste dans ma tête ou le site va quand même un rien plus vite? :cupra:
08/06/2006 @ 16:31:31: ovh: Memory FS?
C'est juste dans ma tête ou le site va quand même un rien plus vite? :cupra:

Dans ta tête, spa détectable par un esprit humain :oh:

:joce:
09/06/2006 @ 10:28:01: philfr: Memory FS?
Ça donne quoi tes vmstat maintenant ? Ton disque rame toujours ?
09/06/2006 @ 13:09:59: zion: Memory FS?
procs -----------memory---------- ---swap-- -----io---- --system-- ----cpu----
r b swpd free buff cache si so bi bo in cs us sy id wa
2 0 2568 295224 24 1356820 0 0 14 3 11 15 19 1 80 1
1 0 2568 295116 24 1356860 0 0 0 126 1038 415 57 3 40 0
0 0 2568 295000 24 1356908 0 0 0 57 1032 306 53 3 44 0
1 0 2568 294652 24 1356960 0 0 0 28 1042 385 58 3 39 0
0 0 2568 294668 24 1356992 0 0 0 33 1026 311 53 3 45 0
0 0 2568 294552 24 1357048 0 0 0 26 1062 430 63 4 34 0
0 0 2568 294396 24 1357096 0 0 0 82 1041 328 52 3 45 0


Non, le disque bosse nettement moins. Je pense que c'est une très bonne modif le cache avec tmpfs ( merci :dawa: ). Maintenant, je vais devoir digérer les stats sur les générations des URLs et tenter d'optimiser encore un peu le bousin.

Je pense que c'est au niveau du forum que le bas blesse pour le moment, mais la j'ai mes idées pour l'optimiser, il faut juste le temps que je le fasse :sweat:
Retour