La dynamique des systemes gravitationnels s'appuie traditionnellement sur la physique de Newton. Appliquee a l'echelle des galaxies, la gravitation newtonienne impose l'existence d'une certaine matiere, actuellement invisible: la matiere noire. Si ce modele (LCDM) rencontre des succes a grande echelle, des difficultes apparaissent a l'echelle des galaxies. Dans ma these, j'explore par des simulations numeriques une alternative de la gravitation newtonienne: MOND (Modified Newtonian Dynamics), ou la loi newtonienne de la gravite est modifiee selon une echelle d'acceleration, sans l'intervention de la matiere noire. Cette expression de la gravitation est non-lineaire et impose une methode differente de celle utilisee dans les systemes avec matiere noire. Ce travail ouvre des horizons vers des simulations cosmologiques qui pourraient valoriser un modele en analysant la formation hierarchique des structures a partir des fluctuations de densite primordiales."