Ce lieu de prière et de recueillement à l'architecture originale construit en 1864 pour les Dominicains fit un temps oublier que les premières installations du Moulleau furent à l'origine des batteries de canons.

En guerre avec l'Angleterre depuis 1792, les autorités françaises décidèrent de protéger leurs côtes contre tout risque d'invasion venant de la mer. La situation du Bassin d'Arcachon les inquiétait particulièrement, car les navires anglais avaient une grande habitude des passes qu'ils franchissaient jusqu'alors pour venir s'approvisionner en poteaux de mines. De surcroît, l'endroit ne comportait aucune défense.

On décida donc promptement d'installer à proximité de La Teste, au sommet de la dune "La Roquette" - cela ne s'invente pas - une garnison et plusieurs batteries de canons chargées de repousser toute tentative de franchissement des passes. L'inquiétude des responsables de l'époque se révéla vite justifiée, car le fort de la Roquette dut faire face à de nombreux assauts. Cependant, le 4 janvier 1807, les Anglais parvinrent à détruire une partie de la garnison et procédèrent à des pillages sur la côte. La réaction fut immédiate, et d'autres batteries furent installées au Cap-Ferret, au Moulleau, qui fut désigné comme axe principal de la défense, et au niveau de l'actuelle plage Pereire.

A la fin des hostilités, en 1815, on décida de désarmer les places fortes. Mais la mer et l'érosion furent les plus rapides, et nombre de canons disparurent dans les eaux du Bassin.
En 1899, après une forte tempête, on retrouva l'un d'eux à demi enfoui dans le sable sur la plage du Moulleau. Il fut décidé de l'exposer sur le rivage, face à la mer, où il demeure encore aujourd'hui.

Entre-temps, une construction plus pacifique avait été édifiée sur une haute dune. L'église Notre-Dame des Passes fut en effet bâtie en 1864 pour les Dominicains par l'architecte Louis Garros. D'une architecture soignée, elle possédait à l'origine deux clochers en forme de dôme recouverts de nombreux ornements. Ces derniers disparurent lors de l'agrandissement du bâtiment et furent remplacés par de simples toits en terrasse.