Ідея побудувати таку каплицю прийшла десь 400 років тому, місцевому абату Де Труа, настоятелю місцевого церковного приходу, після того, як в дуб влучила блискавка, яка розколола і спалила дерево, але воно по Божій волі вижило і стало рости далі, покрившись зеленими листям. Після такого дива, абат Де Труа зі своїм другом, батьком Фате Дю Серко побудували в порожнині, що утворилася після блискавки, дві кімнатки-каплиці. Нижня називалася – Notre Dame de la Paix (Каплиця Діви Марії), яка стала місцем паломництва, а верхня – Chambre de l'Ermite (Каплиця Відлюдника), в якій батько Дю Серко прожив відлюдником до смерті, всередині навіть містилося невелике ліжко, на якому він спав.
Під час французької революції каплицю намагалися спалити, як символ релігійного поклоніння, але на щастя місцевий вчитель врятував Дуб-каплицю, повісивши на нього табличку з написом – «Храм Розсудливості». У 19 столітті французька імператриця Євгенія, дружина Наполеона ІІ, подарувала цій каплиці дерев'яну позолочену статую Діви Марії, яка на даний момент зберігається в місцевій церкві Святого Квентіна Алувільского.
Нині дуб-каплиця Chêne d'Allouville є історичним пам'ятником і охороняється, а також реставрується. Каплиці, для забезпечення надійності в 1988 році був зроблений металевий каркас, а тріщини в корі дуба закладені з допомогою рудої черепиці та металу, також до дуба були прикріплені металеві розпірки. У 2007 році гвинтові сходи були замінені на металеві, а в 2008 році, біля основи дуба була замінена гравійна підсипка та дошки. Дуб-каплиця дуже популярне місце серед туристів, в рік це місце відвідує близько 40 тисяч туристів. Щороку 15 серпня на це місце з'їжджаються віруючі з усього світу, щоб відсвяткувати свято який у католиків називається – "сходження на небеса Діви Марії", а у православних – "Успіння Пресвятої Богородиці".