Идея построить такую часовню пришла где-то 400 лет назад, местному аббату Де Труа, настоятелю местного церковного прихода, после того, как в дуб попала молния, которая расколола и сожгла дерево, но оно по Божьей воле выжило и стало расти дальше, покрывшись зелеными листьями. После такого чуда, аббат Де Труа со воим другом, отцом Фатэ Дю Серко построили в образовавшейся после молнии полости две комнатки-часовни. Нижняя называлась – Notre Dame de la Paix (Часовня Девы Марии), которая стала местом паломничества, а верхняя – Chambre de l’Ermite (Часовня Отшельника), в которой отец Дю Серко прожил отшельником до смерти, внутри даже помещалась небольшая кровать, на которой он спал.
Во время французской революции часовню пытались сжечь, как символ религиозного поклонения, но к счастью местный учитель спас Дуб-часовню, повесив на него табличку с надписью – «Храм Благоразумия». В 19 веке французская императрица Евгения, жена Наполеона ІІ, подарила этой часовне деревянную позолоченную статую Девы Марии, которая в данных момент хранится в местной церкви Святого Квентина Алувильского.
Ныне дуб-часовня Chêne d'Allouville является историческим памятником и охраняется, а также реставрируется. Часовне, для обеспечения надежности в 1988 году был сделан металлический каркас, а трещины в коре дуба заделаны с помощью рыжей черепицы и металла, также к дубу были прикреплены металлические распорки. В 2007 году винтовая лестница была заменена на металлическую, а в 2008 году, у основания дуба была заменена гравийная подсыпка и доски. Дуб-часовня очень популярное место у туристов, в год это место посещает около 40 тысяч туристов. Каждый год 15 августа на это место съезжаются верующие со всего мира, чтобы отпраздновать праздник который у католиков называется – "восхождение на небеса Девы Марии", а у православных – "Успение Пресвятой Богородицы".