Créé lors de l'exposition universelle de 1937 sous l'égide de Jean Perrin, le Palais de la découverte a pour ambition de rendre les sciences accessibles au plus grand nombre. Un espace mathématique y existe dès l'origine, avec la fameuse salle du nombre Pi. Cet espace a été régulièrement actualisé et on y proposait des animations pour les groupes, par exemple à l'occasion d'expositions comme Symétries en 2013 ou Informatique et sciences du numérique en 2018, mais aussi l’architecture  ou Les histoires de la salle Pi. En 2020, le mur de la salle Pi, avec d'autres objets du Palais, a été vendu par morceaux aux enchères.

Pour restructurer l'ensemble du Grand Palais, le Palais de la découverte a été déménagé en 2020, et pour 5 ans, au Parc André Citroën sous une nouvelle structure éphémère de 800 m2, Les Etincelles - Palais de la découverte, ouvert sur réservation aux classes et aux groupes en semaine et au grand public les week-ends et pendant les vacances scolaires. Les ateliers, les conférences sont transférés à la Cité des sciences.
Une exposition itinérante a été créée pour circuler en France pendant ces 5 ans et a pour sujet l'esprit critique.