De Gulden Passer werd in 1967 opgericht te Antwerpen onder het embleem ‘Labore et Constantia’, met als doel de jeugd een zinvolle benadering te geven van het cultuurpatrimonium en het cultuurbeleven in stad en land.
Het woord cultuur dient hier in de breedst mogelijke zin te worden genomen. Naast musea, tentoonstellingen, historische gebouwen, worden ook sociale instellingen, bedrijven, artiesten, theaters, enz. bezocht.

Elisabeth Standaert startte met een groep van een tiental kinderen van 8 jaar met een bezoek aan het Plantin Moretus Museum (vandaar de naam van de club). Het jaar daarna kwam Suzanne Moens bij de groep als verantwoordelijke. Al snel bleek het nodig de groep te splitsen en de start was voorgoed gegeven.

In 1970 stichtten Elisabeth Standaert en Suzanne Moens de Club Zilveren Passer. Het financieel beheer kwam in handen van Lydia Herfurth. De werkwijze van de Club Zilveren Passer stemt volledig overeen met die van de Club Gulden Passer.

De afdeling Antwerpen van de Club Zilveren Passer werd vereerd met het bezoek van koningin Fabiola op 23 juni 1982. Samen met de verantwoordelijken van de oudste groepen van de Clubs Gulden Passer en Zilveren Passer bracht ze een bezoek aan het Museum voor het Vlaams Cultuurleven.

In 1985 werd op initiatief van Jan Van Ossel de Club Koperen Passer voor heren opgericht.

Einde 1989 gaven de stichtende leden de fakkel van de Club Zilveren Passer door. Er werd een nieuw bestuur gevormd met Christine De Ferm als voorzitter, Annemie Van Walleghem, penningmeester, Edda Seifert, secretaris, Cécile De Vilder en Ria Vandermeulen bestuurders.

Koningin Fabiola hield eraan de lustrumviering op 19 juni 1990 ter gelegenheid van het twintigjarig bestaan van de Club Zilveren Passer en de bestuursoverdracht door de stichters Elisabeth Standaert, Suzanne Moens en Lydia Herfurth op te luisteren met haar hoge aanwezigheid.

In 1996 startte de Club Zilveren Passer Nederland.

In 2005 werden de feitelijke verenigingen Zilveren Passer en Koperen Passer aparte vzw's. De Gulden Passer VZW bleef de overkoepelende en coördinerende vereniging. De leden van het centraal bestuur van de Club Zilveren Passer vormen de nieuwe Raad van Bestuur. Ann Dens, vroeger voorzitter Club Gulden Passer, wordt ondervoorzitter in de nieuwe VZW. In de Algemene Vergadering van de Zilveren Passer VZW zetelen de districts- en provincieverantwoordelijken samen met de stichters en verantwoordelijken van de Club Gulden Passer.

Ter gelegenheid van de 40ste verjaardag van de Zilveren Passer werden de leden van de Algemene Vergadering ontvangen op het Stadhuis door Philip Heylen, Schepen van Cultuur op 13 september 2010.

In juni 2022 werd de Gulden Passer vzw als overkoepelend orgaan ontbonden en werken de Zilveren Passer vzw en de Koperen Passer vzw volledig onafhankelijk van elkaar.