Grundaren Rudolf Nydahl (1882-1973) hade redan i unga år ett starkt intresse för musik. Han studerade under en tid vid konservatoriet i Paris, men det skulle dröja några år innan han hängav sig åt sitt musikintresse.
Efter studentexamen 1901 utbildade sig Nydahl först till sjöofficer för att sedan övergå till kustartilleriet, där han befordrades till kapten. Rudolf Nydahl’s mor drev vid denna tid en vinhandel i Stockholm (K.A. Nydahl & Co.), vilken han övertog vid hennes död 1916. När AB Vin & Spritcentralen fick monopol på vinförsäljningen 1919, tvingades Rudolf Nydahl sälja vinhandeln till staten. För ersättningen köpte han några bostadsfastigheter i Stockholm och grundade 1920 Stiftelsen Musikkulturens Främjande. Från och med denna tidpunkt kunde han ägna sig åt sin passion.
En stor del av de föremål som finns i muséet förvärvade Rudolf Nydahl under resor på kontinenten, bland annat till Paris och Berlin. Där utvecklade han ett särskilt starkt intresse för fransk musik och kultur – framför allt för tonsättaren Georges Bizet och kretsen kring honom. Fransk musik och franska musikinstrument intar därför en central plats i samlingarna. Rudolf Nydahl var även nära vän till skulptören Carl Milles – några av hans statyer finns att beskåda på muséet. Rudolf Nydahls samlargärning drevs av en brinnande passion för musik och kultur. Med undantag för krigsåren 1939-45 fortsatte han resorna och samlandet livet ut.