Soa paradoxal, mas na realidade a Filarmônica de Viena nunca foi fundada, pelo menos não da maneira como outras orquestras semelhantes. Ela existiu, durante longo tempo, como orquestra de teatro, mais precisamente como o corpo sonoro da Ópera de Viena.

Seu surgimento poderia ser qualificado como o produto de um processo de terceirização: na Ópera, os músicos eram empregados; na Filarmônica, tornaram-se autônomos.

A ligação permanece até hoje: os integrantes da Filarmônica são recrutados entre os membros da orquestra da Ópera Estatal de Viena, ou seja, é preciso primeiro integrar a orquestra da Ópera para só então almejar um posto na Filarmônica.

Hoje a fama mundial da Filarmônica, frequentemente apontada como uma das melhores orquestras do mundo, é muito superior à da orquestra da Ópera, embora os músicos sejam os mesmos.

Mas nem sempre foi assim. Na primeira metade do século 19, faltava na Viena dos clássicos Haydn, Mozart e Beethoven uma orquestra composta por músicos profissionais. Havia músicos profissionais apenas nas orquestras dos teatros da cidade.

Assim era corrente a ideia de usar essas orquestras para concertos privados. O expediente não era novo: em 1785 Mozart já havia recorrido à orquestra do Teatro da Ópera da Corte, e Beethoven estreou a sua Nona Sinfonia com a orquestra da Ópera, em 1824 – nem tão bem, aliás, pois o compositor, já então surdo, só ensaiou a peça uma vez.

Assim o 28 de março de 1842 ficou como a data de fundação da Filarmônica de Viena. Nesse dia "os integrantes da orquestra do Teatro e Ópera da Corte", como o grupo se apresentou, fizeram um grande concerto, regido pelo maestro Otto Nicolai. Este fazia parte de um círculo de músicos e literatos liberais que conheciam não só a miséria musical de Viena, como também a miséria política.

Desde o início ele aliou a idéia dos concertos filarmônicos com a de uma sociedade filarmônica. O ideia central era que cada integrante fosse também empresário e recebesse honras artísticas e vantagens financeiras.

Nicolai permaneceu como regente da Filarmônica nos cinco anos seguintes e dedicou-se, do ponto de vista artístico, especialmente às obras de Beethoven. Em 11 concertos foram executadas todas as sinfonias do mestre, o que levou um cronista a concluir que "a Filarmônica de Viena foi criada para que as obras de Beethoven fossem interpretadas à altura".

Depois dessa fase inicial, a Filarmônica de Viena começou a emancipar-se cada vez mais do seu cotidiano como orquestra de ópera. Em 1870 ela se separou também fisicamente da Ópera, passando a fazer seus concertos no salão dourado da Associação dos Músicos.

O empreendimento floriu também além das fronteiras da Áustria. Em 1900 foi realizada a primeira viagem ao exterior. Em 1922 a orquestra foi à América do Sul. A Filarmônica de Viena descobria o mundo, e o mundo descobria a Filarmônica de Viena.

Os músicos da Filarmônica de Viena sempre elegeram seus próprios regentes, criando uma tradição democrática. Até 1933 Hans Richter, Gustav Mahler, Felix von Weingartner e Wilhelm Furtwängler foram regentes. Atualmente a orquestra só toca com maestros convidados.