Créée le 16 mai 1989 de la volonté de quelques Vitrollaises et Vitrollais, l'association s'est immédiatement donné comme objectif la promotion des musiques jazz.
Les premières années furent occupées par la diffusion d'une programmation variée, axée sur le jazz, mais s'ouvrant également à d'autres musiques. Les coproductions furent nombreuses.
En avril 1993, l'association se sédentarise grâce à la mise à disposition par la municipalité de l'époque d'un local, situé dans le domaine de Fontblanche.
Ce lieu, restauré par les bénévoles de l'association, équipé progressivement en matériels son et lumière, est devenu une scène incontournable dans le paysage jazzistique français.
Depuis février 1997, les divers désengagements municipaux n'ont pas entamé la volonté de l'association : grâce à des concerts de soutien, à des souscriptions et aux aides financières d'autres institutions, Charlie Free persiste à vouloir faire germer, sur un terrain plutôt aride, l'enseignement et la diffusion des musiques jazz.