28 Ağustos 1930’da New York’ta doğan Gazzara İtalyan göçmeni bir ailenin çocuğuydu. Elia Kazan’ın öncülüğünde kurulan ve çok sayıda ünlü yıldızı yetiştiren bir tür sinema okulu olan Actors Studio’da eğitim alan oyuncu, 1950’de Broadway oyunlarında başlayan kariyerinde Elia Kazan’ın yönettiği Tennessee Williams oyunu Kızgın Damdaki Kedi’de oynadı. Üç kez Tony Ödülü’ne aday gösterildi.
Bir süre televizyon filmlerinde oyuncu ve yönetmen olarak çalıştıktan sonra 1957’de ilk filmi The Strange One’da diğer Actors Studio elemanlarıyla birlikte rol aldı. Sonra da Otto Preminger’in 1959’da yönettiği mahkeme filmi Anatomy of a Murder’da sinemadaki ilk önemli rolünü oynadı ve filmin kadrolu yıldızı James Stewart’tan bolca rol çaldı.
1970’te Actors Studio’dan dostu olan John Cassavetes’le birlikte yapacakları beş filmin ilki olan Husbands’da oynadı. Sonraki filmler de The Killing of a Chinese Bookie, Opening Night, Capone, If It’s Tuesday, This Must Be Belgium oldu. Cassavetes’le ölüm tarihlerinde de buluştular. Cassavetes de 1989’un 3 Şubat’ında ölmüştü.
2002 yılında Hysterical Blindness adlı televizyon filmi ile Emmy ödülü aldı. Bu onun ilk önemli ödülü oldu.