Phillips Koleksiyonu'nun doğuşu, sanat eleştirmeni Duncan Phillips'in vizyonundan kaynaklanmıştır. 1921'de aile malikanesini bir müzeye dönüştürdü ve başlangıçta yalnızca 600 özel koleksiyon sergiledi, ancak kısa süre sonra halka açıldı ve Amerika Birleşik Devletleri'ndeki modern sanat koleksiyonunda öncü oldu. Müze binası başlı başına bir sanat tarihidir: ana gövde 1897'de inşa edilen ve daha sonra üç kola genişleyen kırmızı tuğladan bir malikanedir ve yalnızca tarihi çekiciliğini korumakla kalmaz, aynı zamanda modern tasarımı da içerir.

Müzedeki koleksiyon, Van Gogh, Cézanne, Renoir, Degas, Picasso ve Matisse gibi ustaların şaheserlerini kapsayan Avrupa Empresyonizmi ve 20. yüzyıl Amerikan modern sanatına odaklanmıştır. Duncan Phillips'in eşi olan Marjorie Acker, bir yağlıboya ressamı olarak müzenin koleksiyonunun yönü üzerinde derin bir etkiye sahiptir ve bu koleksiyon Empresyonizm'den modern sanat alanına doğru kademeli olarak genişlemiştir. Müze, 2006 yılında sanat ve zaman arasındaki diyaloğu daha da teşvik etmek için Çağdaş Sanat Araştırmaları Merkezi'ni kurmuştur.

