Vinařství nese jméno anglického generálmajora Charlese Palmera, který je koupil jako usedlost Gascq v roce 1814. Tento majitel se zasloužil o propagaci vína u zámožné britské společnosti a dodnes je mezi Angličany velké množství milovníků tohoto vína. Současný zámek byl vybudován novými majiteli, bratry Pereireovými, a stejně tak rozkvět vinařství započal s jejich příchodem v roce 1853. Škoda jen, že do klasifikace velkých bordeauxských vín v roce 1855 zbývalo tak málo času. Palmer tak byl zařazen „pouze“ mezi troisième grand cru classé. Bohužel konec 19. století a počátek 20. nebyl pro nové majitele vůbec příznivý – nákaza vinné révy padlím, fyloxérou, v letech 1870 až 1871 prusko-francouzská válka a pak 1. světová válka. Byla to ale až velká krize v 30. letech, která je přinutila majetek prodat. Od roku 1938 vlastnili vinařství čtyři bordeauxské rodiny: Mähler-Besseovi, Sichelovi, Miailheovi a Ginestetovi – tito akcionáři vrátili Palmer mezi elitu francouzských vín, kam bezpochyby patří. Vytrvali dvě z rodin, které vlastní château dodnes: rodina Sichelova a Mähler-Besseova.