En 1859, il arrive à Londres où il passe une longue partie de sa vie. Il se présente comme un aristocrate sudiste ruiné, bien que sa sympathie envers les sudistes pendant la Guerre civile américaine ne soit pas démontrée .
Découvrant Vélasquez et la peinture espagnole introduite au Louvre par Louis-Philippe, il part pour Madrid afin d'admirer l'œuvre du maître, mais le voyage s'interrompt à Guéthary. Cependant, Vélasquez l'influençera dans nombre de portraits comme Arrangement en noir (1884), son Autoportrait en brun et or (1896), ou dans Arrangement noir et or, le comte Robert de Montesquiou (1891-1892, The Frick Collection, New York)4.
Whistler s'intéresse à la peinture extrême-orientale et collectionne les porcelaines et les tissus orientaux ou, comme Dante Gabriel Rossetti, les bois gravés servant à imprimer les tissus.
Whistler était réputé pour son esprit acéré, particulièrement dans des échanges avec son ami Oscar Wilde. Tous les deux étaient des figures de la société parisienne en cette fin du xixe siècle. On raconte que le jeune Oscar Wilde, alors invité à un des dîners de Whistler, son hôte lui fit une remarque brillante, et Wilde aurait répliqué : « Je regrette de ne pas l'avoir dit plus tôt. » Ce à quoi Whistler riposta : « Vous le ferez, Oscar, vous le ferez ! » Quand Oscar Wilde sera publiquement reconnu homosexuel en 1895, Whistler le raillera ouvertement.
En 1892, il revient à Paris et s'installe dans l'atelier d'Antonio de La Gandara pour terminer son portrait en cours du comte Robert de Montesquiou. Pour le remercier, Whistler lui offre un meuble palette identique au sien8.
Whistler meurt le et est enterré à l'église St Nicholas dans le quartier de Chiswick, à Londres.Considéré comme le précurseur de l'impressionnisme anglais, il conçoit la peinture comme une pure expérience esthétique au-delà des valeurs de la représentation et se rapprochera de la culture symboliste des années 1880-1890. Ses contemporains comparent ses nocturnes et ses symphonies picturales aux variations subtiles de la musique de Wagner.