Aus dem beschaulichen Cambridge kommt Edie (Sienna Miller) in das New York der 60er. Dort trifft sie auf Andy Warhol (Guy Pearce). Edies Charisma, gepaart mit ihrer Verletzlichkeit, lässt sie zu Warhols Muse aufsteigen. Sie lebt in der rauschenden Welt der Factory. Warhol verwandelt die stillgelegte Hutfabrik in einen Ort, der als Sinnbild der 60er gilt. Kunst, Drogen und freie Liebe prägen den Alltag der New Yorker Künstlerszene, und mittendrin ist Edie, die zum Gesicht der Gegenkultur aufsteigt. Scheinbar an der Spitze angelangt verliebt sie sich in einen mythenumwobenen Rockstar (Hayden Christensen). Gefangen zwischen Warhols Welt und ihrer neuen Liebe findet sie sich letztendlich im Stich gelassen von beiden. Auf sich allein gestellt versucht sie in der modernen Welt zu bestehen. Doch ihre Vergangenheit lässt sie nicht los...