"Yellow" is geschreven in een Rockfield studio in Wales. De studio heet de Quadrangle. Het is waar Coldplay begon te werken aan hun eerste album, Parachutes. Op een nacht na het beëindigen van de opname van "Shiver", de lead single van het album, nam de band een pauze en ging de studio uit. Buiten waren er weinig lichten aan en de sterren aan de hemel waren zichtbaar en "gewoon geweldig", volgens de co-producer van het nummer, Ken Nelson. Hij zei tegen de band dat ze naar de sterren moesten kijken. De band keek naar de sterren en voelde zich geïnspireerd. De hoofdmelodie van het nummer kwam in het hoofd van Chris Martin, de zanger van de band. De melodie was een akkoordenschema. In eerste instantie nam Martin het niet serieus "terwijl hij de melodie met zijn slechtste Neil Young-imitatiestem aan de rest van de band doorgaf". Martin heeft gezegd: "Het liedje had het woord 'stars' en dat leek me een woord dat je met een Neil Young stem moest zingen." De melodie "begon een stuk langzamer" volgens Will Champion, de drummer van de band, en klonk als een Neil Young nummer. Niet lang daarna werkte Martin's idee, ondanks dat hij het nummer niet serieus nam, toen hij het tempo van het couplet had uitgewerkt. Toen Jonny Buckland, de gitarist van de band, het begon te spelen en er zijn eigen ideeën aan toevoegde, hadden ze de riff gecreëerd, "and it sort of got a bit heavier".
Tijdens het componeren van de songtekst kon Martin echter niet de juiste woorden vinden. Hij dacht aan een specifiek woord dat paste bij de hoofdgedachte en het thema van het lied. Hij dacht dat dit ontbrekende woord een sleutelwoord in de songtekst was. Hij keek rond in de studio en vond het telefoonboek Gouden Gids. Martin gaf het nummer later de titel "Yellow" als verwijzing naar het telefoonboek. Maar volgens hem, "In een alternatief universum, zou dit nummer 'Playboy' kunnen heten." De songtekst ontwikkelde zich van daaruit met medewerking van de band. De bassist van de band, Guy Berryman, kwam met de openingszin "Look at the stars". Die avond, nadat het nummer snel was gecomponeerd, nam de band het op.