Hoewel ze onder het pseudoniem J.K. Rowling schrijft, uitgesproken als ‘rolling’, was haar naam toen haar eerste Harry Potter boek werd gepubliceerd gewoon Joanne Rowling. In de veronderstelling dat de beoogde doelgroep van jonge jongens misschien geen boek zou willen lezen dat door een vrouw is geschreven, eisten haar uitgevers dat ze twee initialen zou gebruiken in plaats van haar volledige naam. Omdat ze geen tweede naam had, koos ze K als tweede initiaal van haar pseudoniem, afkomstig van haar grootmoeder van vaderskant, Kathleen Ada Bulgen Rowling. Ze noemt zichzelf Jo en heeft gezegd: “Niemand noemde me ooit ‘Joanne’ toen ik jong was, tenzij ze boos op me waren.” Na haar huwelijk heeft ze soms de naam Joanne Murray gebruikt bij persoonlijke aangelegenheden. Tijdens het Leveson onderzoek gaf ze bewijs onder de naam Joanne Kathleen Rowling. In een interview in 2012 merkte Rowling op dat het haar niet langer uitmaakte dat mensen haar naam verkeerd uitspraken.
Rowling werd geboren als dochter van Peter James Rowling, een Rolls Royce vliegtuigtechnicus, en Anne Rowling (née Volant), op 31 juli 1965 in Yate, Gloucestershire, Engeland, 16 kilometer ten noordoosten van Bristol. Haar moeder Anne was half Frans en half Schots. Haar ouders ontmoetten elkaar voor het eerst in 1964 in een trein die vertrok vanaf King’s Cross Station met bestemming Arbroath. Ze trouwden op 14 maart 1965. De grootvader van haar moeder van moederskant, Dugald Campbell, werd geboren in Lamlash op het eiland Arran. De grootvader van haar moeder van vaderskant, Louis Volant, werd onderscheiden met het Croix de Guerre voor uitzonderlijke moed bij het verdedigen van het dorp Courcelles le Comte tijdens de Eerste Wereldoorlog.
Rowlings zus Dianne werd geboren in hun huis toen Rowling 23 maanden oud was. Het gezin verhuisde naar het nabijgelegen dorp Winterbourne toen Rowling vier jaar oud was. Ze ging naar de St Michael’s Basisschool, een school die werd opgericht door abolitionist William Wilberforce en onderwijsvernieuwer Hannah More. Haar directeur op St Michael’s, Alfred Dunn, wordt wel genoemd als de inspiratie voor het personage Albus Perkamentus, het schoolhoofd van Zweinstein in de Harry Potter boeken.
Als kind schreef Rowling vaak fantasieverhalen, die ze meestal vervolgens aan haar zus voorlas. Ze herinnert zich: “Ik kan me nog herinneren dat ik haar een verhaal vertelde waarin ze in een konijnenhol viel en aardbeien kreeg van het konijnengezin dat daar woonde. Het eerste verhaal dat ik ooit opschreef (toen ik vijf of zes was) ging zeker over een konijn genaamd Konijn. Hij kreeg de mazelen en werd bezocht door zijn vrienden, waaronder een gigantische bij genaamd Juffrouw Bij.” Op negenjarige leeftijd verhuisde Rowling naar Church Cottage in het dorp Tutshill in Gloucestershire, dicht bij Chepstow, Wales. Toen ze een jonge tiener was, gaf haar oudtante, die volgens Rowling “klassieke talen doceerde en een dorst naar kennis aanmoedigde, zelfs van een twijfelachtige soort”, haar een heel oud exemplaar van de autobiografie van Jessica Mitford, Hons and Rebels. Mitford werd Rowlings heldin, en Rowling las vervolgens al haar boeken.
Rowling heeft over haar tienerjaren gezegd, in een interview met The New Yorker: “Ik was niet bijzonder gelukkig. Ik denk dat het een vreselijke tijd van het leven is.” Ze had een moeilijk thuisleven; haar moeder was ziek en ze had een moeilijke relatie met haar vader (ze heeft geen contact meer met hem). Ze ging naar de middelbare school aan Wyedean School and College, waar haar moeder als technicus had gewerkt op de afdeling wetenschap. Rowling zei over haar adolescentie: “Hermelien [een leergierig, betweterig personage uit Harry Potter] is losjes gebaseerd op mij. Ze is een karikatuur van mij toen ik elf was, waar ik niet bijzonder trots op ben.” Steve Eddy, die Rowling Engels onderwees toen ze voor het eerst aankwam, herinnert zich haar als “niet uitzonderlijk” maar “een van een groep meisjes die slim waren, en best goed in Engels.” Sean Harris, haar beste vriend in het eindexamenjaar, bezat een turquoise Ford Anglia, waarvan ze zegt dat deze de inspiratie vormde voor de auto in haar boeken.