Harry baalt. Zijn tante Margot, die een pesthekel heeft aan Harry, komt logeren. Net daarvoor ontvangt Harry een brief over Zweinsveld, het dorp dat naast Zweinstein ligt. Om naar Zweinsveld te mogen hebben de leerlingen echter toestemming nodig van een ouder of voogd, waaronder dus ook Harry. Harry besluit zijn oom Herman Duffeling te chanteren door te zeggen dat hij zich alleen maar zal gedragen tijdens het bezoek van tante Margot als oom Herman het formulier ondertekent, en oom Herman blijkt hem inderdaad wel toestemming te willen geven als Harry belooft zich te gedragen. Het bezoek loopt echter anders dan gepland: Tante Margot laat zich enorm laatdunkend uit over Harry en Harry's ouders. Harry verliest zijn zelfbeheersing, en de beheersing van zijn toverkrachten. Hij doet haar per ongeluk opzwellen en rent van huis weg.
Tijdens het weglopen struikelt Harry, doordat hij schrok van een duister wezen. Nietsvermoedend steekt Harry zijn toverstok uit. De Collectebus komt hem ophalen. Deze bus brengt hem naar De Lekke Ketel. Aan boord ontdekt Harry dat Sirius Zwarts, een duistere tovenaar en volgeling van Voldemort, uit de tovenaarsgevangenis Azkaban ontsnapt is. De dag erna koopt Harry zijn schoolspullen en gaat na een week naar Zweinsteins Hogeschool voor Hekserij en Hocus-Pocus.
Op Zweinstein ontdekt Harry dat Sirius het mogelijk op hem gemunt heeft. Sirius zou geloven dat als hij Harry Potter vermoordt, Heer Voldemort weer aan de macht kan komen. Daarnaast is er ook een nieuwe leraar Verweer tegen de Zwarte Kunsten, Remus Lupos. Professor Lupos wordt Harry's favoriete leraar. Hij leert Harry een Patronus op te roepen om Dementors (bewakers van Azkaban, die al je geluk wegzuigen) op afstand te houden. Deze Dementors zijn ook op alle toegangspoorten van Zweinstein gestationeerd, om de school te beschermen tegen Sirius Zwarts.
Tijdens het schooljaar ziet Harry een paar keer een grote, zwarte hond, het duistere wezen wat hij ook al zag toen hij wegliep van huis, vlak voordat hij bijna werd overreden door de Collectebus. Professor Zwamdrift, zijn lerares Waarzeggerij, oordeelt dat het de Grim, het ergste voorteken van de dood, is.
Tijdens een bezoek aan Zweinsveld, komen Harry, Ron en Hermelien erachter dat Sirius Zwarts de beste vriend was van de vader van Harry, James Potter, en dat hij James en Lily Potter zou hebben verraden aan Heer Voldemort. Dit zorgde ervoor dat Voldemort beide ouders van Harry kon vermoorden. Niet veel later wordt duidelijk dat Peter Pippeling, een andere vriend van de Potters, de Potters verraden heeft. Pippeling, en niet Zwarts, bleek de volgeling van Voldemort te zijn. Ook blijkt dat Sirius Zwarts de peetoom en voogd van Harry is. Vervolgens verandert Lupos in een weerwolf.
Met behulp van de tijdverdrijver gaan Harry en Hermelien terug in de tijd.
Harry krijgt na het vertrek van Sirius een gloednieuwe wedstrijdbezem toegestuurd. Harry vliegt daarop weg om hem uit te proberen. Dat Sirius Zwarts de gever van de bezem is wordt duidelijk doordat er een veer van Scheurbek de hippogrief uit de verpakking valt: de hippogrief die Zwarts gezelschap houdt.