Ursprunget till high tea var faktiskt ganska praktiskt. Enligt olika historiska uppgifter började high tea i början av 19-talet. Enligt uppgift har en medlem av drottning Victorias hov, Anna Stanhope, hertiginna av Bedford, ogillat den långa tidsperioden mellan middagsmåltid och middag, som ofta intogs vid sju eller åttatiden på kvällen. Hon började med att ta en liten måltid mellan klockan tre och fem för att hjälpa till att avvärja hunger och förebygga humör.
Anna Stanhope såg ursprungligen high tea som en hemlig ritual där tjänarna instruerades att ge henne en liten måltid med varmt te, ostar, frukt och smörgåsar. Stanhope noterade att andra medlemmar av drottningens hov också led av eftermiddagsfåglar och lät dem berätta om hennes hemlighet. Snart deltog de flesta medlemmarna av drottning Victorias hov i denna lätta måltid.
När Stanhope lämnade drottningens hov för att återvända till sitt hem i London, hade hon vant sig vid sin eftermiddagsmåltid och ville dela den med andra. Hon bjöd in andra kvinnor att äta middag med henne dagligen, och tanken på high tea slog fast. En lätt fem-måltid spred sig från de höga leden av adelsmän till samhällets lägre kaster, något att se fram emot för alla som hade råd.
I allmänhet var de första high teasna väldigt små måltider. Ljusa, krispiga kakor, tillsammans med svampiga kakor, rostat bröd, gelé och frukt var bland de valbara matarna. Måltiden innehöll sällan kött eller alkohol, centrerade främst på saker som skulle avvärja hunger utan att bli alltför mättande. När high tea blev populärt blev den lätta maten som följde med det något av ett modestatement. De med status stoltserade med det genom att servera en mängd olika exotiska teer och gourmetfingermat.
Arbetare lägre i samhället hade inte råd med sådan extravagans, särskilt efter tillkomsten av den industriella revolutionen. Fabriksarbetare hade liten användning för delikata fingermackor och söta godsaker. Detta började en tradition av att utöka high tea till en full måltid. Kallt kött, lätta soppor och vin tog sig in i high tea, tillsammans med täta bröd och köttfyllda pajer. I de lägre klasserna var dessa måltider mättande men enkla. Rikare individer använde denna nya trend för att skapa ännu mer exotiska och utarbetade uppslag.
Dagens high teas är ofta lika stora och mättande som en hel måltid och ersätter ibland middagen. Afternoon tea, som vanligtvis serveras runt klockan två på eftermiddagen, har ersatt high tea som en lätt, energigivande måltid. Båda typerna av te är fortfarande sociala angelägenheter i stora delar av Storbritannien och i delar av Europa. Det är främst kvinnor som är närvarande, även om formella teer också kan inkludera vissa män.