Ursprunget till fudgen är oklart, men fudgens historia kan spåras tillbaka till åtminstone 1886 e.Kr. Det exakta ursprunget och uppfinnaren av fudgen är fortfarande omtvistade, men vissa experter tror att ordet ”fudge” först användes på en felaktig sats karameller, vilket fick utropet ”Oh fudge!” De flesta mathistoriker tror att fudge, som den finns idag, är en amerikansk uppfinning.
Fudge är en kristallin konfektyr. Till skillnad från många andra typer av godis, såsom taffy och karameller, som avstår från kristallisering, är kristallbildning nödvändig för att skapa fudge. Denna process skapar ett godis som är fast men ändå smidigt eftersom kristallerna är så små att de inte smakar eller känns korniga. Fudgeblandningen, som måste innehålla socker, smör och mjölk, måste vara ordentligt förberedd och kyld för att skapa sockerkristaller som har precis rätt storlek. Om processen inte utförs korrekt kommer kristallerna antingen att bildas för tidigt och bli för stora eller aldrig bildas alls, vilket resulterar i en karamellliknande karamell.
Fudgens historia kan föregå grunden av USA, och experter är snabba med att peka på likheterna mellan fudge och tablett, en skotsk konfekt. Tabletten nämns först i The Household Book of Lady Grisell Baillie, som skrevs mellan 1692 och 1733 e.Kr. Processen att skapa tabletter börjar på samma sätt som fudge – genom att koka socker, mjölk och smör tills de når mjukbollsstadiet vid 235 till 240 grader F (113 till 116 grader C), då blandningen tas bort från värm upp och låt svalna. Kristallisering sker i tabletter, men stora kristaller bildas, vilket ger godiset en grynig och spröd konsistens som är ganska olik den mjuka, lena texturen hos fudge.
Emelyn Battersby Hartridge dokumenterar den första försäljningen av fudge och skrev ett brev 1886 om att en skolkamrats kusin hade sålt fudge för 40 cent per pund i Baltimore. År 1888 skrev Ms. Hartridge, som fortfarande går på Vassar College i Poughkeepsie, New York, att hon tjänade så mycket som 30 pund fudge till seniorauktionen. Fudge slog fast snabbt på Vassar och snart började recept på konfekten dyka upp på andra kvinnoskolor. Smith och Wellesley college anpassade det så kallade originalreceptet till sina egna versioner.
Vassars recept krävde vitt socker, grädde, osötad choklad och smör. Wellesley College-skapandet ändrade det ursprungliga receptet endast något genom att lägga till marshmallows, vilket hindrar fudgen från att kollapsa under kylning. Smith College-receptet var det första som avvek från originalet och tillsatte extra smör tillsammans med brunt och vitt socker, melass och vanilj. Vart och ett av dessa recept är notoriskt känsligt. Fudgens historia förändrades för alltid när majssirap, som fördröjer kristallbildningen, först användes för idiotsäkra recept.