Asal usul fudge tidak jelas, tetapi sejarah fudge dapat ditelusuri kembali setidaknya pada tahun 1886 M. Asal pasti dan penemu fudge masih diperdebatkan, tetapi beberapa ahli percaya bahwa kata “fudge” pertama kali diterapkan pada kumpulan karamel yang rusak, yang memicu seruan, “Oh fudge!” Sebagian besar sejarawan makanan percaya bahwa fudge, seperti yang ada saat ini, adalah penemuan Amerika.
Fudge adalah permen kristal. Tidak seperti banyak jenis permen lainnya, seperti gula-gula dan karamel, yang tidak mengkristal, pembentukan kristal diperlukan untuk pembuatan fudge. Proses ini menghasilkan permen yang keras namun halus karena kristalnya sangat kecil sehingga tidak terasa atau terasa kasar. Campuran fudge, yang harus mengandung gula, mentega, dan susu, harus disiapkan dan didinginkan dengan benar untuk membuat kristal gula dengan ukuran yang tepat. Jika prosesnya tidak dilakukan dengan benar, kristal akan terbentuk terlalu dini dan menjadi terlalu besar atau tidak pernah terbentuk sama sekali, menghasilkan permen yang mirip dengan karamel.
Sejarah fudge mungkin mendahului pendirian AS, dan para ahli dengan cepat menunjukkan kesamaan antara fudge dan tablet, permen Skotlandia. Tablet pertama kali disebutkan dalam The Household Book of Lady Grisell Baillie, yang ditulis antara tahun 1692 dan 1733 M. Proses pembuatan tablet dimulai dengan cara yang sama seperti fudge — dengan merebus gula, susu, dan mentega hingga mencapai tahap soft-ball pada suhu 235 hingga 240 derajat F (113 hingga 116 derajat C), di mana campuran dikeluarkan dari panas dan dibiarkan dingin. Kristalisasi terjadi pada tablet, tetapi bentuk kristalnya besar, memberikan permen tekstur kasar dan rapuh yang cukup berbeda dari tekstur fudge yang lembut dan halus.
Emelyn Battersby Hartridge mendokumentasikan penjualan fudge pertama, menulis surat pada tahun 1886 yang menyatakan bahwa sepupu teman sekolahnya telah menjual fudge seharga 40 sen per pon di Baltimore. Pada tahun 1888, Ms. Hartridge, masih kuliah di Vassar College di Poughkeepsie, New York, menulis bahwa dia menghasilkan sebanyak 30 pon fudge untuk lelang Senior. Fudge cepat akrab di Vassar dan, tak lama kemudian, resep manisan mulai bermunculan di perguruan tinggi wanita lain. Perguruan tinggi Smith dan Wellesley mengadaptasi apa yang disebut resep asli ke dalam versi mereka sendiri.
Resep Vassar meminta gula putih, krim, cokelat tanpa pemanis, dan mentega. Kreasi Wellesley College mengubah resep aslinya hanya sedikit dengan menambahkan marshmallow, yang membuat fudge tidak runtuh selama pendinginan. Resep Smith College adalah yang pertama menyimpang dari aslinya, menambahkan mentega ekstra bersama dengan gula merah dan putih, molase, dan vanila. Masing-masing resep ini terkenal halus. Sejarah fudge selamanya berubah ketika sirup jagung, yang menunda pembentukan kristal, pertama kali digunakan untuk resep yang sangat mudah.