”Fisk” är ett ord som används för att hänvisa till alla ryggradsdjur som inte är terapoder. Fiskens evolutionära historia började för 530 miljoner år sedan, i mitten av den kambriska perioden. Några av de äldsta kända djuren i fiskens evolutionära historia är Pikaia gracilens, som liknar den moderna lansetten, som finns i den berömda Burgess-skiffersamlingen, och Haikouichthys och Myllokunmingia från Maotianshan-skifferna i södra Kina. Dessa enkla käklösa fiskar existerade i ungefär 100 miljoner år tills den första käkade fisken utvecklades. Dessa är också de tidigaste kända ryggradsdjuren.
Från början var fiskar minoritetsmedlemmar i ett ekosystem som dominerades av ryggradslösa djur, särskilt brachiopoder, svampar och leddjur som trilobiter. Det skulle vara först under silurperioden, för ungefär 420 miljoner år sedan, som käkfiskar utvecklades och började konkurrera effektivt med ryggradslösa djur. De tidigaste käkfiskarna var placoderms, en familj av fiskar med speciella pansar på huvudet och bröstkorgen för att skydda dem från rovdjur. Dessa fiskar är förfäder till alla moderna ryggradsdjur, inklusive människor och alla våra husdjur och boskap.
De käklösa fiskarna konkurrerades snabbt ut och lämnade bara några få små härstamningar efter sig som så småningom gav upphov till moderna hagfish, lampreys och lansetter. Ibland anses dessa djur inte vara sanna fiskar på grund av deras radikalt olika fysiologi. Det råder till och med en viss oenighet om huruvida lamprötor överhuvudtaget är ryggradsdjur, eftersom deras broskskelett är så primitivt.
Fiskens evolutionära historia fortsatte med dominansen av käkfiskarna, särskilt placodermerna, som blev så stora som 6 m (20 fot) hos superrovdjur som Dunkelosteus telleri. Stora rovdjur som Dunkelosteus anses vara de första ryggradsdjurens superpredatorer och etablerade ryggradsdjurens roll som apexpredatorer i världens ekosystem, en roll som skulle fortsätta under resten av evolutionens historia. Placoderms dominerade under hela den siluriska perioden, i flera dussin miljoner år, fram till devon, då fisken snabbt började diversifiera sig.
Devon var den största milstolpeperioden i fiskens evolutionära historia, då många moderna och utdöda former utvecklades från placodermfröet, inklusive hajar och rockor, akantodianer (”taggiga hajar”, nu utdöda), strålfenade fiskar (som dominerar hav idag), och lobfenade fiskar, som så småningom utvecklades till landlevande ryggradsdjur. Fiskar konkurrerade framgångsrikt ut många andra marina organismer för att bli det dominerande rörliga marina djuret och delade haven med små leddjur som copepoder och krill.
Även om lobfenade fiskar och akantodianer visade tillfällig framgång under devon, hade akantodianerna i stort sett dött ut i slutet av nästa period, karbon, medan lobfenade fiskar blev en liten minoritet efter att ha gett upphov till tetrapoder under samma geologiska period . Under många år trodde man att de endast representerades av lungfisken, tills en coelacanth drogs in utanför Sydafrikas kust. Upptäckten av en levande coelacanth ansågs vara ett av de största zoologiska fynden på 20-talet.