Big data är mätningar av data som har vuxit sig så stora att vanliga databaser inte kan innehålla och arbeta med den enorma mängden information. Data finns i tre storlekar: small, medium och big; ingen av dessa mått är strikt; istället beror var och en mer på användarvänlighet och vilken typ av maskin som kan hantera informationen. Specialmaskiner, mycket större och komplexa än de som används för vanliga databaser, behövs för big data. Dessa typer av data finns vanligtvis i statliga och vetenskapliga myndigheter, men vissa mycket stora webbplatser innehåller också denna stora mängd information.
Data finns i tre standardstorlekar, men inte strikta. Små data får plats på en enda dator eller maskin, till exempel en bärbar dator. Mediumdata kan få plats på en diskarray och hanteras bäst av en databas. Databaser, hur stora de än är, är oförmögna att arbeta med big data, och speciella system används i stället. Även om det inte finns några strikta riktlinjer för vad big data är, börjar den vanligtvis runt terabyte (TB) nivån och går upp till petabyte (PB) nivån.
Att försöka arbeta med big data på en databas som inte är specialiserad för denna mängd data kommer att orsaka flera betydande problem. Databasen kan inte hantera mängden information, så en del data måste raderas. Det här är som att försöka få plats med 100 gigabyte (GB) på en dator med bara 50 GB hårddiskutrymme; det går inte att göra. Datan som finns kvar kommer att vara svår att både kontrollera och hantera, eftersom alla funktioner skulle ta lång tid att slutföra och databasen måste stängas av för nya inlämningar.
Även om det är möjligt att fortsätta köpa maskiner och lägga till ny data till databaserna, skapar detta det svårhanterliga problemet. Detta beror på att databasmjukvara endast är gjord för att fungera med medium data. Större datauppsättningar leder till fel och administrativa problem, eftersom programvaran helt enkelt inte kan flytta eller arbeta med stora data utan att stöta på problem.
Big data påträffas inte av de flesta organisationer eller webbplatser. Försvars- och militära myndigheter använder denna mängd information för att skapa modeller och lagra testresultat, och många stora vetenskapliga myndigheter behöver dessa specialiserade maskiner av liknande skäl. Vissa mycket stora webbplatser behöver stora datamaskiner, men webbplatser är inte lika vanliga som byråer på denna marknad. Dessa organisationer måste behålla all sin data, eftersom det hjälper till att bättre analysera framtida data och göra förutsägelser.