Cookie SYN adalah metode di mana administrator server dapat mencegah bentuk serangan penolakan layanan (DoS) terhadap server melalui metode yang dikenal sebagai SYN flooding. Jenis serangan ini memanfaatkan proses di mana koneksi antara klien dan host dibuat, yang dikenal sebagai jabat tangan tiga arah, menyebabkan host memiliki jumlah permintaan klien yang berlebihan, membekukan atau merusak sistem. Namun, serangan semacam itu sebagian besar sudah ketinggalan zaman, melalui metode seperti penggunaan cookie SYN yang menghindarinya. Cookie ini tidak menghadirkan ancaman atau risiko keamanan baik bagi host atau klien dan tidak menyebabkan masalah atau masalah konektivitas.
Cara fungsi cookie SYN dibangun di atas cara dasar di mana banyak server dan pengguna, atau sistem host dan klien, terhubung satu sama lain. Proses ini dikenal sebagai jabat tangan tiga arah dan dimulai ketika sistem klien mengirimkan permintaan untuk terhubung ke sistem host. Permintaan ini disebut pesan sinkronisasi atau SYN dan diterima oleh sistem host. Sistem host ini kemudian mengakui bahwa SYN telah diterima dengan mengirimkan sebuah pengakuan, atau pesan SYN-ACK, kembali ke klien.
Setelah sistem klien menerima pesan SYN-ACK ini, maka pesan ACK terakhir dikirim kembali oleh klien ke host. Ketika sistem host menerima ACK terakhir ini, maka itu memungkinkan klien untuk mengakses sistem dan kemudian dapat menerima permintaan SYN tambahan dari klien lain. Kebanyakan server host memiliki antrian yang cukup kecil untuk permintaan SYN, biasanya hanya delapan pada satu waktu.
Bentuk serangan DoS yang dikenal sebagai SYN flooding menggunakan ini untuk membanjiri sistem host. Hal ini dilakukan dengan mengirimkan pesan SYN, di mana SYN-ACK dikirim oleh host sebagai tanggapan, tetapi pesan ACK terakhir tidak dikirim oleh klien, menjaga posisi dalam antrian tetap terbuka. Jika ini dilakukan dengan benar selama serangan banjir SYN, seluruh antrian akan ditempati oleh permintaan yang tidak terjawab ini dan tidak dapat menerima permintaan baru dari klien yang sah.
Cookie SYN membantu menghindari jenis serangan ini dengan mengizinkan host untuk bertindak seolah-olah memiliki antrian yang lebih besar daripada yang sebenarnya. Dalam kasus serangan banjir SYN, tuan rumah dapat menggunakan cookie SYN untuk mengirim SYN-ACK ke klien, tetapi menghilangkan entri SYN untuk klien itu. Ini pada dasarnya memungkinkan host berfungsi seolah-olah tidak ada SYN yang pernah diterima.
Namun, setelah cookie SYN-ACK dengan SYN ini diterima oleh klien, ACK terkait yang dikirim kembali ke host menyertakan data mengenai SYN-ACK asli. Tuan rumah kemudian dapat menggunakan ACK ini dan cookie SYN yang disertakan untuk merekonstruksi SYN-ACK asli dan entri yang sesuai untuk permintaan asli tersebut. Setelah ini selesai, klien dapat diizinkan untuk terhubung ke host, tetapi seluruh proses secara efektif menghindari antrian yang mungkin ditempati oleh serangan banjir SYN.