Gradyan inişi algoritmasının çalışma prensibi oldukça basittir. Türevler veya gradyanlar, bir fonksiyonun belirli bir noktadaki eğimini temsil eder. Eğer bir fonksiyonun türevini alırsak ve bu türev pozitif bir değerse, bu fonksiyonun o noktada arttığını biliriz. Eğer türev negatif bir değerse, fonksiyonun azaldığını biliriz.
Bu bilgi, fonksiyonun minimum veya maksimum değerlerini bulmak için kullanılabilir. Bir fonksiyonun minimum değerini bulmak istiyorsak, türevin negatif yönünde bir adı
Bir problemin çözümünü bulmak için belirli bir hedefe doğru ilerleriz. İşte bu hedefi tanımlayan şey genellikle bir "hedef fonksiyonu" veya "amaç fonksiyonu" olarak adlandırılır. Bu hedef fonksiyonu, genellikle bir dizi girdinin (genellikle bir veya daha fazla değişkenin) alınıp işlenmesi ve bir çıktının üretilmesi şeklinde bir fonksiyondur.
Hedef fonksiyonları genellikle optimizasyon problemlarında karşımıza çıkar. Optimizasyon problemları, belirli bir hedef fonksiyonunu maksimize etme vey