1957 yılında Artvin'de doğdu. Artvin ölçülerine göre zengin sayılabilecek; CHP'li bir ailenin çocuğuydu.

İlk ve ortaokulu okuduğu yıllarda bir yandan da babasının toptancı dükkanında çalıştı. Liseye geldiğinde devrimci çevrelere katıldı. Önce okumakta olduğu Kazım Karabekir Lisesi'nde, ardından bütün Artvin'de tanınan, anti-faşist mücadele içinde en etkin isimlerden biri oldu. Lise yıllarında boks çalışmıştı; faşistlerle yapılan kavgaların en önünde yer alırdı. Nitekim, 31 Temmuz 1977'de Artvin İnönü Caddesinde bir faşistin ölümü, üçünün de yaralanmasıyla sonuçlanan kavganın ardından Necmettin Karagülle ve beş arkadaşı tutuklandılar. Ölen faşist, Necmettin Karagülle'nin amcasının oğluydu.

Necmettin Karagülle'nin tutukluluğu 2 yıldan fazla sürdü. 29 Ekim 1979'da beş arkadaşıyla birlikte tünel kazarak Artvin Cezaevi'nden firar ettiler.
Firardan sonra Ordu'ya geçen Necmettin Karagülle, Ordu'nun hemen tüm ilçelerinde her türlü siyasi, askeri çalışma içerisinde yer aldı. Mahallelerde, köylerde kurulan komitelerin örgütlenmesinden, faşistlere karşı yürütülen silahlı direnişlere kadar birçok etkinliğin içinde bizzat yer aldı. Sürekli aranma koşullarında, Nokta Operasyonu'nda ve 12 Eylül sonrası günlerde tüm zorluklara rağmen yakalanmadan mücadeleyi sürdürdü.

Necmettin Karagülle, Ordu'nun ilçe ve köylerinde çocuklardan yaşlılara kadar her yaştan, her kesimden insanın çok sevdiği bir kişiydi. Öyle ki, kimi dönemlerde evin erkeğinin haberi olmadan evin ninesi ya da çocukları Necmettin Karagülle'yi saklar,  barındırırlardı.

Bir arkadaşı anlatıyor:

"Bir gün ormanda kamp kurduğumuz yere yakındaki köyün çocukları geldiler. Çocuklar birliğin komutanının kim olduğunu merak ediyorlardı. Biz de 'Siz olsanız kimi seçersiniz.’ diye sorduk. İstisnasız hepsi Necmi'yi seçtiler. Seçimin sonucu Necmi'yi pek keyiflendirmişti; doğrusu biz de biraz kıskandık. Ama gerçekten de, yöre halkıyla en sıcak, en yakın ilişki kuran hep Necmi olmuştur."

Necmettin Karagülle, 21 Haziran 1984'de İbrahim Levent ve Habil İrgül'le birlikte Ünye'nin Çiğdem Köyü'nde, askeri birliklerle girdikleri silahlı çatışmada, helikopterden ağır makinalı tüfeklerle açılan ateş sonucu öldürüldü.