Ali Yılmaz 1948 yılında Bozoba (Kulbin) köyünde (Dicle-Diyarbakır) doğdu. İlkokulu, köyde 1960 yılında; Orta öğrenimini ise Dicle İlk Öğretmen Okulu’nda başladı ve Ankara Yüksek Öğretmen okulu Hazırlık Lisesi’nde 1966 yılında tamamladı.
1970 yılında, Ankara Yüksek Öğretmen Okulu’nun yanı sıra Ankara Üniversitesi Fen Fakültesi Jeoloji Bölümü’nden mezun oldu. 1971 yılında yüksek lisans çalışmaları sırasında Maden Tetkik ve Arama Genel Müdürlüğü (MTA) Jeoloji Şubesi’nde çalışmaya başladı. 1973 yılında Ankara Üniversitesi, Fen Fakültesi, Jeoloji Bölümü’nde, Yüksek Lisansını tamamladı. 1974 yılında Devlet Lisan Okulu İngilizce Bölümü’nden mezun oldu.
Ali Yılmaz, MTA’daki çalışmalarını sürdürürken 1973-1980 arası Ankara Üniversitesi, Fen Fakültesi, Jeoloji Bölümü’nde, Tokat ile Sivas arasındaki bölgede yer alan ultrabazik kayaların içyapılarını doktora tezi olarak inceledi. Bu çalışma ile yöreye özgü ofiyolitler ve ofiyolitli karışık ilk kez ayrı ayrı tanımlanarak haritalandı ve yaşlandırıldı.
1987 yılında Ankara Üniversitesi, Rektörlüğü’nde Doçent olmaya hak kazandı. MTA’daki çalışmaları sırasında, Temel Araştırmalar ve Jeoloji Etütleri Dairelerinde, ülkenin çeşitli bölgelerinde ulusal ve uluslararası çeşitli projelerin gerçekleşmesinde ve yönlendirilmesinde görev yaptı. Bu çalışmalar, Türkiye’nin jeolojisinin anlaşılmasına katkı sağlamıştır.
Türkiye ile Sovyet Sosyalist Cumhuriyetler Birliği arasında imzalanan teknik iş birliği çerçevesinde, Kafkasya’nın Türkiye ile jeolojik korrelasyon çalışmalarına, 1987 yılında katıldı. Daha sonra, Türkiye ile Gürcistan’ın sınırları boyunca görülen jeolojik haritalardaki uyumsuzlukları irdelemek üzere, MTA ile Gürcistan Jeoloji Dairesi ve Gürcistan Bilimler Akademisi arasındaki işbirliği çerçevesinde Türkiye tarafı proje başkanı olarak görev yaptı. Bu çalışma sırasında ulaşılan veriler, uluslararası dergilerde yayınlanmıştır. Ayrıca, 1994- 1997 yılları arasında gerçekleştirilen bu projenin raporu, uluslararası çok disiplinli örnek bir proje olarak yayınlanmıştır (www.profdraliyilmaz.com).
Türkiye Jeoloji Kurumu Bülteni, Jeoloji Mühendisliği, Yeryuvarı ve İnsan dergilerinin yazı inceleme ve bilimsel kurullarında çalıştı. Bölgesel jeoloji, tektonik ve ofiyolitlerin incelenmesi ile ilgili konularda çalışmalarını yoğunlaştırdı. Bu çalışmalar sırasında Sivas yöresinin ilk 1/25. 000 ölçekli jeolojik harita alım çalışmalarına öncülük yaptı. Yapılan çalışmalar halen Sivas bölgesinde Jeoloji ve Çevre ile ilgili uygulamalarda temel başvuru kaynakları olarak kullanılmaktadır. Daha da önemlisi, Jeolojinin çevreye uyarlanması, Ali Yılmaz’ın çalışmaları ile görünür hale gelmiştir.
09/12/1998 yılında Cumhuriyet Üniversitesi, Mühendislik Fakültesi, Çevre Bilimleri Ana Bilim Dalı’na profesör olarak atandı. 1998- 2007 yılları arasında Çevre Mühendisliği Bölüm başkanlığını yaptı. Bu görevi sırasında 2002 yılında kitap halinde yayınlanan Sivas İli Çevre Durum Raporu’nun yazılmasında baş editör olarak görev yaptı. 2004 yılında Sivas’ta ilk Ulusal Çevre Kongresi’nin gerçekleştirilmesinde düzenleme kurulu başkanlığını yaptı.
Yapılan çalışmalar ve bilimsel etkinlikler dolayısıyla yerel yönetimlerden ve üniversite yönetiminden çeşitli düzeylerde Plaketler almıştır. Yayın, rapor, derleme ve seminer çalışmaları türlerinde yaklaşık yüzün üzerinde çalışmaları vardır. 19 Şubat 2015 tarihinde Cumhuriyet Üniversitesi’nden emekli oldu. Emeklilikten sonra, 3-4 Kasım 2017 ve 1-2 Kasım 2019 tarihlerinde TMMOB Jeoloji Mühendisleri Odası’nın ev sahipliğinde 1. ve 2. Çevre Jeolojisi Çalıştayları Düzenleme Kurulu başkanlığını yaptı. Adına, MTA Kültür Sitesi’nde 15-19 Nisan 2024 tarihinde gerçekleştirilen Uluslararası Katılımlı 76. Türkiye Jeoloji Kurultayı sırasında 75. Yaş Özel Şükran Oturumu yapıldı. Evli ve iki çocuk babasıdır.