Op 1 december 2016 kondigde de verkozen president Donald Trump aan dat Mattis zou worden voorgedragen om in de komende regering te dienen als minister van Defensie van de Verenigde Staten. Hij werd door de Senaat van de Verenigde Staten bevestigd met een 98-1 stemming. Op dezelfde dag werd hij beëdigd door vicepresident Mike Pence.
Op 5 april 2017 noemde Mattis de chemische aanval in Khan Shaykhun "een afschuwelijke daad" en zei dat deze dienovereenkomstig zou worden behandeld. Op 10 april waarschuwde Mattis de Syrische regering om niet opnieuw chemische wapens te gebruiken.
Mattis heeft zijn steun uitgesproken voor een door Saudi-Arabië geleide militaire campagne tegen de sjiitische rebellen in Jemen. Hij heeft Trump gevraagd om de beperkingen op Amerikaanse militaire steun aan Saoedi-Arabië op te heffen.
Mattis drong erop aan dat de VS na de nederlaag van ISIS in Syrië zouden blijven om ervoor te zorgen dat zij zich niet zouden hergroeperen. Trump kondigde echter op 19 december de terugtrekking van de VS uit Syrië aan. De volgende dag diende Mattis zijn ontslag in, nadat hij er niet in was geslaagd Trump tot heroverweging te bewegen. In zijn ontslagbrief bekritiseerde Mattis Trump voor het niet respecteren van geallieerde naties, terwijl hij het autoritaire bewind van China en Rusland bekritiseerde. In reactie op de brief gaf Trump op 1 januari opdracht Mattis te ontslaan, bijna twee maanden eerder dan Mattis van plan was zijn functie neer te leggen.
