Fermat contesta a Mersenne de una manera bastante ingenua (no conocía a Descartes ni sabía nada del Discurso del Método ni del mal carácter del filósofo) señalando errores en la deducción de la ley de la reflexión y de la refracción y calificando la obra en general como un simple intento de hallar la verdad “a tientas entre las tinieblas”. Se ofrece incluso para echar una mano en la clarificación de algunos problemas.

Mersenne, consciente de la delicada situación, guardó la carta de Fermat durante unos meses hasta que, ante la insistencia de Descartes para que le comunicase cualquier crítica a la Dióptrica, se la mandó. La reacción de Descartes a la crítica de Fermat fue, al principio paternalista. Fermat no había entendido sus métodos. Mientras tanto, Fermat había obtenido una copia de la Geometria y se apresuró a mandar a Mersenne sus trabajos sobre el tema, para demostrar al menos la independencia de sus descubrimientos. Mersenne, mostrando nuevamente poco tacto, le envía esos trabajos a Descartes quien enfurece y emprende un ataque sin cuartel contra el “aficionado de Toulouse.” La controversia se extiende al método de trazado de tangentes y el método para hallar máximos y mínimos. Después de un sinfín de cartas (aderezadas con el poco tacto de Mersenne) Descartes termina por retar a Fermat a usar su método para trazar las tangentes a una curva de su invención, el folio, con una ecuación implícita de tercer grado, x ³ +y ³ =pxy. La respuesta de Fermat con el cálculo de las tangentes al folio obliga a Descartes a admitir que el método de Fermat es superior al suyo y, a regañadientes, le reconoce una cierta talla intelectual aunque le sigue atacando en privado. La irritación que Fermat producía en Descartes queda muy bien reflejada en una frase de este último: “Fermat es gascón. Yo no.”

Durante los últimos años de la década de los 30 y los primeros de la década de los 40, Fermat sigue trabajando en su método de máximos y mínimos aplicándolo a varios problemas diferentes y también intenta generalizar, sin mucho éxito, su geometría analítica a tres dimensiones. Su Isagoge ad locos ad superficiem de 1643 recoge sus ideas al respecto. Del mismo año, 1643, data su famosa carta a Brûlart, donde
Fermat resumiría de manera bastante clara su método para determinar máximos y mínimos y su cálculo de tangentes.

La década 1645-1655 fue una década dura para Francia, sacudida por la guerra civil y por una epidemia de plaga que en 1651 estuvo a punto de costar la vida a Fermat. De hecho Fermat fue dado por muerto por algunos de sus colegas. En ese período, Fermat produce poco y mantiene poca correspondencia. No es hasta 1655 que Fermat recupera el ritmo de trabajo. De finales de los años 50 datan algunos de los trabajos más importantes de Fermat, en parte recopilaciones de trabajos anteriores, en parte nuevas ideas. De esa época son su Tratado de cuadraturas y su Tratado sobre rectificación de curvas y su famosa demostración de la ley de refracción basada en su principio del tiempo mínimo, expresado como una ley natural: “la naturaleza siempre actúa por el camino más corto”.

Pero el tema que ha de dar a Fermat fama universal es la teoría de números. Su interés por los números enteros y sus maravillosas propiedades había empezado en la década de los 1630 cuando Fermat leyó la traducción de Bachet de la Aritmética de Diofanto. En el estrecho margen justo al lado del problema 8 del libro II: “Dado un número que sea un cuadrado, descomponerlo como suma de otros dos números cuadrados”, Fermat escribió su famosa conjetura: la ecuación x ⁿ +y ⁿ =z ⁿ no tiene soluciones enteras positivas para n>2. En sus propias palabras:

... [E]s imposible que un cubo se pueda expresar como una suma de dos cubos o que una potencia cuarta se escriba como una suma de potencias cuartas o, en general, que un número que sea una potencia de grado mayor que dos se pueda descomponer como suma de dos potencias del mismo grado. He encontrado una demostración verdaderamente maravillosa de este resultado pero este margen es demasiado estrecho para contenerla.

La creencia actual es que Fermat había demostrado el teorema para n=4 (y quizás también para n=3) y creía que podía generalizar su demostración para cualquier valor de n. La demostración del caso n=4 utilizaba otro gran descubrimiento de Fermat, el método de descenso infinito. Esencialmente el método consiste en demostrar la imposibilidad de una proposición que depende de un entero positivo n, probando que si hubiese algún valor estrictamente positivo que hiciese verdadera la proposición, existiría otro valor también estrictamente positivo que la haría verdadera pero estrictamente inferior al anterior.

El Gran Teorema de Fermat para el caso n=3 fue demostrado 100 años más tarde por Euler, también con la ayuda del método del descenso infinito. El siglo XIX vio la demostración de algunos casos particulares más a cargo de grandes matemáticos como Lejeune-Dirichlet, Legendre, Lamé y Sophie Germain. No sabremos nunca si Fermat realmente disponía de una demostración maravillosa para cualquier valor de n. Pero en cualquier caso, el reto de demostrar el Gran Teorema de Fermat había empezado con aquella nota garabateada en el margen de un libro. La aventura terminaría 350 años más tarde cuando, en 1994, Andrew Wiles publicó la demostración del Gran Teorema de Fermat. Por el camino habían pasado una legión de matemáticos de todas las categorías y especialidades (sería difícil hallar un matemático que en algún momento de su vida no haya dado alguna vuelta al teorema). Los intentos de demostración aportarían también grandes contribuciones a las matemáticas (la teoría de ideales de Kummer por citar sólo un ejemplo). Antes de la demostración de Wiles, Gerd Faltings había conseguido (en 1983) un resultado que acotaba totalmente las soluciones de la ecuación de Fermat. Faltings demostró que para cada valor de n, la ecuación x ⁿ +y ⁿ =z ⁿ tiene, a lo sumo, un número finito de soluciones enteras (de hecho Faltings demostró lo que se conocía como la Conjetura de Mordell sobre curvas algebraicas que implicaba el Gran Teorema de Fermat). La demostración de Wiles, sin embargo, no sigue el camino que había iniciado Faltings sino que da una enorme vuelta. Se basa en la conjetura Taniyama-Shimura (de hecho Wiles se limita a demostrar esta conjetura) que relaciona de manera espectacular dos campos de las matemáticas completamente alejados el uno del otro: la teoría de formas modulares y las curvas elípticas. Para conocer más a fondo la apasionante historia del Gran Teorema, los libros de RIBENBOIM [7] y SINGH [8] y constituyen una lectura amena al alcance de todos. Para una historia mucho más técnica, se pueden consultar el artículo de COX [17] o el libro de EDWARDS [4].

El enorme interés de Fermat por los números enteros era una novedad en la Europa del siglo XVII. Nadie tenía demasiado interés en perder el tiempo explorando propiedades de números enteros que no tenían ninguna aplicación directa. Sólo un par de problemas clásicos atraían la atención de los matemáticos de la época: el estudio de números perfectos (aquellos que son iguales a la suma de sus divisores, exceptuando ellos mismos) y la caracterización de las ternas pitagóricas (tripletes de números enteros (x,y,z) que satisfacen el teorema de Pitágoras x ² +y ² = z ² ). Como consecuencia del interés de Fermat en el primero de esos problemas, Fermat descubrió el que se conoce hoy en día como el Pequeño Teorema de Fermat, una verdadera joya en teoría de números. En términos modernos dice que si p es un número primo y a es primo con p, entonces
a p a (mod p).
No deja de ser paradójico que Fermat sea recordado por su Gran Teorema, en gran parte estéril porque ningún resultado importante se deduce de él, y no por su Pequeño Teorema que es crucial en álgebra y en la teoría de números moderna y sus aplicaciones, como es por ejemplo, la moderna criptografía, base de la seguridad de las transmisiones en Internet.

El segundo problema, la caracterización de las ternas pitagóricas, conduce a Fermat a su interés por las descomposiciones de potencias y problemas como la descomposición de los primos de la forma 4n+1 como suma de dos cuadrados (de manera única), la descomposición de un entero positivo como suma de cuatro cuadrados y la resolución de diferentes ecuaciones diofánticas de segundo grado. La más famosa es la ecuación diofántica conocida como ecuación de Pell o ecuación de Pell-Fermat. Se trata de la ecuación x ² -N y ² = 1, donde N no es un cuadrado perfecto. Excluyendo la solución trivial (1,0), Fermat conjeturó la existencia de infinitas soluciones enteras positivas para cualquier valor de N (no cuadrado perfecto) y retó a los matemáticos europeos a demostrarlo. El problema fue parcialmente solucionado por Wallis y Brouncker mediante el desarrollo en fracción continua de N. Sería completamente solucionado por Lagrange en 1771. El libro de Barbeau [3] es una excelente referencia para este tema.

Fermat es famoso también por los números primos que llevan su nombre, los de la forma 2^{2 ^ n} +1. Los primeros números de esta forma: 3, 5, 17, 257, 655537, son primos. El siguiente es ya un número respetable, 4 294 967 297 y no es fácil, usando sólo lápiz y papel, averiguar si es primo o no. De hecho, Fermat no tuvo suficiente paciencia para comprobarlo. Si la hubiera tenido hubiese obtenido (como más tarde hizo Euler) que 4294967297= 641 • 6700417. Sin embargo tuvo la osadía de conjeturar que todos los números de la forma 2^{2 ^n} +1 eran primos. Esta conjetura le tuvo en jaque toda su vida, ya que en varias ocasiones se lamentó de no haber podido obtener su demostración. Vale la pena comentar que no se han hallado otros primos de Fermat además de los cinco primeros y aún no se ha demostrado que existan más.

Los últimos años de Fermat aún ven la luz de otra contribución importante: el cálculo de probabilidades. El joven Blaise Pascal, hijo de Étienne con quien Fermat había correspondido a través de Mersenne, le propone a Fermat un problema sobre la repartición justa de las apuestas si una serie de partidas se interrumpen antes de llegar al final acordado. Concretamente, ¿cómo hay que repartir una apuesta de 64 monedas para el primero de dos jugadores que gane 3 partidas si el juego se interrumpe antes de que nadie haya ganado? (Se supone que ambos jugadores tienen, en cada partida, las mismas oportunidades de ganar). Pascal y Fermat intercambian una serie de cartas sobre el tema que puede considerarse como el inicio del moderno cálculo de probabilidades. Los dos llegan al mismo resultado por caminos diferentes: Pascal intuye el resultado mediante una recurrencia, pero se ve obligado a utilizar el cálculo combinatorio y el uso de su Triángulo Aritmético (Triángulo de Pascal) para demostrarlo mientras que Fermat usa directamente el cálculo combinatorio.

Hacia 1660, la salud de Fermat empieza a flaquear. Por motivos de salud, tiene que posponer un encuentro con Blaise Pascal quien también se encuentra enfermo (de hecho muere dos años más tarde). Su actividad matemática decae casi completamente y en enero de 1665 muere en la ciudad de Castres donde pocos días antes ha asistido a la sesión del tribunal del Edicto.

Eric T. Bell, en sus famosas biografías de matemáticos [Men of Mathematics, Simon and Schuster, Nueva York,1965 (1ª edición de 1937)] calificó a Fermat como el “Príncipe de los amateurs”. Y aunque es cierto que las matemáticas para Fermat fueron solamente un “hobby”, también es cierto que sus contribuciones fueron de primera categoría y dignas del mejor profesional. Su reticencia a publicar y a explicarse mejor hicieron que muchas de sus contribuciones fueran poco comprendidas y que algunas pasasen incluso desapercibidas pero hay que reconocer que, al menos en el campo de la teoría de números, creó problemas nuevos y creó instrumentos nuevos para abordarlos. Este fue su principal legado para la posteridad..