Théorème de Baire

Préliminaire

Les trois énoncés sont faux tels quels pour une famille quelconque : on lira partout dénombrable. En effet $\mathbb{R}=\bigcup_{x\in\mathbb{R}}\{x\}$ est d’intérieur non vide alors qu’aucun singleton ne l’est, et $\bigcap_{x\in\mathbb{R}}\bigl(\mathbb{R}\setminus\{x\}\bigr)=\varnothing$ est une intersection d’ouverts denses qui n’est pas dense. C’est le théorème de Baire ; on note $E$ un espace de Banach (ou $E=\mathbb{R}^{n}$), $B(x,r)$ et $\overline{B}(x,r)$ les boules ouverte et fermée.

1. Une intersection dénombrable d’ouverts denses est dense

Soient $(U_n)_{n\geqslant 0}$ des ouverts denses de $E$ et $G=\bigcap_{n\geqslant 0}U_n$. Montrons que $G$ rencontre tout ouvert non vide $V$.

Construction d’une suite de boules emboîtées. Comme $U_0$ est dense, $V\cap U_0$ est un ouvert non vide : il contient une boule fermée $\overline{B}(x_0,r_0)$ avec $0<r_0\leqslant 1$. Supposons $\overline{B}(x_n,r_n)$ construite. L’ouvert $B(x_n,r_n)\cap U_{n+1}$ est non vide par densité de $U_{n+1}$, donc contient une boule fermée $\overline{B}(x_{n+1},r_{n+1})$ avec
$$0<r_{n+1}\leqslant \frac{r_n}{2},\qquad \overline{B}(x_{n+1},r_{n+1})\subseteq B(x_n,r_n)\cap U_{n+1}.$$

Convergence. Par construction $r_n\leqslant 2^{-n}$ et les boules sont emboîtées, donc pour $p\geqslant n$ on a $x_p\in \overline{B}(x_n,r_n)$, d’où $\|x_p-x_n\|\leqslant 2^{-n}$ : la suite $(x_n)$ est de Cauchy. Par complétude de $E$, elle converge vers un $x\in E$. Chaque boule $\overline{B}(x_n,r_n)$ étant fermée et contenant $x_p$ pour tout $p\geqslant n$, on obtient $x\in\overline{B}(x_n,r_n)$ pour tout $n$.

Conclusion. Ainsi $x\in U_n$ pour tout $n\geqslant 1$, et $x\in\overline{B}(x_0,r_0)\subseteq V\cap U_0$. Donc $x\in V\cap G$, et $G$ est dense. $\blacksquare$

2. Est-ce nécessairement un ouvert ?

Non. Prenons $E=\mathbb{R}$ et $(q_n)_{n\geqslant 0}$ une énumération de $\mathbb{Q}$. Chaque $U_n=\mathbb{R}\setminus\{q_n\}$ est ouvert et dense, et
$$\bigcap_{n\geqslant 0}U_n=\mathbb{R}\setminus\mathbb{Q}.$$L’ensemble des irrationnels est bien dense, conformément à la question 1, mais son intérieur est vide puisque tout intervalle ouvert contient un rationnel : il est donc très loin d’être ouvert.

On retient qu’une intersection dénombrable d’ouverts est en général seulement un $G_\delta$, et que « dense » ne se conserve qu’à ce prix. Signalons au passage que $\mathbb{Q}$ lui-même n’est pas un $G_\delta$ de $\mathbb{R}$ : sinon $\mathbb{Q}$ et $\mathbb{R}\setminus\mathbb{Q}$ seraient deux $G_\delta$ denses disjoints, et leur intersection, vide, contredirait la question 1.

3. Union dénombrable de fermés d’intérieur non vide

Soient $(F_n)_{n\geqslant 0}$ des fermés de $E$ tels que $\bigcup_{n}F_n$ soit d’intérieur non vide. Montrons la contraposée : supposons que tous les $F_n$ soient d’intérieur vide.

Posons $U_n=E\setminus F_n$, qui est ouvert. Dire que $\mathring{F_n}=\varnothing$ équivaut à dire que $U_n$ est dense : en effet
$$\overline{U_n}=E\iff E\setminus\mathring{F_n}=E\iff \mathring{F_n}=\varnothing,$$en utilisant $\overline{E\setminus A}=E\setminus\mathring{A}$. La question 1 donne alors la densité de
$$\bigcap_{n\geqslant 0}U_n=E\setminus\bigcup_{n\geqslant 0}F_n,$$et la même équivalence, lue dans l’autre sens, montre que $\bigcup_{n}F_n$ est d’intérieur vide.

Par contraposition : si $\bigcup_n F_n$ est d’intérieur non vide, alors l’un au moins des $F_n$ est d’intérieur non vide. $\blacksquare$

Remarques

• La complétude est indispensable. Dans $E=\mathbb{Q}$, muni de la distance usuelle, les $U_n=\mathbb{Q}\setminus\{q_n\}$ sont ouverts denses et $\bigcap_n U_n=\varnothing$. De même $\mathbb{Q}=\bigcup_n\{q_n\}$ est une union dénombrable de fermés d’intérieur vide qui remplit tout l’espace. La question 1 est le seul point où elle sert, les deux autres en découlant.
• Sans complétude mais avec une compacité locale, le résultat subsiste : le théorème de Baire vaut aussi bien pour les espaces métriques complets que pour les espaces localement compacts.
• Le cas d’une intersection finie d’ouverts denses est élémentaire et ne demande rien : si $U,V$ sont ouverts denses et $W$ ouvert non vide, alors $W\cap U$ est ouvert non vide, donc rencontre $V$.
• La forme 3 est la plus utilisée en pratique, sous le nom de « théorème de Baire ». Elle donne notamment : un espace de Banach de dimension infinie n’a pas de base algébrique dénombrable (sinon il serait union dénombrable de sous-espaces de dimension finie, tous fermés d’intérieur vide) ; le théorème de Banach–Steinhaus ; le théorème de l’application ouverte ; et l’existence de fonctions continues nulle part dérivables.