J’ai une solution, mais j’ai l’impression de manquer de précision par moment. En plus, je crois que j’ai pris des chemins détournés.
En reliant $A(a, 0)$ et $B(0, b)$, on forme une droite d’équation :
$$f_{a, b}(x) = b - \frac{b}{a} x$$
Ce faisant, on exclut $a=0$, ce que je réglerai plus tard.
Comme $a + b = n$, on peut reparamétrer cette famille de droite par $a$ seulement :
$$f_a(x) = (n-a) - \frac{n-a}{a}x$$
La courbe que l’on cherche est le graphe de la fonction suivante, qui correspond à la bordure de la zone balayée par les droites :
$$ g(x) = \max_a f_a(x) $$
Pour trouver le maximum, on considère $x\in[0, 3]$ et on commence par dériver $f_a(x)$ par rapport à $a$ :
$$\frac{\mathrm{d}f_a(x)}{\mathrm{d}t} = -1 + \frac{x n}{a^2}$$
La seule valeur positive qui annule la dérivée est $a = \sqrt{x n}$. Une étude du signe montre que l’annulation se fait en changeant de signe de positif vers négatif, et donc il s’agit d’une valeur où la fonction atteint son maximum.
Ainsi, on peut calculer que :
$$ g(x) = \left(\sqrt{n} - \sqrt{x} \right)^2 $$
Autrement dit, l’équation cartésienne de la courbe que l’on cherche est :
$$ y = \left(\sqrt{n} - \sqrt{x} \right)^2 $$
On peut voir à ce moment là que $a = 0$, qui donne le point $(0, n)$ ne pose pas de problème car il vérifie bien l’équation.
Après quelques transformation et en remarquant que tous les signes sont positifs, on obtient :
$$ \sqrt{y} + \sqrt{x} = \sqrt{n}$$
pour $x \in [0, 3]$.
Après une recherche laborieuse, on reconnaît une courbe de Lamé, ce qui montre que la courbe recherchée est un arc de parabole d’équation :
$$ (x - y)^2 + n^2 = 2n(x + y) $$
pour $x \in [0, 3]$, ce qu’on peut aussi montrer par calcul en mettant deux fois au carré l’expression avec les racines carrées.