Die Ladezeit hängt davon ab wie weit die Datei entfernt ist. Die weitaus größere Gefahr besteht darin das die Datei mit einer anderen, Malware als Beispiel ausgetauscht werden kann. Es gibt 100 000 freie Fonts die du runterladen kannst und beide Nachteile damit umgehen kannst.
Ich würde die ttf-Datei in woff2 umwandeln. Dadurch spart man 30 bis 40 % an Dateigröße und die Seite lädt erheblich schneller. Woff2 ist ja auch für das Web optimiert. Es gibt "ttf to woff2 Konverter", die wandeln die Schrift um: https://cloudconvert.com/ttf-to-woff2
Nicht den CSS-Befehl font-display: swap; vergessen. Dann zeigt der Browser den Text der Website sofort mit einer Standardschrift an und muss nicht warten, bis eine externe Web-Schrift heruntergeladen ist. Ist die externe Schrift komplett runtergeladen, tauscht der Browser die Standardschrift wieder aus.