Hallo Flo,
es besteht keinerlei Grund zur Sorge. Nur Schimmelpilze und bestimmte parasitische Pilze werden den Ameisen zum Problem - und am die handelt es sich bei Deinem Pilz ganz sicher nicht. Die Fruchtkörper bleiben in der Regel nicht lange bestehen, sie dienen dem Pilz nur zur Fortpflanzung. Ich persönlich freue mich immer, wenn sich ein paar Fruchtkörper bilden. Ein massenhaftes Auftauchen von solchen Fruchtkörpern kommt eigentlich nie im Terrarium vor, dafür existiert zuviel Konkurrenz in Form von anderen Pilzen und anderen Kleinstlebewesen (es sei denn man hat vorher alles sterilisiert).
Es gibt übrigens sogar eine asiatische Ameisenart die sich von solchen Fruchtkörpern ernährt, deren Name will mir aber partout nicht einfallen...
Ob der Pilz giftig ist oder nicht, kann Dir ziemlich egal sein - Du hast ja nicht vor ihn zu essen

Und selbst wenn er für den Menschen giftig ist, bedeutet das im Umkehrschluss nicht, dass er für Deine Ameisen in irgendeiner Art und Weise gefährlich ist.
Ein entfernen des Fruchtkörpers macht eigentlich keinen Sinn, der Pilz bildet bei guten Bedingungen wahrscheinlich wieder neue.
Also alles kein Grund zur Beunruhigung, eher zur Freude!

Grüße, Phil (der gerade für sein Biostudium alles Mögliche über Pilze für die kommende Klausur lernt)