Can anyone recommend a privacy friendly SaaS #llm #inference provider? It needs to support *function calling* on at least one of the more recent #openweights models:

- gpt-oss
- Olma3
- Apertus? (I did not yet succeed using it)

There should be some level of cost control. Ideally a hourly rate limit. European solutions are preferred.

Use case is to have a fallback for demos or experiments where local inference is not practical. Monthly costs should go towards 0 when not used.

#selfhosting

@guesser also openrouter hat olmo3 und gpt oss. Apertus aber nicht.

Du willst ggf. (Sub)provider pindown benutzen, je nachdem ob du training erlauben willst.

… effektiv ist paradail der einzige aufgeführte (sub)Provider für olmo3.

@Alain Danke dir.

Ja, openrouter ist eine Option. Allerdings eher nichtssagende terms of service zu Datenschutz. Plus Verzicht auf Rechte bei opt-in zu Logging.

Parasail hab ich probiert. Keine sichtbare Kostenkontrolle. Und kein tool calling für gpt-oss. Olmo3 verhällt sich eigenartig unflexibel.

Pindown werd ich mal ansehen.