Vai al contenuto principale

Documentation Index

Fetch the complete documentation index at: https://docs.innochat.ch/llms.txt

Use this file to discover all available pages before exploring further.

INNOCHAT funziona secondo il principio “pay as you go”.
Invece di includere Message Credits (MCs) negli abbonamenti esistenti, li acquisti separatamente tramite add-on – oppure colleghi la tua API IA per un utilizzo illimitato. Quando utilizzi la tua chiave API, una volta esauriti tutti i MC nel tuo account INNOCHAT, tutti i costi IA successivi vengono addebitati direttamente sulla tua chiave API.

​
Configurare BYOK

Per configurare la tua chiave API personale, devi prima registrarti presso il fornitore IA corrispondente.
INNOCHAT supporta attualmente i modelli LLM di OpenAI, Anthropic e Google.
In futuro prevediamo di integrare altri modelli – inclusi modelli open-source e fine-tunati.

​
Istruzioni specifiche per fornitore

Dopo aver ricevuto la tua chiave API, conservala in un luogo privato e sicuro.
INNOCHAT raccomanda vivamente:
  • Utilizzare una chiave API diversa per ogni applicazione
  • Non condividere mai la tua chiave API con altre persone
Accedi ora a INNOCHAT e clicca sull’icona del profilo in alto a destra nell’interfaccia.
Clicca poi su Account.
Nella sezione AI API Key seleziona il tuo provider e inserisci la chiave API. Quindi clicca su Add. Attenzione:
Questa non è la sezione INNOCHAT API Keys, che serve per generare chiavi API proprie di INNOCHAT.
La configurazione è completata.
Quando crei per la prima volta una chiave API presso un fornitore, potrebbe essere soggetta a limitazioni.
Esempio (al 1° novembre 2024):
Le nuove chiavi OpenAI non possono utilizzare i modelli GPT-4o finché non viene depositato un saldo minimo di 5 USD e la fatturazione non è stata verificata.
Ogni fornitore ha le proprie regole di verifica account e limiti.

​
Pianificazione del budget per l’utilizzo IA

Utilizzare la tua chiave API è generalmente più conveniente rispetto all’acquisto di add-on Message Credits. Per stimare i costi, forniamo i seguenti riferimenti:
I fornitori di LLM aggiornano regolarmente i prezzi.
I prezzi più aggiornati sono disponibili qui:
Regola approssimativa semplice: Un Message Credit costa circa 0,0032 USD Esempio: GPT-4-1106-4k consuma 20 MC per richiesta.
Costo: 0,0032 × 20 = 0,064 USD Si tratta solo di un valore indicativo.
I costi reali possono variare di ± 20 %, poiché i costi dei LLM sono basati sui token – e i token di input e output hanno prezzi diversi. Una spiegazione sui token è disponibile qui:
https://help.openai.com/en/articles/4936856-what-are-tokens-and-how-to-count-them Una query LLM è composta da molti elementi. In sintesi: Input:
  • System Prompt & metadati
  • Prompt base personalizzato
  • Variabili & definizioni
  • Definizioni dei label di conversazione
  • Metadati & descrizioni delle funzioni
  • Parametri delle funzioni
  • Risposta delle funzioni
  • Contesto RAG statico
  • Memoria della conversazione
Output:
  • Risposta testuale
  • Metadati della risposta

​
Dettaglio prezzi OpenAI

INNOCHAT supporta diversi LLM OpenAI e diverse varianti con limiti di token differenti.
La tabella seguente si basa sulla nostra ripartizione standard dei token riservati in input/output.
Rappresenta un limite massimo, poiché non tutti i token riservati vengono utilizzati in ogni richiesta.
ModelloRiserva InputRiserva OutputCosto/Input-TokenCosto/Output-TokenCosto totale/Richiesta
GPT-3.5280012000.00000050.00000150.0032
GPT-3.5-16k1360024000.00000050.00000150.0104
GPT-4o-mini-1k8002000.000000150.00000060.00024
GPT-4o-mini-2k16004000.000000150.00000060.00048
GPT-4o-mini-4k280012000.000000150.00000060.00114
GPT-4o-mini-8k560024000.000000150.00000060.00228
GPT-4o-mini-16k1280032000.000000150.00000060.00384
GPT-4o-mini-32k2800040000.000000150.00000060.0066
GPT-4o-mini-64k6000040000.000000150.00000060.0114
GPT-4o-1k8002000.00000250.000010.004
GPT-4o-2k16004000.00000250.000010.008
GPT-4o-4k280012000.00000250.000010.019
GPT-4o-8k560024000.00000250.000010.038
GPT-4o-16k1280032000.00000250.000010.064
GPT-4o-32k2800040000.00000250.000010.11
GPT-4o-64k6000040000.00000250.000010.19
GPT-4-1106-1k8002000.000010.000030.014
GPT-4-1106-2k16004000.000010.000030.028
GPT-4-1106-4k280012000.000010.000030.064
GPT-4-0125-8k560024000.000010.000030.128
GPT-4-1106-16k1280032000.000010.000030.224
GPT-4-1106-32k2800040000.000010.000030.4
GPT-4-1106-64k6000040000.000010.000030.72

​
BYOK per i partner White-Label

Oltre ai costi dei MC, i partner White-Label devono sostenere anche i costi generati dall’esecuzione del framework multi-agente IA.
Questi costi si applicano anche se i tuoi utenti finali utilizzano la propria chiave API. Esistono tre workflow che gravano sulla tua API:
  1. Generazione degli intents per gli agenti IA
    • Quando sono collegati due o più agenti IA
    • Addebitato quando un nuovo agente visibile all’utente viene messo online o uno esistente viene modificato
  2. Classificazione dell’intento della query
    • Quando sono attivi due o più agenti visibili all’utente
    • Prezzo per richiesta
  3. Estrazione delle variabili
    • Quando un agente utilizza una o più variabili
    • Prezzo per richiesta
Costi approssimativi:
WorkflowInputOutputCosto/InputCosto/OutputCosto/Esecuzione
Intent Generation (gpt-4-1106-preview)6004500.000010.000030.0011
Query Intent Classification (gpt-3.5-turbo-1106)1000500.0000010.0000020.0195
Variable Extraction (gpt-3.5-turbo-1106)10001000.0000010.0000020.0012
Questi costi vengono sempre addebitati direttamente sulla tua chiave API e non possono essere trasferiti ai tuoi clienti. È possibile che in futuro altre funzionalità IA richiedano la tua chiave API.
Aggiorneremo la documentazione di conseguenza.
In generale, questi costi aggiuntivi rimangono molto inferiori rispetto a quelli generati dai Message Credits.