Birkhoff92
Utente Attivo
- Messaggi
- 300
- Reazioni
- 27
- Punteggio
- 49
Buongiorno ,
sto smanettando da stamattina per scaricare il modello di mistral da hugginface e far partire questa macchina hostata su https://www.runpod.io/ . Il modello l'ho caricato correttamente ( previo inserimento di HF_Token creata su HugginFace) . Il problema che quando provo a lanciare il comando curl per vedere se tutto funzioni anche dall esterno ( settata la porta 8000 su runpod ) :
curl.exe -X POST "https://bhr772tkmp63o-8000.proxy.runpod.net/v1/chat/completions" -H "Content-Type: application/json" -d '{\"model\": \"mistralai/Mistral-Small-3.1-24B-Instruct-2503\", \"messages\": [{\"role\": \"user\", \"content\": \"Qual è la capitale dell’Italia?\"}], \"temperature\": 0.15, \"max_tokens\": 100}'
non ricevo la risposta sperata ma un error not found 404 . Il server è correttamente su INFO 03-31 03:46:21 [api_server.py:981] vLLM API server version 0.8.2 ....
Come potrei risolvere ? Le altro info su runpod sono :
Grazie in anticipo
sto smanettando da stamattina per scaricare il modello di mistral da hugginface e far partire questa macchina hostata su https://www.runpod.io/ . Il modello l'ho caricato correttamente ( previo inserimento di HF_Token creata su HugginFace) . Il problema che quando provo a lanciare il comando curl per vedere se tutto funzioni anche dall esterno ( settata la porta 8000 su runpod ) :
curl.exe -X POST "https://bhr772tkmp63o-8000.proxy.runpod.net/v1/chat/completions" -H "Content-Type: application/json" -d '{\"model\": \"mistralai/Mistral-Small-3.1-24B-Instruct-2503\", \"messages\": [{\"role\": \"user\", \"content\": \"Qual è la capitale dell’Italia?\"}], \"temperature\": 0.15, \"max_tokens\": 100}'
non ricevo la risposta sperata ma un error not found 404 . Il server è correttamente su INFO 03-31 03:46:21 [api_server.py:981] vLLM API server version 0.8.2 ....
Come potrei risolvere ? Le altro info su runpod sono :
Grazie in anticipo