4 Star 79 Fork 19

o3sky/o3sky-vtai-bi100

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
文件
克隆/下载
start_services.sh 1.12 KB
一键复制 编辑 原始数据 按行查看 历史
o3sky 提交于 2024-09-19 12:50 . update start_services.sh.
#!/bin/bash
# 启动 vllm.entrypoints.openai.api_server 单卡启动阿里通义模型
#python -m vllm.entrypoints.openai.api_server --model /data/model/Qwen2-7B-Instruct --host 127.0.0.1 --port 8000 --trust-remote-code &
# 启动 vllm.entrypoints.openai.api_server 双卡启动书生浦语模型
# 20240914修改改成使用代码启动
#python -m vllm.entrypoints.openai.api_server --model /data/model/internlm2_5-7b-chat --host 127.0.0.1 --port 8000 --trust-remote-code --tensor-parallel-size 2 &
# 启动 vllmapi.py
python /home/app/project/utils/vllmapi.py &
# 启动 SenseVoiceapi.py
python /home/app/project/utils/SenseVoiceapi.py &
# 启动 streamlit 应用
streamlit run --server.port=7860 --server.enableCORS=false --server.headless=true --server.enableXsrfProtection=false --server.fileWatcherType=none --global.developmentMode=false --server.enableWebsocketCompression=false --browser.gatherUsageStats=false app.py &
jupyter lab --allow-root --ip=0.0.0.0 --port=7861 --no-browser --NotebookApp.token= --NotebookApp.password= --NotebookApp.allow_remote_access=True --NotebookApp.allow_origin=* --ServerApp.disable_check_xsrf=True
Loading...
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化
1
https://gitee.com/o3sky/o3sky-vtai-bi100.git
[email protected]:o3sky/o3sky-vtai-bi100.git
o3sky
o3sky-vtai-bi100
o3sky-vtai-bi100
master

搜索帮助

0d507c66 1850385 C8b1a773 1850385