ChatGLM.cpp是ChatGLM-6B, ChatGLM2-6B, ChatGLM3-6B等大语言模型的C++实现,用于MacBook上的实时对话
OpenVINO allows developers to deploy pre-trained deep learning models through a high-level C++ Inference Engine API integrated with application logic.
来源 https://github.com/THUDM/ChatGLM-6B.git
chatglm-6b-int4是一个6亿参数的ChatGLM模型的名称。