从本地直接加载已有的大语言模型文件，用命令方式或python编程方式从本地直接加载模型文件，适合于模型文件已下载到本地的情况，或者模型文件已随软件一起打包的情况、docker容器化部署的情况，也适用Chinese-Llama-2-7b，可避免部署运行时每次重新联网下载huggingface上的模型的麻烦。

介绍两种方法实现：

命令方式从本地文件直接加载llama/llama 2/中文llama 的大语言模型：
参考链接
1. 在本地编译得到 llama.cpp 的可执行文件（main）后，通过main 加载本地模型文件。
  linux下的编译 + 加载模型的命令为：
```
git clone https://github.com/ggerganov/llama.cpp;
cd llama.cpp && make -j && ./main -m ./models/7B/ggml-model-q4_0.bin -p "Building a website can be done in 10 simple steps:" -n 512
```

编程方式从本地文件直接加载llama/llama 2/中文llama 的大语言模型：

安装准备工作：
```
pip install llama-cpp-python
```
对 mac系统的支持、以及让llama.cpp支持使用 OpenBLAS / cuBLAS / CLBlast / Metal 作为后端的设置方法，可参考链接

编程实现

from llama_cpp import Llama
llm = Llama(model_path="./models/7B/ggml-model.bin")
output = llm("Q: Name the planets in the solar system? A: ", max_tokens=32, stop=["Q:", "\n"], echo=True)
print(output)

输出结果：

"id": "cmpl-xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
"object": "text_completion",
"created": 1679561337,
"model": "./models/7B/ggml-model.bin",
"choices": [
{
"text": "Q: Name the planets in the solar system?

… 查看余下内容

python 的 trace 调试介绍

python -m trace --trace xxxxx.py 是一种 Python 命令行方式，它可以用于代码调试和性能分析。具体来说，它可以让你跟踪 Python 程序的执行过程，记录下每个语句的执行情况，以及它们所花费的时间和调用次数等信息。

python trace运行方式的优势包括：

代码调试：trace 模块可以帮助你找出代码中的错误和潜在问题，因为它可以记录每个语句的执行情况，以及它们所花费的时间和调用次数等信息。这有助于你分析代码的执行过程，并找出可能导致程序崩溃或性能下降的问题。
性能分析：trace 模块还可以帮助你分析代码的性能问题，因为它可以记录每个语句的执行时间和调用次数等信息。这有助于你找出代码中的瓶颈，并进行优化，以提高程序的性能。
应用广泛：trace 模块是 Python 自带的标准库，因此在各种 Python 环境中都可以使用。无论是在本地开发环境中，还是在部署服务器上，都可以使用这种方式来进行代码调试和性能分析。

python trace方式潜在的问题

需要注意的是，在使用 trace 模块时，由于它会记录每个语句的执行情况，因此可能会对程序的性能产生一定影响，特别是对于大型程序和高并发程序来说，可能会影响程序的运行速度。因此，在使用 trace 模块时，需要谨慎选择需要跟踪的语句和模块，以避免对程序的性能产生太大的影响。

调试结果的输出如何保存为文件、如何可视化

python -m trace --trace xxxxx.py 命令行方式会将跟踪信息输出到标准输出，而不会生成 dump 文件。如果你需要将跟踪信息保存到文件中，可以使用 -o 选项指定输出文件名，例如：

python -m trace --trace -o trace.log xxxxx.py

这样就会将跟踪信息保存到 trace.log 文件中。

python trace实时查看运行状态

关于实时查看运行状态，trace 模块本身并没有提供实时查看运行状态的功能。但你可以在程序运行时，通过打印一些调试信息来实现实时查看的效果。例如，在程序中插入一些 print() 语句，输出一些关键信息，就可以在程序运行时实时查看运行状态。

python trace结果如何通过web界面查看？

若要通过web 面板查看结果python trace的结果，你可以使用一些第三方工具来对 trace 产生的跟踪信息进行可视化。例如，SnakeViz 工具可以将 trace 产生的跟踪信息可视化为交互式火焰图，帮助你更直观地分析和优化程序的性能。你可以通过 pip 命令安装 SnakeViz，然后使用以下命令启动：

pip install snakeviz

python -m cProfile -o trace.out xxxxx.py
snakeviz trace.out

其中 -o 选项用于将 trace 产生的跟踪信息保存到文件中，snakeviz 命令用于启动 SnakeViz 工具并打开可视化界面。在界面中，你可以查看整个程序的执行过程，找出代码瓶颈，优化程序性能。… 查看余下内容

开软技巧

标签： python

从本地文件直接加载llama/llama 2/中文llama 的大语言模型的方法