-
1. 使用方法1.1 登录方式使用SSL VPN
地址:9kf2gm632718.vicp.fun:11844
输入对应的账号密码。
1.2 支持的使用平台Windows,Linux(支持界面与无界面)
对于Linux来说,首先运行压缩包内sudo ...
-
1. vermeer代码理解1.1 架构1.1.1 MasterKey responsibilities:
Job submission and management
Task distribution across worker nodes
...
-
1. 部署与运行方法1.1 hugeGraph123456789101112131415161718# 安装javasudo apt install openjdk-11-jdk# 下载最新版本的release文件,网页为https://github...
-
1. 准备工作1.0 确定需要下载的版本1.0.1 确定需要下载的kubeflow版本例如Kubeflow 1.10 | Kubeflow ,下面明确写了支持版本至少是k8s 1.32。
因此我们下载Kubeflow 1.9 | Kubeflow
...
-
1. 删除文件删除以下文件
1C:\Users\[YourName]\AppData\Local\Packages\microsoft.windowscommunicationsapps_8wekyb3d8bbwe\LocalState\Migrat...
-
1. 调度优化1.1 概念理解1.1.1 Executor是airflow部署的模式,更改后必须重启airflow才可以生效。
本地Executor
Airflow 任务在调度器进程内部本地运行。优点: 非常易于使用,速度快,延迟极低,设置要求少...
-
1. 背景vllm使用pagedAttention(LLM(17):从 FlashAttention 到 PagedAttention, 如何进一步优化 Attention 性能 - 知乎 )加速推理,但是其没有做到以下几点:
内容
参考
...
-
1. 设计1.1 架构1.1.1 客户端1.1.1.1 简介
fuse(需要多次内核态和用户态拷贝,多线程锁抢占性能不佳)
Native client(USRBIO)
File metadata 仍然走fuse daemon流程(例如open...
-
1. LoRA主要参考
Hoper-J/AI-Guide-and-Demos-zh_CN: 这是一份入门AI/LLM大模型的逐步指南,包含教程和演示代码,带你从API走进本地大模型部署和微调,代码文件会提供Kaggle或Colab...
-
1. 代码梳理1.1 逻辑1.1.1 初始化初始化模型: __init__(vllm/engine/llm_engine.py): executor_class(vllm_config=vllm_config, )【根据...