VXiaoZhi Blog

「离开世界之前 一切都是过程」

vLLM

vLLM

vLLM vLLM 是一个快速且易于使用的库，用于 LLM 推理和服务，和 HuggingFace 无缝集成。区别于 chatglm.cpp 和 llama.cpp，仅是在 GPU 上的模型推理加速，没有 CPU 上的加速。 在吞吐量方面，vLLM 的性能比 HuggingFace Transformers （HF） 高出 24 倍，文本生成推理 （TGI） 高出 3.5 倍。 可以...

Posted by vxiaozhi on January 12, 2025

解决Linux操作系统下Terminal中光标消失的问题

解决Linux操作系统下Terminal中光标消失的问题

解决Linux操作系统下Terminal中光标消失的问题 使用Terminal时会偶尔遇到光标消失的问题。 显示光标 1 echo -e "\033[?25h" 隐藏光标 1 echo -e "\033[?25l"

Posted by vxiaozhi on January 12, 2025

Linux cron 定时任务

Linux cron 定时任务

Linux cron 定时任务 1 2 3 4 5 6 7 8 ┌──────────── [optional] seconds (0 - 59) | ┌────────── minute (0 - 59) | | ┌──────── hour (0 - 23) | | | ┌────── day of month (1 - 31) | | | | ┌──── month (1 - 12)...

Posted by vxiaozhi on January 12, 2025

如何在 K8s 上运行 Spark

如何在 K8s 上运行 Spark

如何在 K8s 上运行 Spark Operators Spark Operator 参考 Running Spark on Kubernetes

Posted by vxiaozhi on January 12, 2025

使用 KubeRay 在 Kubernetes 中托管 Ray 工作负载

使用 KubeRay 在 Kubernetes 中托管 Ray 工作负载

使用 KubeRay 在 Kubernetes 中托管 Ray 工作负载 参考 KubeRay 使用 KubeRay 和 Kueue 在 Kubernetes 中托管 Ray 工作负载

Posted by vxiaozhi on January 12, 2025

K8s 源码阅读

K8s 源码阅读

K8s 源码阅读 参考 Kubeedge源码分析之总体介绍

Posted by vxiaozhi on January 12, 2025

k8s 服务网格（Service Mesh）

k8s 服务网格（Service Mesh）

k8s 服务网格（Service Mesh） 希腊语言中大概是风帆的意思， 发音 [iːst’iəʊ] ，相当于中文的 伊斯特亿欧。 如果用一句话来解释什么是服务网格，可以将它比作是应用程序或者说微服务间的 TCP/IP，负责服务之间的网络调用、限流、熔断和监控。 服务网格有如下几个特点： 应用程序间通讯的中间层 轻量级网络代理 应用程序无感知 解耦应用程序的重试...

Posted by vxiaozhi on January 12, 2025

Kmesh 技术

Kmesh 技术

Kmesh 技术 背景 像 Istio 这样的服务网格已成为管理复杂微服务架构的核心，提供流量管理、安全性和可观测性等功能。Sidecar 模型，即在每个服务实例旁运行一个代理，已成为主要方法。虽然功能有效，但这种架构引入了显著的延迟和资源开销。 传统 Sidecar 架构的局限性 延迟开销：增加 Sidecar 代理会导致网络跳数和上下文切换增加，每次服务调用引入额外 2 至...

Posted by vxiaozhi on January 12, 2025

k8s 服务网格（Service Mesh）

k8s 服务网格（Service Mesh）

k8s 服务网格（Service Mesh） 希腊语言中大概是风帆的意思， 发音 [iːst’iəʊ] ，相当于中文的 伊斯特亿欧。 1. 为何使用服务网格？(Why) 服务网格并没有给我们带来新功能，它是用于解决其他工具已经解决过的问题，只不过这次是在云原生的 Kubernetes 环境下的实现。 MVC 三层 Web 应用程序架构下，服务之间的通讯并不复杂，在应用程序...

Posted by vxiaozhi on January 12, 2025

K8s 服务网格配置发现协议

K8s 服务网格配置发现协议

K8s 服务网格配置发现协议 MCP MCP是基于订阅的配置分发API。 配置使用者(即sink)从配置生产者(即source)请求更新资源集合.添加,更新或删除资源时,source会将资源更新推送到sink. sink积极确认资源更新,如果sink接受,则返回ACK,如果被拒绝则返回NACK,例如: 因为资源无效。 一旦对先前的更新进行了ACK/NACK,则源可以推送...

Posted by vxiaozhi on January 12, 2025

FEATURED TAGS
编程语言 k8s server cet4 english golang web cpp python gitbook deepseek http 建站 boinc cmd code docker cms gateway aigc coroutine cs image llm mac php rust seo webframework 工具 LLM WordPress deeplearning dns github gre higress js json
ABOUT ME

要做一个有 swag 的程序员
React Team @ Meta

FRIENDS
-->