一、基于docker安裝TF-Serving
參考文檔:
https://tensorflow.google.cn/tfx/serving/docker基于docker的安裝首先需要安裝docker
https://zhuanlan.zhihu.com/p/45109194
在docker的下載地址
https://download.docker.com/linux/ubuntu/dists/中查找ubuntu對應的版本
查看ubuntu版本:
cat /proc/version 查看詳細信息:lsb_release -a 可以看到ubuntu的代號名稱為:xenial,cput為AMD64 因此到文件夾中去選取對應版本的文件:獲取.deb安裝文件:
wget https://download.docker.com/linux/ubuntu/dists/xenial/pool/stable/amd64/docker-ce_18.03.0~ce-0~ubuntu_amd64.deb 使用dpkg命令進行安裝:dpkg -I docker-ce_18.03.0~ce-0~ubuntu_amd64.deb 執行hello-world測試是否安裝成功:用dpkg命令安裝后有遇到過docker沒有正常啟動的問題,好像是缺失mkl還是systemstl 沒有啟動docker,忘了記錄,后續有同學遇到再補充 。
在docker中啟動服務
【詳解tensorflow基礎知識 tensorflow安裝教程】準備docker環境
docker pull tensorflow/serving 這個命令會獲取一個預先安裝好的虛擬環境,可以在docker中操作虛擬環境,TensorflowServing提供兩種形式的調用:RestFull和GRPC一、RestFull API調用
下載tfserving的示例代碼
mkdir tfservingcd tfservinggit clone https://github.com/tensorflow/serving 運行TF Servingdocker run -p 8501:8501--mount type=bind,source=/root/maoyaozong/tfserving/serving/tensorflow_serving/servables/tensorflow/testdata/saved_model_half_plus_two_cpu,target=/models/half_plus_two-e MODEL_NAME=half_plus_two -t tensorflow/serving 這里提供8501端口作為REST API的端口號,綁定了模型的原始地址,并且命名模型的名稱model_name=half_plus_two客戶端驗證
curl -d\\\'{"instances": [1.0, 2.0, 5.0]}\\\'-X POST http://localhost:8501/v1/models/half_plus_two:predict 獲取返回結果{ "predictions": [2.5, 3.0, 4.5] } 二、GRPC API調用下載tfserving的示例代碼
mkdir tfservingcd tfservinggit clone https://github.com/tensorflow/serving 模型編譯/root/anaconda3/bin/pythontensorflow_serving/example/mnist_saved_model.py models/mnist 在目錄下會多出一個models的文件夾,用來存儲模型運行TF Serving
dockerrun -p 8500:8500 --mounttype=bind,source=$(pwd)/models/mnist,target=/models/mnist -e MODEL_NAME=mnist -t tensorflow/serving 安裝tensorflow-serving-apipip install tensorflow-serving-api 客戶端驗證/root/anaconda3/bin/pythontensorflow_serving/example/mnist_client.py --num_tests=1000--server=127.0.0.1:8500 Inference error rate: 10.4%
猜你喜歡
- 闊腿褲如何搭配上衣 闊腿褲如何搭配上衣詳解
- 月下夜想曲攻略 全流程攻略詳解
- 婦女節是什么意思 這里有這個節日的詳解
- 胡一天個人資料 胡一天個人簡介詳解
- 喝牛奶會不會長胖 來這里看詳解
- be和he分別是什么意思 be和he的詳解
- 詳解其整個流程作用 互聯網產品開發流程8個步驟
- 阿拉德之怒屬性詳解 了解一下
- 超詳解析兩者間的區別 產品運營和產品經理的區別
- 讓錢翻倍的最快方法 投資理財基礎知識
