Ppyu

Tensorflow2.0学习笔记-fashion mnist数据的分类示例

2020-07-20T00:00:00+08:00

# Tensorflow and tf.keras
import tensorflow as tf 
from tensorflow import keras

# Helper Libraries
import numpy as np
import matplotlib.pyplot as plt
# 添加下行代码可在notebook中展示matplotlib生成的图片
%matplotlib inline

print(tf.__version__)

2.1.0

# Import the Fashion MNIST dataset
fashion_mnist=keras.datasets.fashion_mnist
# Loading the dataset returns 4 Numpy arrays
(train_images,train_labels),(test_images,test_labels)=fashion_mnist.load_data()
# The images are 28x28 numpy arrays,with pixel values ranging from 0 to 255.
print("train_iamges.shape:",train_images.shape)
# The labels are an array of integers, ranging from 0 to 9.These correspond to the class of clothing the image represents:
# 0:T-shirt/top
# 1:Trouser
# 2:Pullover
# 3:Dress
# 4:Coat
# 5:Sandal
# 6:Shirt
# 7:Sneaker
# 8:Bag
# 9:Ankle boot
print("train_labels.shape:",train_labels.shape)

train_iamges.shape: (60000, 28, 28)
train_labels.shape: (60000,)

# storage the 10 classes into a list
class_names=['T-shirt/top','Trouser','Pullover','Dress','Coat','Sandal','Shirt','Sneaker','Bag','Ankle boot']

# Use this function you can see the pixel values fall in the range of 0 to 255
def show_img_colorbar(image):
    plt.figure()
    plt.imshow(image)
    plt.colorbar()
    plt.grid(False)
    plt.show()
show_img_colorbar(train_images[0])
show_img_colorbar(test_images[0])

# scale these pixel values to a range of 0 to 1
# test set shuold do the same as train set
train_images = train_images/255.0
test_images = test_images/255.0

# after scaled, the img didn't change although the range has changed
show_img_colorbar(train_images[0])
show_img_colorbar(test_images[0])

def display_images(images,image_num,labels):
    plt.figure(figsize=(10,10))
    for i in range(image_num):
        plt.subplot(5,5,i+1)
        plt.xticks([])
        plt.yticks([])
        plt.grid(False)
        plt.imshow(images[i],cmap=plt.cm.binary)
        plt.xlabel(class_names[labels[i]])
    plt.show()
    
display_images(train_images,25,train_labels)

# Build the model
model=keras.Sequential([
    # keras.layers.Flatten transforms the format of the images from a two-dimensional array(of 28x28 pixels) to a one-dimensional array(of 28*28=784 pixels)
    keras.layers.Flatten(input_shape=(28,28)),
    # keras.layers.Dense:fully connected neural layer
    keras.layers.Dense(128,activation='relu'),
    keras.layers.Dense(10)
])

# Before the model is ready for training, it needs a few more settings. These are added during the model's compile step:
# 1.Loss function —This measures how accurate the model is during training. You want to minimize this function to "steer" the model in the right direction.
# 2.Optimizer —This is how the model is updated based on the data it sees and its loss function.
# 3.Metrics —Used to monitor the training and testing steps. The following example uses accuracy, the fraction of the images that are correctly classified.

model.compile(optimizer='adam',loss=keras.losses.SparseCategoricalCrossentropy(from_logits=True),metrics=['accuracy'])
# print the structure of our model
model.summary()

Model: "sequential_2"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
flatten_2 (Flatten)          (None, 784)               0         
_________________________________________________________________
dense_4 (Dense)              (None, 128)               100480    
_________________________________________________________________
dense_5 (Dense)              (None, 10)                1290      
=================================================================
Total params: 101,770
Trainable params: 101,770
Non-trainable params: 0
_________________________________________________________________

# Train the model

# To start training, call the model.fit method—so called because it "fits" the model to the training data:
model.fit(train_images,train_labels,epochs=20)

Train on 60000 samples
Epoch 1/20
60000/60000 [==============================] - 4s 60us/sample - loss: 0.4962 - accuracy: 0.8241
Epoch 2/20
60000/60000 [==============================] - 4s 59us/sample - loss: 0.3726 - accuracy: 0.8652
Epoch 3/20
60000/60000 [==============================] - 4s 58us/sample - loss: 0.3351 - accuracy: 0.8775
Epoch 4/20
60000/60000 [==============================] - 4s 64us/sample - loss: 0.3112 - accuracy: 0.8855
Epoch 5/20
60000/60000 [==============================] - 4s 59us/sample - loss: 0.2937 - accuracy: 0.8918
Epoch 6/20
60000/60000 [==============================] - 4s 61us/sample - loss: 0.2792 - accuracy: 0.8968
Epoch 7/20
60000/60000 [==============================] - 4s 66us/sample - loss: 0.2678 - accuracy: 0.9007
Epoch 8/20
60000/60000 [==============================] - 4s 66us/sample - loss: 0.2577 - accuracy: 0.9039
Epoch 9/20
60000/60000 [==============================] - 4s 68us/sample - loss: 0.2487 - accuracy: 0.9082
Epoch 10/20
60000/60000 [==============================] - 4s 71us/sample - loss: 0.2407 - accuracy: 0.9096
Epoch 11/20
60000/60000 [==============================] - 4s 66us/sample - loss: 0.2309 - accuracy: 0.9141
Epoch 12/20
60000/60000 [==============================] - 4s 66us/sample - loss: 0.2225 - accuracy: 0.9161
Epoch 13/20
60000/60000 [==============================] - 4s 66us/sample - loss: 0.2177 - accuracy: 0.9175
Epoch 14/20
60000/60000 [==============================] - 4s 66us/sample - loss: 0.2118 - accuracy: 0.9204
Epoch 15/20
60000/60000 [==============================] - 4s 64us/sample - loss: 0.2036 - accuracy: 0.9235
Epoch 16/20
60000/60000 [==============================] - 4s 64us/sample - loss: 0.2001 - accuracy: 0.9235
Epoch 17/20
60000/60000 [==============================] - 4s 68us/sample - loss: 0.1956 - accuracy: 0.9267
Epoch 18/20
60000/60000 [==============================] - 4s 69us/sample - loss: 0.1887 - accuracy: 0.9280
Epoch 19/20
60000/60000 [==============================] - 4s 66us/sample - loss: 0.1848 - accuracy: 0.9298
Epoch 20/20
60000/60000 [==============================] - 4s 64us/sample - loss: 0.1787 - accuracy: 0.9327





<tensorflow.python.keras.callbacks.History at 0x17d92e2be48>

# This gap between training accuracy and test accuracy represents overfitting.
test_loss,test_acc=model.evaluate(test_images,test_labels,verbose=2)
print('\nTest accuracy:',test_acc)

10000/10000 - 1s - loss: 0.3490 - accuracy: 0.8896

Test accuracy: 0.8896

# Make predictions

# Softmax layer convert the logits to probabilities
probability_model=keras.Sequential([model,keras.layers.Softmax()])

predictions=probability_model.predict(test_images)
predictions[0]

array([1.5950793e-10, 3.4406789e-10, 2.1609357e-13, 3.8774634e-14,
       1.3165631e-11, 6.1470637e-05, 3.0008304e-10, 4.6707969e-03,
       4.1768186e-12, 9.9526775e-01], dtype=float32)

print("prediction_label:",np.argmax(predictions[0]))
print("true_label:",test_labels[0])

prediction_label: 9
true_label: 9

def plot_image(i, predictions_array, true_label, img):
  predictions_array, true_label, img = predictions_array, true_label[i], img[i]
  plt.grid(False)
  plt.xticks([])
  plt.yticks([])

  plt.imshow(img, cmap=plt.cm.binary)

  predicted_label = np.argmax(predictions_array)
  if predicted_label == true_label:
    color = 'blue'
  else:
    color = 'red'

  plt.xlabel("{} {:2.0f}% ({})".format(class_names[predicted_label],
                                100*np.max(predictions_array),
                                class_names[true_label]),
                                color=color)

def plot_value_array(i, predictions_array, true_label):
  predictions_array, true_label = predictions_array, true_label[i]
  plt.grid(False)
  plt.xticks(range(10))
  plt.yticks([])
  thisplot = plt.bar(range(10), predictions_array, color="#777777")
  plt.ylim([0, 1])
  predicted_label = np.argmax(predictions_array)

  thisplot[predicted_label].set_color('red')
  thisplot[true_label].set_color('blue')

i = 0
plt.figure(figsize=(6,3))
plt.subplot(1,2,1)
plot_image(i, predictions[i], test_labels, test_images)
plt.subplot(1,2,2)
plot_value_array(i, predictions[i],  test_labels)
plt.show()

i = 12
plt.figure(figsize=(6,3))
plt.subplot(1,2,1)
plot_image(i, predictions[i], test_labels, test_images)
plt.subplot(1,2,2)
plot_value_array(i, predictions[i],  test_labels)
plt.show()

# Plot the first X test images, their predicted labels, and the true labels.
# Color correct predictions in blue and incorrect predictions in red.
num_rows = 5
num_cols = 3
num_images = num_rows*num_cols
plt.figure(figsize=(2*2*num_cols, 2*num_rows))
for i in range(num_images):
  plt.subplot(num_rows, 2*num_cols, 2*i+1)
  plot_image(i, predictions[i], test_labels, test_images)
  plt.subplot(num_rows, 2*num_cols, 2*i+2)
  plot_value_array(i, predictions[i], test_labels)
plt.tight_layout()
plt.show()

# Use the trained model: use the trained model to make a prediction about a single image.

img = test_images[24]
print(img.shape)

(28, 28)

img=np.expand_dims(img,0)
print(img.shape)

(1, 28, 28)

prediction_single=probability_model.predict(img)
print(prediction_single)

[[1.2396064e-08 1.0000000e+00 1.0325842e-11 2.1302677e-09 6.1361333e-13
  1.1962000e-22 5.7414910e-11 3.9591402e-36 7.7304123e-15 1.0569104e-25]]

plot_value_array(24, prediction_single[0], test_labels)
_ = plt.xticks(range(10), class_names, rotation=45)

print("prediction_label:",np.argmax(prediction_single[0]))
print("true_label:",test_labels[24])

prediction_label: 1
true_label: 1

Git使用总结

2020-07-17T00:00:00+08:00

1、配置git信息

$ git config --global user.name "Your Name" $ git config --global user.email "email@example.com"

注意git config命令的--global参数，用了这个参数，表示你这台机器上所有的Git仓库都会使用这个配置，当然也可以对某个仓库指定不同的用户名和Email地址。

2、创建版本库

在需要创建的文件夹里输入 git init 指令。

3、添加文件到Git仓库

要初始化一个Git仓库，使用git init命令。添加文件到Git仓库，分两步： 第一步，使用命令git add <file>，注意，可反复多次使用，添加多个文件； 第二步，使用命令 git commit 完成。

第一步是用git add把文件添加进去，实际上就是把文件修改添加到暂存区； 第二步是用git commit 提交更改，实际上就是把暂存区的所有内容提交到当前分支(工作区)。

4、查看历史提交记录

git log git log 命令显示从最近到最远的提交日志。 git reflog 记录每一次指令如果嫌输出信息太多，看得眼花缭乱的，可以加上--pretty=oneline参数。 git log --pretty=oneline 你看到的一大串类似3628164…882e1e0的是commit id（版本号），和SVN不一样，Git的commit id不是1，2，3……递增的数字，而是一个SHA1计算出来的一个非常大的数字，用十六进制表示。

5、版本回退

在Git中，用HEAD表示当前版本。上一个版本就是HEAD^，上上一个版本就是HEAD^^，当然往上100个版本写100个^比较容易数不过来，所以写成HEAD~100。

使用 git reset 进行版本回退。 git reset --hard HEAD^ git reset --hard 3628164版本号没必要写全，前几位就可以了，Git会自动去找。当然也不能只写前一两位，因为Git可能会找到多个版本号，就无法确定是哪一个了。

6、查看修改状态

git diff #是工作区(work dict)和暂存区(stage)的比较 git diff --cached #是暂存区(stage)和分支(master)的比较 git status #查看修改状态用git diff HEAD -- filename 命令可以查看工作区和版本库里面最新版本的区别。

7、撤销修改

命令git checkout -- readme.txt意思就是，把readme.txt文件在工作区的修改全部撤销，这里有两种情况：一种是readme.txt自修改后还没有被放到暂存区，现在，撤销修改就回到和版本库一模一样的状态；一种是readme.txt已经添加到暂存区后，又作了修改，现在，撤销修改就回到添加到暂存区后的状态。总之，就是让这个文件回到最近一次git commit或git add时的状态。

8、关联远程仓库

git remote add origin git@gitlab.intra.XXXX.com:ppy/LearnGit.git 添加后，远程库的名字就是origin，这是Git默认的叫法，也可以改成别的，但是origin这个名字一看就知道是远程库。

9、把本地库的内容推送到远程库中

git push -u origin master 由于远程库是空的，我们第一次推送master分支时，加上了-u参数，Git不但会把本地的master分支内容推送的远程新的master分支，还会把本地的master分支和远程的master分支关联起来，在以后的推送或者拉取时就可以简化命令。此后，每次本地提交后，只要有必要，就可以使用命令git push origin master推送最新修改。

10、创建分支

$ git checkout -b dev git checkout命令加上-b参数表示创建并切换，相当于以下两条命令： $ git branch dev $ git checkout dev

11、删除分支

git branch -d dev

12、查看所有分支

git branch

13、合并某分支到当前分支

git merge <name>

14、仓库克隆

当你从远程仓库克隆时，实际上Git自动把本地的master分支和远程的master分支对应起来了，并且，远程仓库的默认名称是origin。要查看远程库的信息，用git remote。或者用git remote -v显示更详细的信息。

15、使用Git进行多人协作

多人协作的工作模式通常是这样：首先，可以试图用git push origin branch-name推送自己的修改；如果推送失败，则因为远程分支比你的本地更新，需要先用git pull试图合并；如果合并有冲突，则解决冲突，并在本地提交；没有冲突或者解决掉冲突后，再用git push origin branch-name推送就能成功！如果git pull提示 “no tracking information”，则说明本地分支和远程分支的链接关系没有创建，用命令git branch --set-upstream branch-name origin/branch-name。这就是多人协作的工作模式，一旦熟悉了，就非常简单。

上述建立分支链接的命令已经过时，使用下面的命令建立本地与远程仓库的链接。 git branch --set-upstream-to=origin/rented_branch_name local_branch_name

第一个博客

2020-07-17T00:00:00+08:00

这是我的第一个博客，主要用作测试。

如下文件夹中除了 template.md 文件外，都可以全部删除，然后添加你自己的内容。

_posts 文件夹中是我已发布的博客文章。
_drafts 文件夹中是我尚未发布的博客文章。
_wiki 文件夹中是我已发布的 wiki 页面。
images 文件夹中是我的文章和页面里使用的图片。

修改「关于」页面。 pages/about.md 文件内容对应网站的「关于」页面，里面的内容多为个人相关，将它们替换成你自己的信息，包括 _data 目录下的 skills.yml 和 social.yml 文件里的数据。