Linux下搭建iSCSI共享存储的方法 Linux-IO Target 方式CentOS7-1810下实现

iSCSI（internet SCSI）技术由IBM公司研究开发，是一个供硬件设备使用的、可以在IP协议的上层运行的SCSI指令集，这种指令集合可以实现在IP网络上运行SCSI协议，使其能够在诸如高速千兆以太网上进行路由选择。iSCSI技术是一种新储存技术，该技术是将现有SCSI接口与以太网络(Ethernet)技术结合，使服务器可与使用IP网络的储存装置互相交换资料。

iSCSI分为服务端和客户端，服务端需要安装scsi target用来共享存储设备，客户端需要安装iscsi initiator用来连接target端，将target端共享的设备挂载到initiator本地，可以对其进行分区，格式化等操作

一、iSCSI实现数据的访问需要的条件：

1、iSCSI客户端具有的特性：
iSCSI initiator是发起I/O操作的启动者；需要通过发现过程请求远端快设备；可以与target进行持久连接；在Linux系统中可以使用iscsi-initiator-utils软件包来模拟实现；

2、iSCSI服务器端具有的特性：
iSCSI target是I/O操作的执行者；需要导出一个或多个块设备供启动者（initiator）使用；在Linux系统中可以使用两种target工具，分别为tgt，和targetcli，这里先介绍TGT的方法，TGT是Fujita Tomonori于2006年底将SCSI Target Framework (STGT/TGT) 引入Linux内核。它在内核中有一个库，可协助内核控制目标驱动程序，TGT是用户态实现的iscsi target，所有目标处理都在用户空间进行。在2010年底，LIO(Linux-IO)项目被选择来代替TGT作为内核态实现的iscsi target。当选择LIO替换TGT时，它的实现已经进行了调整，以允许TGT用户空态模块继续运行，因此TGT社区支持在内核中包含LIO。在Linux内核 2.6.38 之前都是TGT。

3、iSCSI 命名规则
iSCSI 使用全球唯一的名称标识 iSCSI 设备（目标或启动器）。此名称类似于与光纤通道设备相关联的全球名称 (WWN)，可作为一种通用的设备识别方式使用。
iSCSI 名称有两种不同格式。第一种是通过iSCSI限定名以 iqn.开头通常称为“IQN 名称”。第二种是通过企业唯一标识符，以eui.开头也称为“EUI 名称”，此方法不常用。
有关 iSCSI 命名要求和字符串配置文件的更多详细信息，请参见 IETF 网站上的 RFC 3721 和 RFC 3722。

iSCSI 限定名
iSCSI 限定名采用 iqn.yyyy-mm.naming-authority:unique name 的形式，其中：
yyyy-mm ：
表示“年份-月份“，是公司成立的年份和月份，这里的公司一般为安装软件的这个公司，当然了可以随意选个时间

naming-authority ：
通常是公司的 Internet 域名的逆转格式。例如，pipci 公司的 iSCSI 限定名形式可能是 iqn.2018-01.cc.pipci.iscsi。此名称表示 pipci.cc域名于 2018 年 1 月注册，iscsi 是pipci.cc的子域，子域名可有可无。

unique name：
是希望使用的任何名称，如主机的名称或sn号。必须确保在冒号后面分配的任何名称都是唯一的，例如：

iqn.2018-01.cc.pipci.iscsi:host1
iqn.2018-01.cc.pipci.iscsi:name1
iqn.2018-01.cc.pipci.iscsi:sn1999

企业唯一标识符
企业唯一标识符采用 eui.<16 hex digits> 的形式。
例如，eui.0123456789ABCDEF。
16 位十六进制数字是 IEEE EUI（扩展唯一标识符）格式的 64 位数的文本表示形式。前 24 位是 IEEE 向特定公 司注册的公司 ID。后 40 位由持有该公司 ID 的实体分配，并且必须是唯一的。 在许多情况下，人们都会选择 IQN 格式，而不是 EUI 格式，因为 IQN 格式方便阅读，并且是一种更友好的名 称分配方式。

二、iSCSI initiator发现iSCSI target的过程：

ISCSI initiator按照配置文件/etc/iscsi/iscsid.conf中配置的相应项目利用iSCSI的发现机制在网络中收索目标设备target
ISCSI target将返回有效的iqn名称给iSCSI initiator
ISCSI target按照配置的验证方式接受initiator的登录并返回目标设备target标识
ISCSI initiator发生查询请求给target请求查询target的相关信息
target响应initiator的查询请求，并将设备的有关信息返回给initiator
initiator创建可以的目标设备target列表

三、iSCSI设备的特性：

支持ACL（访问控制列表）
支持两种挑战握手协议CHAP（ChallengeHandshake Authentication Protocol）的认证方式
支持多通道（multipath）
支持sendtargets发现机制
支持动态目标端发现
具备异步事件通知入口
支持即时数据更新
支持动态设备重配
支持自动挂接iSCSI技术
支持IPV6技术

四、iSCSI设备名称
iSCSI设备在iSCSI启动端（Initiator）导入的时候，其内核将按当前的设备情况给iSCSI设备分配一个本地SCSI设备名（例如/dev/sda或/dev/sdb等），如果导入的iSCSI设备已被分区，在导入iSCSI设备建立本地SCSI设备的同时也会建立相应的分区设备名（例如/dev/sda1、/dev/sda5等等），但要注意的是此SCSI设备名并不是每次导入是都是固定的，比如你的主机之前没有/dev/sda设备，你导入了iSCSI设备，其被内核命名为/dev/sda;之后你将其取消了导入，并重新挂接了一个热插拔设备（如U盘或移动硬盘），这个热插拔设备占据的/dev/sda设备；你又从新导入了iSCSI设备，此时其被内核分配的设备名就成了/dev/sdb。

五、为什么要搭建iSCSI共享存储，因为穷！！！，如果有钱最好的方法是买一台真正的存储，因为没钱还要做很多需要共享存储才能测试的功能，比如 Oracle RAC ，虚拟化的HA等都需要一台共享存储，下面将介绍通过Linux 软件来实现iscsi目标器，从而自己搭建一台iscsi存储，组建iscsi

六、Linux-IO简介
Linux-IO Target在Linux内核中（linux 2.6.38后），用软件实现各种SCSI Target，其支持的SAN技术中所有流行的存储协议包括Fibre Channel（Qlogic，linux3.5）、FCoE（linux3.0）、iSCSI（linux 3.1）、iSER (Mellanox InfiniBand，linux3.10), SRP (Mellanox InfiniBand，linux3.3), USB等，同时还能为本机生成模拟的SCSI设备，以及为虚拟机提供基于virtio的SCSI设备。Linux-IO Target使用户能够使用相对廉价的Linux系统实现SCSI、SAN的各种功能，而不用购买昂贵的专业设备。

1. 架构

上图显示了Linux-IO Target的各个组件。LIO模拟了通用的SCSI设备，并且实现了SPC-3和4。接着，通过各种各样的backstore对象，来导入真正的后端存储，最后连接上各种前端Fabric模块，来导出模拟的SCSI设备。无论是Fibre Channel、FCoE、iSCSI还是vhost（即virtio），都只是一种Fabric技术，我们可以将其理解成传输协议，而在这些传输协议中传输的SCSI命令则总是由核心的SCSI设备处理的。要支持新的Fabric技术，并不需要修改核心的SCSI设备和后端存储模块，只需要按照该Fabric技术的规范实现对SCSI命令的传输就可以了。iSCSI技术就是把SCSI命令放在TCP/IP中传输，vhost技术就是把SCSI命令放在virtio队列中传输。

Generic Target Engine：实现了SAM中规定的一个SCSI target的功能，主要是SCSI协议的解析。它通过Fabric模块和initiator通信，通过backstore和具体的存储设备通信。Fabric modules：实现了LIO的前端，即SCSI协议传输层的模块。可以通过Fabric Hardware Abstraction Layer(F-HAL)来为LIO增加新的fabric模块。

Backstores：实现了LIO的后端，即访问磁盘数据的方式。可以通过Storage Hardware Abstraction Layer（S-HAL）在LIO中增加新的存储硬件的支持。通常使用BLOCKIO和FILEIO。

2. 使用方法

Linux-IO Target则在内核态实现了对Target的模拟，配置管理则采用了更为“现代化”的基于sysfs的方式，提供了友好的用户态管理工具。从内核的2.6.38版起，Linux内核都包含Linux-IO Target的相关模块。在用户态，各大发行版都打包了targetcli和rtslib，其中targetcli程序用于配置、管理，rtslib则提供Python编程接口。

以iSCSI为例，Linux-IO Target的配置结构如图1所示。处于最后端的是各种各样的Linux的存储设备。Linux-IO Target支持的后端存储设备包括Ramdisk、通用块设备和文件，也可以直接映射本地SCSI设备。Linux-IO Target通过创建backstore存储对象来导入这些存储设备。它可以使用各种SAN传输技术来导出这些存储对象。首先，基于某种SAN技术（例如iSCSI）创建一个Target。接着，在Target里创建一个TPG（Target Portal Group）。每个Target下可以创建多个TPG，每个TPG包含了一组入口（Portal）。然后在TPG里创建LUN，并将特定的存储对象与特定的LUN关联起来。最后在TPG里创建一个或者多个入口，对iSCSI来说，每个Portal就是一个IP地址和端口的组合。为了更精确的控制对LUN的访问，还可以在TPG之下创建各种ACL规则。

targetcli
targetcli是Linux-IO Target的用户态的管理配置工具。用户可以使用yum或apt-get直接从各大发行版的官方仓库安装，对于较老的linux版本需要自己编译源码安装。targetcli提供一个类似shell的界面，各种Target、TPG、LUN、backstore对象则被组织成目录树的形式，用户可以用ls、cd命令来浏览目录树，用create、delete命令来创建和删除各种对象。浏览配置，就是浏览目录树，创建删除各种对象，就是在目录树的各级节点中创建新的节点。同时targetcli还提供了常见的shell命令辅助编辑功能，例如TAB智能补全、上下键切换命令历史、Ctrl + R搜索命令历史。凡是有不熟悉的命令，都可以用help命令查询使用说明。其实，对于我们来说，配置LIO主要就是使用targetcli

rtslib
rtslib是一个Python程序库，让用户可以以编程的方式配置Linux-IO Target的各项功能。rtslib中的对象也被组织成树状结构，并且与我们在targetcli中熟悉的各种对象也很相似。熟悉了targetcli的操作之后，用rtslib编程就变得十分容易

七、安装配置工具targetcli

--------------------------------------------------
[root@CentOS7 ~]# yum -y install targetcli 　　　　　　 #安装软件

[root@CentOS7 ~]# systemctl enable target.service 　　 #设置服务程序target开机启动，默认不启动，很重要
[root@CentOS7 ~]# systemctl start target.service 　　      #启动服务程序target，很重要

--------------------------------------------------
安装完targetcli将会生成/etc/target/saveconfig.json用于保存配置，在安装完程序后必须执行systemctl enable target.service设置服务程序target开机启动，同时启动这个服务。否则配置完的数据不能保存到/etc/target/saveconfig.json文件中，重启系统后进入targetcli命令后将不能看到上次创建的target配置。

八、关闭防火墙或开启TCP 3260 端口，LIO通过TCP的3260端口来进行数据的传输

九、使用targetcli创建后端存储对象
targetcli命令有两种模式，一种是交互式模式，一种是命令行模式。输入targetcli 回车就进入交互式模式，进入交互式模式可以使用ls,pwd,cd等命令
--------------------------------------------------
1. targetcli初始提示
[root@CentOS7 ~]# targetcli
Warning: Could not load preferences file /root/.targetcli/prefs.bin.
targetcli shell version 2.1.fb49
Copyright 2011-2013 by Datera, Inc and others.
For help on commands, type 'help'.

/>　　　　　　　　　　　　　　　　 #在这里按2次TAB键可以查看所有可用的命令，在每个目录下都可以通过这种方式查看可用的命令
* / @last backstores/ iscsi/ loopback/ vhost/ bookmarks
cd clearconfig exit get help ls pwd refresh
restoreconfig saveconfig sessions set status ve