优酷美女热舞视频优酷网下载到Ds卡上，文件出现OTHER
点击联系发帖人
时间：2015-02-06 13:18
8LUN-WENDU 1、8路DS18B20采集温度数据
2、LCD显示对应的 Other windows programs 其他小程序 218万源代码下载-
&文件名称: 8LUN-WENDU& & [
& & & & &&]
&&所属分类:
&&开发工具: Others
&&文件大小: 76 KB
&&上传时间:
&&下载次数: 0
&&提 供 者:
&详细说明：1、8路DS18B20采集温度数据
2、LCD显示对应的温度-1, 8 road DS18B20 collecting temperature data
2, LCD display the corresponding temperature
文件列表(点击判断是否您需要的文件，如果是垃圾请在下面评价投诉):
&&8LUN WENDU\DS18B20WithLCD1602.h&&..........\Last Loaded 数字温度传感器DS18B20的应用.DBK&&..........\Text1.c&&..........\Text1.LST&&..........\Text1.OBJ&&..........\数字温度传感器DS18B20的应用&&..........\数字温度传感器DS18B20的应用.DSN&&..........\数字温度传感器DS18B20的应用.hex&&..........\数字温度传感器DS18B20的应用.lnp&&..........\数字温度传感器DS18B20的应用.M51&&..........\数字温度传感器DS18B20的应用.opt.bak&&..........\数字温度传感器DS18B20的应用.plg&&..........\数字温度传感器DS18B20的应用.PWI&&..........\数字温度传感器DS18B20的应用.Uv2.bak&&..........\数字温度传感器DS18B20的应用.uvopt&&..........\数字温度传感器DS18B20的应用.uvproj&&..........\数字温度传感器DS18B20的应用_Opt.Bak&&..........\数字温度传感器DS18B20的应用_Uv2.Bak&&..........\数字温度传感器DS18B20的应用_uvopt.bak&&..........\数字温度传感器DS18B20的应用_uvproj.bak&&8LUN WENDU
&输入关键字，在本站218万海量源码库中尽情搜索：58cv网址导航非常经典的存储学习文件大家好，茫茫人海，有缘相见，荣幸，我不是高手，写出来请大家纠正错误，共同提高，大 家都有强项，希望互相续学习，取长补短。现在把我学存储备份的一些经验共享，曾经绕了不少弯道，请教了不少高手，挨了不少熊， 不容易学了些东西，还不知道对不对，希望大家多纠正错误，就是这个目的了。(此帖由冬 瓜头 qq 原创，转贴
请注明，谢谢！痛斥剽窃行为！）关于为什么要存储备份，我就不说了，见谅！(此帖由冬瓜头 qq 原创，转贴请注 明，谢谢！痛斥剽窃行为！） 现在企业部署数据网络，一般有三中方式，先说 das，das 就是直接把存储设备挂在各个节 点上，数据分别存放在各个节点的存储设备上，比如，一个 hub 接着 5 台 pc，80G 硬盘，这 就叫 das，其实没什么特别的，我要存文件，可以放在我的机器上，也可以放在其他机器的 共享盘上，就是把分区共享，都会吧，呵呵，这就是 das 了，没法管理，因为太分散，每个 人都可以把共享关掉，你没辙，呵呵。(此帖由冬瓜头 qq 原创，转贴请注明，谢 谢！痛斥剽窃行为！）再说说 nas， nas 其实就想当一台拥有超大硬盘容量的 pc 机在以太网络上放着， 当成文件服 务器，就这样，只不过，它单独做成和 pc 不一样的外观，磁盘插槽较多，一般做成 raid5， 一般内嵌 windows storage server（有的也是普通 2000 的 server）操作系统，响应以太网 的客户请求，每台节点都能看见，当作文件服务器用，可以作为 windows，unix，macos， netware 等系统的网络文件系统。这就是 nas。(此帖由冬瓜头 qq 原创，转贴请注 明，谢谢！痛斥剽窃行为！）san 是与前两者截然不同的所谓的“网络”，其实不是传统意义上的网络，它只是把 scsi 数据线延长、用 fc（光纤通道）协议封装，以便传输更快更远。并且做成交换模式而已， 所以叫存储区域网络，而不是主机网络，只能跑数据流，而不像以太网络那种真正的网络， san 就是一个“后方网络”，也可以叫第二网络，第一网络是 lan，lan 直接面对客户端请 求，san 的诞生是为了跑数据流更快。(此帖由冬瓜头 qq 原创，转贴请注明，谢 谢！痛斥剽窃行为！）以前传统的通过 Lan 的数据存储方式是：单独设立一台备份服务器，又称 Backup Server， 安装备份服务器端软件 （在安装的同时， 自动安装了 media server， 也就是说 backup srever 也是 media server）；存储磁盘阵列或者磁带机单独连接在一台机器上，作为介质服务器 （拥有备份介质的节点），安装 Media Server 端软件，这台介质服务器一般就是 backup server 兼作，除非想实施多介质服务器分流；其他需要备份数据的节点安装备份客户端软 件（也称 client agent 代理）；在服务端制定备份策略，客户端负责与服务端的通信，包 括节点的目录结构，状态等，备份开始时，服务端发起备份，客户端接受备份指令，把节点 数据通过以太网 lan，传给 Media Server，然后 Media Server 主机将接受到的数据写到他 连接的存储设备上。在基于 LAN 的备份中， 也可以有多个 media server, 可以指定那些 client 数据通过特定 media server 写到相应的存储设备上。 这样， 以太网将承受很大负担， 不但接受访问请求通过 lan，备份数据流也通过 lan 走，影响了性能。(此帖由冬瓜头 qq 原创，转贴请注明，谢谢！痛斥剽窃行为！）现在，san 的诞生解决了只有一个 lan 的紧张状态，使得生产前线和后台备份分开，走两个 网络，互不干扰，当然也可以用第二套以太网络代替 san，但是 san 是基于光纤链路的，速 度快，一般结构是：中心一台光纤交换机，存储阵列和磁带设备都单独连接到光交换机上， 磁带设备对任何节点可见，任何节点都可以访问他们（当然要装驱动），所以任何节点都拥 有备份介质，都是 Media Server。对于主机，要有 hba 卡，用于接光纤，就像用以太网卡 接双绞线一样。hba 卡有个 wwn 号，就类似与网卡的 mac 地址。磁盘阵列上一般要先划多组 raid，划好后，划分逻辑卷大小，一个逻辑卷就叫一个 lun，一般一个 lun 不能跨 raid 组， 这些 lun 可以设定让哪些 wwn（hba 卡对应的号码）看到，对应的主机开机后，便会认出新 加物理磁盘 （其实是阵列上的 lun）在 aix 下， 被认成 vpath。 ， lun (此帖由冬瓜头 qq 原创，转贴请注明，谢谢！痛斥剽窃行为！）san 备份，同样需要一台备份服务器，安装服务器端软件，其他节点安 Meida Server 端软 件，对于 Veritas 公司的说法，还要安装 SSO 选件，SSO 是指：share storage option（共 享存储选件，就是指 san 的环境），作用是用来仲裁共享的设备，因为 san 上的盘阵，磁带 机都是对任何节点可见的，这样就需要来协调，不至于发生节点抢资源造成冲突的情况。同 样服务端发起备份指令，客户端接收执行，但是这次，客户端直接将数据从本节点（media server，也是生产主机，客户机）写入备份设备，因为，san 上，任何节点都能看到磁带库 设备，都是 Media Server，这就是所谓的 lan free 备份，如果有些数据可以直接从盘阵拷 贝到磁带 （盘阵和磁带库都独立的接到 san 交换机上） 那么完全不用主机插手， ， 叫做 server free 备份。(此帖由冬瓜头 qq 原创，转贴请注明，谢谢！痛斥剽窃行为！）下面是 Veritas 公司各种选件说明：1. Remote Agent (CAL) 选件， 就是所谓的 client agent 选件， 包括 windows、 linux、 netware、 macos 等版本。2. 介质服务器选件，安装在介质服务器上的选件。 其中又包括：(此帖由冬瓜头 qq 原创，转贴请注明，谢谢！痛斥剽窃行为！） a. 中央管理服务器选件 (CASO） 为多台 Backup Exec 介质服务器提供简化的集中管理 。它是强大的可扩展解决方案，能够 集中管理大量 Backup Exec 介质服务器的运行、负载平衡、容错、监控和报告。这些服务器 可能位于 Windows 数据中心或分布在整个网络，或者位于远程办公室。借助中央管理服务 器选件，用户可以简单地增加和管理 Backup Exec。b.高级磁盘备份选件 (ADBO) (此帖由冬瓜头 qq 原创，转贴请注明，谢谢！痛斥 剽窃行为！） 通过基于磁盘的高级备份和恢复，包括合成备份、脱机备份，可以实现更快的备份和恢复， 进行零影响的备份。 合成备份可以缩短备份时间，减少网络带宽需求，而且不会影响原始 客户端。此外，合成备份使用户能够从一个备份映像进行快速的客户端恢复，而无需从多盘 磁带和增量备份进行恢复。脱机备份功能能够在 Backup Exec 介质服务器上（而不是在远程 计算机或生产主机上）处理备份操作，从而提高备份性能，解放远程计算机。(此帖由冬瓜 头 qq 原创，转贴请注明，谢谢！痛斥剽窃行为！）c.ADVANCED OPEN FILE OPTION? （高级打开文件选件） 确保本地或远程服务器上的文件在被使用过程中也能受到保护。VERITAS Backup Exec 的 Advanced Open File Option 能够在卷的级别上处理打开的文件，并且无缝集成到 Backup Exec 软件中。使用本选件，您无需提前知道哪些文件是打开的，只需点击鼠标，设定预定 备份即可。此外，它还能在一次作业中备份多个卷，利用依次创建各个逻辑卷在某个时间的 快照来进行。 在创建逻辑卷快照并进行备份之后， 这个快照会在创建下一个逻辑卷快照之前 删除。该选件提高了最小化快照所需静默时间的能力。(此帖由冬瓜头 qq 原创， 转贴请注明，谢谢！痛斥剽窃行为！）d.DESKTOP AND LAPTOP OPTION （台式机和笔记本选件） 大多数企业都依靠用户手动将关键业务数据复制到服务器。 如果用户没有遵照执行， 存储在 员工工作站、台式机、笔记本电脑上的大多数关键业务信息就得不到保护。DLO 能够为台式 机和笔记本电脑提供持续的数据保护，无论是在办公室，还是在路途中。这种选件不仅能够 改进数据保护和效率， 还使用户能够恢复自己的文件， 保持多台台式机和笔记本电脑之间的 同步，从而使所有用户的电脑都能保持最新的文件版本。Desktop and Laptop Option 不需 要专用的独立服务器，能够很轻松地集成到现有的 IT 基础设施和策略中，从而降低总投资 成本。Backup Exec 内部的全新推送式安装功能可以进行软件的集中部署。(此帖由冬瓜头 qq 原创，转贴请注明，谢谢！痛斥剽窃行为！）3. 各种数据库代理，如 oracle 代理，exchange 代理，notes 代理，这些代理能实现针对数 据库或应用软件深层的比如表结构，某封邮件进行备份，而不只是文件层次的备份。(此帖 由冬瓜头 qq 原创，转贴请注明，谢谢！痛斥剽窃行为！）4. INTELLIGENT DISASTER RECOVERY? OPTION （智能灾难恢复选件） 作用类似于 ghost，能利用他生成系统恢复磁带或者光盘，当系统崩溃时，直接用磁带或者 光盘启动系统，进行快速恢复。5. LIBRARY EXPANSION OPTION? （磁带库扩展选件） 任何 Backup Exec 介质服务器都可以连接到不限数目的独立磁带机， 或者在一个物理或虚拟 磁带库、自动加载磁带机、介质更换机中的物理或虚拟的磁带机。但是，要使用这些超过一 个磁带机的设备时，都需要购买另外的磁带库扩展选件（LEO）来支持每一个额外的磁带机。 这个就有点赖皮了，呵呵。(此帖由冬瓜头 qq 原创，转贴请注明，谢谢！痛斥剽 窃行为！）6. SAN SHARED STORAGE OPTION? （SAN 共享存储选件）(此帖由冬瓜头 qq 原创， 转贴请注明，谢谢！痛斥剽窃行为！） 借助这种脱离 LAN 的强大备份解决方案， 多台分布式备份服务器能够集中通过交换式光纤存 储网络或 iSCSI 存储区域网络 （SAN） 连接的存储设备， 提高性能、 效率和容错率。 Shared SAN Storage Option 能够跨越多台共享设备来实现作业（来自多台 Backup Exec 服务器）之间 的负载平衡。它能够改进性能、备份速度和集中的介质管理，有助于降低总投资成本。SAN Shared Storage Option 是一种具有突破性的解决方案，可以提高大型高端存储环境的可管 理性和性能。 这个就是 SSO。(小知识：作 raid 需要有 raid 卡，raid 卡的作用是协调多块硬盘之间的数据走向，计算各 个 raid 模式下，各硬盘应走多少数据。raid 卡可以是集成在主板上，也可以单独一块 pci 卡。有的 raid 卡上面带硬盘接口，比如 scsi，sata，ide，硬盘必须插到卡上；而有的 raid 卡不硬盘带插口，插到主板上，自动接管了硬盘通道，硬盘还是接到主板上。 不要将 raid 卡和 scsi 卡弄混， scsi 卡是为了解决主板上没有 scsi 接口而生的， scsi 硬盘需要接到 scsi 卡上或者主板的 scsi 口。有的 scsi 卡也集成了 raid 功能，就是二合一卡。1. raid0 比如有两块盘，100M 的文件，现在想把文件写到盘上，可以写到任何一块盘上， 比如写到 A 盘，耗时 10 秒；现在如果这样，通过计算，把 100M 的数据分成两个 50M，每个 盘各写 50M，这样总耗时：5 秒，是不是快了，当然实际肯定高于 5 秒，至少比写到一块盘 快。同样读数据也是这样，从两块盘并行读，是不是也必一块盘要快呢？这就是 raid0，任 何大于 2 块数量的磁盘就可以作 raid0，如果磁盘容量不一样，比如一块 40G，一块 80G， 不会浪费任何空间（仅限 raid0 模式），这样两块盘作 raid0，总容量最后就是 40G＋80G ＝120G。一般情况，raid0 容量＝各个盘容量之和。raid0 是所有模式中速度最快的。也是 安全性最低的，因为数据都分割了存放，任意一块盘损坏，数据全部丢失。无任何安全性可 言。2. raid1 为了实现数据冗余，防止一块盘损坏，数据就全丢失的情况发生，将一份数据同 时写到两块盘上，任何一块盘损坏，另一块块盘在线接管。所以 raid1 也叫镜像 raid。是 所有模式中速度最慢的， 因为数据要同时写两块盘。 但是安全性是最高的。 无任何速度可言。 任意偶数块盘就可以作 raid1。如果磁盘容量不一样，最终按照容量最小的盘算。raid1 总 容量＝最小容量 X 磁盘数量÷2。3. raid0+1(也称 raid10） 比如这样：两块盘先作 raid0，然后再找两块盘，将原来做好的 raid0 中数据复制一份到自己，与原来的 raid0 做成 raid1；或者两块盘先作 raid1，然后 再找两块盘，分担数据流量，与原来的 raid1 做成 raid0，这样就组成了 raid10。这种模式 是所有模式中性能和安全性都最好的一种，但是成本是最高的。4. raid3 顾名思义 raid3 就是最少需要 3 块盘组成，原理是这样的：和 raid0 一样，数据 分割，并行写入各个磁盘，除了其中一块磁盘，这块盘叫做奇偶校验盘（一般用 P 表示）， 单独存放奇偶校验信息，所谓奇偶校验，就是：因为数据被分割了存放，所以可以根据这些 分割的数据来做一个恢复措施， 利用我这边的数据和你那边的数据算出一些信息， 如果任意 一边数据丢失， 通过另一边的现存数据和事先算好的信息， 就可以再生成丢失的数据。 这样， 如果任何一块盘损坏， 都可以根据另外的磁盘重新生成坏盘上的数据， 不管损坏的是数据盘， 还是校验信息盘。由于校验信息占用空间不大，所以只需一块盘就够了，信息都放在这块盘 上，这样既实现了 raid0 的速度（比 raid0 稍慢），又实现了 raid1 的安全（raid1 是纯数 据的镜像，raid3 是利用奇偶校验信息，占用空间小），成本又相对低廉，何乐而不为？但 是如果同时（同一时刻）坏掉两块盘，数据就完了。raid3 总容量＝容量总和－P 盘容量。5. raid5 raid5 是 raid3 的升级版本。 raid3 有个缺点：作为存放校验位的硬盘，工作负 荷会很大，因为每次写操作，都会把生成的校验信息写入该磁盘，而其它磁盘的负荷相对较 小，这会对性能有一定的影响。raid5 是：当向阵列中的磁盘写数据，奇偶校验数据均匀存 放在阵列中的各个盘上，其他和 raid3 一样。现在 raid5 是应用最普遍得一种模式。小知识： 热备盘（hot spare 盘，又称 S 盘）。刚才说了，任何模式的 raid 阵列，如果同 一时刻坏掉两块以上得盘，数据就完了（raid0 坏一块就完了），但是这种情况一般不会发 生，除非人为或者不可抗力引发，那么我们就不管了吗？不行！如果某天，raid 阵列有一 块盘损坏，而没有采取措施（比如没有多余备用硬盘，或者周末，无人），那么过一段时间， 如果又坏了一块，咋办？哭吧你就！虽然同一时刻坏多块盘的情况很少，但是同一时期坏盘 的几率就很大很大，因为硬盘生产批次，所处环境都一样。那么怎么避免这种情况发生呢？ 热备盘就派上用场了。热备盘就是为了一块盘损坏后，无人值守情况下，自动补上坏盘的位 置，数据重新生成在这块新盘上。可以设多块热备盘，有的阵列可以只设一块热备盘，供阵 列中所有的 raid 组（就是按照一个 raid 模式所作的 raid)使用，有的就只能每个 raid 组 都必须设一块热备盘（IBM 的就是这样）。 可能有人有个疑问：在 raid5 或者 3 中，如果 一块盘坏了，坏的数据怎么继续读出？是这样的：损坏的数据是一边校验，一边传送给外部 的，这样其实是很危险的，万一再坏一块盘。。。。。6. raid5E 为了防止没有热备盘的情况下先后坏掉多块盘引起的数据丢失，一旦某块盘损 坏，不像 raid5，只有再请求数据读写的时候，现场生成数据流，发送给外部，这些数据没 有存放起来，raid5E 将损坏的数据重新校验生成，压缩存放在其他盘上的未使用的空间上 （这些未使用的空间，系统是认不到的，没有参与 raid 的建立，没有条带化，不属于 raid 组），这样就和 raid5＋S 差不多，只是 S 被均匀分部到了其他盘上。这样的话，先后坏两 块盘，同样能保持运行。raid5E 中不存在热备盘，只是每块盘上划出一些空间，用作热备 而已，所以整个 raid 模式还是 raid5（不带 S 盘）级别。7. raid5EE 与 raid5E 相比，raid5EE 是完全携带了 S 盘，不过这个 S 盘不是真正的一块物 理盘，而是均匀分部在其他盘上，S 空间参与了条带化，属于整个 raid 组的一部分，这样 恢复数据更有效率，其他和 raid5E 一样。小知识：一些售前工程师专业的术语。x＋s＋p：raid5 中的术语，x 块盘是数据盘，一块 s 盘, 一块 p 盘（实际不是一块物理盘都是热备，p 被均匀分部各盘上，而是他占用了一块盘 的空间而已，严格来说，数据盘也就是 x＋1 块了）。这次说说磁盘阵列柜什么是磁盘阵列柜，就不说了，见谅！针对不同的硬盘接口，阵列柜有不同的内部接口，比如 scsi，sata，fc（光口），ssa（串 行 scsi 接口）接口，除了内部接口（接硬盘用的），阵列柜还得有个外部接口，包括 scsi， ssa，fc，iscsi 接口。现在企业级用户一般用 fc－fc（内接口－外接口）的盘阵. 这里终点讲讲 iscsi，iscsi 就是 scsi over ip，将 scsi 协议封装到 ip 包中，通过 lan 双 绞线传输，以克服 scsi 传输距离短的缺点，而且方式变得灵活，毕竟以太网及 ip 都是非常 成熟的技术。iscsi 分为 initiaor 端（发起端）和 target 端（目标端）。 initiaor 端是 主机端，适配器可以是专门的 iscsi 卡，价格昂贵；也可以用普通网卡，安装 iscsi 的 initiaor 驱动，用软件模拟硬件的 iscsi，这个驱动微软免费提供。target 端指得就是阵 列端，也有用软件模拟 target 的，名称叫做 wintarget，付费软件，装到一台主机上，主 机的硬盘（不管什么接口）就成了 iscsi target。阵列柜一般由这两种柜组成：自带 raid 控制器的机头（server enclosure），和不带 raid 控制器的扩展柜（enclosure）。两种柜子里面都有一定数量的磁盘槽位。后者只是一个柜子而已，一般作为机头（稍后讲）的扩展柜，机头可以带领多个扩展柜。如 果单独用后者作为存储设备，需要主机额外购买 raid 控制卡，通过主机上的 raid 控制卡， 对盘柜中的硬盘进行 raid 组划分，逻辑单元（lun）的划分，这个过程可以在 windows 环境 下通过盘柜提供的管理软件来做，也可以通过提供的光盘引导主机后，进入管理界面来做 （IBM 的 server raid 盘）。一个典型的例子就是 ibm 的 exp300 扩展柜（其对应的机头是 fastT 系列的），外部 scsi 接口，主机上用 6M 的阵列卡（二合一），scsi 接口，对其作 raid 控制。前者，机头，是阵列的控制器所处的柜子，其上背板的接口分为两部分，一部分用来与扩展 规作级联，扩展容量，接口类型按照型号不同，可以是 scsi，fc，ssa 等；另一部分用来与 san 交换机或者主机连接，一般是 fc 口，而且有多个，用来做冗余，连接到多台 san 交换 机，或者同一个主机上的两块 hba 卡，这样可以做到冗余并且负载均衡。高端一些地机头，一般都有电池后备系统，仅仅用来支持系统缓存板（一般都是 G 级别的） 中数据缓存，以至于断电的时候不至于丢失数据，所有数据的读写都是先通过缓存，缓存容 量一般 1G 或者 2G，写数据的时候，客户发出写的命令时，其实是先写道缓存，然后阵列通 知用户写动作结束，写入成功，因为是写到缓存，所以对用户来说，速度是很快的，其实， 这时候，缓存正准备向磁盘写入，如果磁盘写入成功，那么缓存方能删除此次的数据，如果 此时突然断电，磁盘写失败，那么缓存便知道发生灾难，电池会继续保持缓存中数据和待处 理的写动作，等待来电时继续执行。对于 IBM 的 DS6800 系列，电池可以支持 72 小时。DS6800 机头是一个双控制器，双电池后备板，双电源，4 个 host access 口的机头，每个控 制器可以连接 7 个扩展柜， 但是机头中的磁盘已经属于一个控制器带了， 所以这个控制器在 外部，还能带 6 个，另一个控制器带 7 个，所以一共是 14 个柜子（包括了机头），每个柜 子最多放 16 块盘，这样一共 224 块盘的容量。 下面说说 raid 和 lun 的问题，因为机头上有控制器，所以，可以通过机头来管理 raid，而 不需要额外的 raid 卡。机头背面有以太网接口，可以通过以太网连接到机头，有的可以直 接通过 telnet 就可以完成配置， 有的则需要在主机上安装相应的管理软件， 然后连接机头， 做相应配置。机头的 ip 地址由厂家预先设好，可以自己改，通过串口，用超级终端通信。 阵列的配置，无非就是先选好几块盘，作 raid 组，然后在 raid 组上，划分 lun，大小自定； 然后作 group，可以是 raid 组 group、lun group，主机 group 等，就和 windows 系统中的 用户组一样，为了方便管理；然后作主机 map（映射），或者叫 host attachement，所谓 map 就是说让哪个或者哪个组（哪些）主机能看到相应的 lun，或 lun group，设定好 map 后，主机开机，便会看到分配给它的新磁盘（对应阵列上的 lun），主机可以对其进行分区， 格式化等常规磁盘的操作，而不必也无法关心这个 lun 在阵列中是由哪些盘组成的，raid 类型是什么，这些都是阵列控制器关心的，上层主机是看不到的。这次本来想说说双机，但是今天去帮网友调 BE（backup exec），想把过程说说，一是为了 给读者阅读，二也为了把过程记录下来，以后有用处。周六晚上和一个网友聊天， 说是周一他要给客户调 BE， 自己搭了个环境， 练练手， 说是 remote agent 不管是 push 安装（从一台机器上通过 ipc 共享，将安装文件及安装命令通过 lan 拷 贝到客户机，在本机控制客户机安装），还是将安装文件拷贝到客户机，本地安装，都不能 安装成功（辨别方法是：看看服务里面有没有 backup exec remote agent 服务启动，或者 看看 windows 或者 winnt 系统目录下的日志文件中有没有报错）。 和他约好今天上午去他 公司一起研究研究，由于我也是蔡鸟，欣然接受，中午还捞了顿饭，呼呼。大致过程如下：搭建的环境是这样的： 台 pc 机， 2 其中一台安装 oracle9i， 作为备份客户机， 需要安装 remote agent 以及 oracle agent；另一台作为备份服务器，需要安装 backup exec for windows server，同时也作为介质服务器（media server)这个环境的安装顺序以及需要注意的问题： 1。 首先在备份服务器上，从光盘安装 BEWS（backup exec for windows server），行话 又称：BENT（也就是 backup exec for NT enviroment）。安装的时候是这样的： 在安装界面中，先选择本地安装，BE 的各个选件都有对应的序列号，搞到序列号（用算号 器），输入到安装界面，添加，便会自动识别出对应的选件，首先输入 BE 主模块的 key， 然后输入 remote agent 和 oracle agent 的 key，安装程序将安装 BE 主模块，并且在安装 目录下生成“oralce”以及“rant32”两个目录，都自动设成了共享，因为这两个选件 （rant32 中是 remote agent 的安装文件，oracle 中是 oracle agent 的安装文件）需要拷 贝到客户机或者 push 到客户机安装。2。 在客户机，将需要安装 remote agent 以及 oracle agent 两个选件，可以从备份服务器 上远程 push 安装（在安装界面中选择：远程安装），也可以利用上一步生成的安装文件在 本地安装。但是我们今天不管是 push 还是本地，都未能安装成功，日志中提示 1603 错误， 可能是版本的问题。最后索性在数据库客户机上也安装 BE 主模块，remote agent 服务方才 启动（主模块带了 remote agent 功能，需要输入 remote agent 的 key）。然后安装 oracle agent，安装完成后，程序菜单中生成一个 oracle agent 配置程序的快键方式，这个配置程 序的作用，主要有 3 点，第一是定义一个密码，用于备份服务器访问 oracle agent 时进行 验证（这个密码和数据库毫无关系，完全自定义）；第二就是定义介质服务器，必须添加介 质服务器（添加主机名或者 ip 地址），以便数据传到介质服务器上，进行备份，需要说明 的是，一开始，我们没有添加任何介质服务器，导致在备份服务器上，看不到任何 oracle agent 发过来的回溃信息，只有在这里定义的介质服务器，才能在对应的介质服务器上看到 oracle 的回溃信息； 第三就是定义数据库的 SID， 以及登陆数据库的帐号和密码， 因为 oracle agent 必须要打开数据库进行读取操作。 所以，安装 oracle agent 后，必须先进行这 3 个配置。配置完成后，在备份服务器上控制台中点击备份，会看到有本地和远程两大部分，其中本地 部分就是备份服务器本地的硬盘目录，可以选择备份哪些；远程下面就和网上邻居差不多， 浏览各个目标客户机的目录结构（由 agent 回溃），选中某些文件，以便进行备份。另外， 如果远程客户机有 oracle 数据库运行，并且装了 oracle agent 而且已经配置好，那么在远 程部分，应该出现 oracle agent 回溃的远端主机 oracle 的数据库结构（可以有多个），可 以选择某些表的备份，当点选这些 oracle 结构时候，可能会弹出让你选择用户的对话框， 这就是因为在 oracle agent 配置程序中配置的那个验证密码，只有通过验证，才能访问 agent 的回溃内容，此时可以在这个对话框中新建一个用户，密码就是在 oracle agent 配 置程序中定义的密码，然后用此用户访问 oracle agent 即可。到这里，还有一个问题没有解决，即 remote agent 的安装，为什么总是报错，装了 3 台机 器，两种系统，2000server，2003server，都报错，怎么回事。。。。。。SAN 路由存储区域网（SAN）被称作“第二网”，经过多年发展，第二网络已经从一个“二层”网络 发展成为“三层”网络。一个孤立的二层网络存储区域网是专门为进行大规模数据传输而设计的专有网络， 它使用光纤通道协议， 通过光 纤通道集线器、交换机将磁盘阵列、带库以及相关的服务器连接起来，从而形成了一个高速 的专用网络。因此，SAN 最大的特点就是独立性，甚至在初期，它在物理上与其他网络相分 离。尽管 SAN 为用户的大规模数据存储提供了一个高性能、高可靠性的“第二网”，但是，长期 以来，用户形成了多个 SAN 孤岛。可能每个孤岛用来满足用户的某项应用。但是，就像采用 直连存储所造成的信息共享困难一样，各 SAN 孤岛之间的数据也同样无法进行交流。当初，为了消除信息孤岛，为了能够使数据在服务器之间共享，才发明了 SAN，而随着 SAN 的构建形成了新的孤岛。 在新的孤岛之间进行数据共享的难度加大， 而随着用户对数据共享 的需求越来越高，因此希望将 SAN 孤岛连接起来。目前有四种方式可以实现，包括裸光纤直连、WDM（波分复用）、使用 SONET（SDH）数据传 输技术以及 FCIP 技术，这样几个 SAN 孤岛可集成为一个大的 SAN 网络。SAN 孤岛互联问题多从现有的 SAN 网络技术来说，四种连接方式均将多点构成一个 Fabric 网络，这样在一个 Fabric 网络中就有统一的网络服务（如统一的名称服务器、分区配置、地址空间、Fabric 管理等），在远程连接的环境中就会带来很多问题，主要有以下几个方面。主交换机（Principal Switch）的问题：在光纤通道际踔校?桓銎 abric 网络只有惟一的主 交换机，由它来统一分配域 ID，保证整个 Fabric 有一致的地址空间，当主交换机出现故障 时，就会造成整个 Fabric 发生重新配置（Reconfigure），从而中断应用系统运行。因此无 论主交换机处于哪一端，出现故障时都对其他端带来致命影响。主 ISL（Inter-Switch Link，交换机间链路）的问题：远程连接两端的链路一般均是交换 机之间的连线，而且也承担交换机管理信息的传递（主 ISL 链路），而这个链路很有可能发 生时断时续的故障，当这个主 ISL 链路发生故障时，就会使无主交换机的 SAN 孤岛发生 Reconfigure，并选举新的主交换机，这样也造成应用系统的中断; 同时也会对主交换机的 SAN 孤岛造成 Fabric Build 过程，如果这个过程不成功，同样也会造成应用系统的中断。加入或撤出交换机的问题：由于多个端点均连接成一个 Fabric 网络，因此在网络中的任何 人从网络的任何一个点中加入或撤出一个交换机时，可能会发生域 ID 的冲突，这样会使整 个 Fabric 发生 Reconfigure，同样会造成应用系统的中断，即使无域 ID 的冲突，也会使整 个 Fabric 发生 Fabric Build 过程，如果因某种原因造成这个过程不成功，也会使应用系统 发生中断。远程点之间安全性的问题：在远程连接的 SAN 网络中，安全性是一个突出的问题，因为任何 人可以从网络的任何点连接到整个 Fabric 网络中，如果能够模拟其他应用系统 HBA 的 WWN （全球名称），将会窃取到数据，如果有人为的破坏，也会使整个 Fabric 网络发生瘫痪， 从而使整个应用系统无法正常运行。多点容灾环境下的问题：如果在多点的环境中，将各个 SAN 孤岛连接起来，形成一个大的 Fabric 网络，远程 ISL 链路比较多，出现远程连接的问题就比较多，而且任何 SAN 岛出现 上述的任何问题，都会造成 Fabric 网络的不稳定或应用系统的中断，因此在多点远程连接 的情况下，网络安全和稳定将会是一个突出的问题。SAN 路由器应运而生为了解决上述 SAN 孤岛互联时产生的各类问题，SAN 路由技术应运而生。人们可以使用 SAN 路由技术把迄今为止互无联系的光纤通道 Fabric 连接起来而又使各个 Fabric 能够保持其相 互的独立性。SAN 路由技术给网络存储以及容灾系统带来了诸多好处。SAN 路由技术实现了 SAN Fabric 间的无缝连接， 在连接不同的 Fabric 时不要求对现有 Fabric 的参数做任何修改，同时路由器的接入不会对正在执行的 I/O 造成任何影响。SAN 路由器实 现了 Fabric 间的资源共享，特别是实现了 Fabric 间的磁带库共享。SAN 路由器突破了一个 Fabric 内最多 239 台光纤通道交换机的限制，使得大规模 SAN 网络成为可能。在容灾系统 中使用 SAN 路由器可以隔离本地和异地的 SAN Fabric，极大地提高了容灾系统的数据可用 性和整体的可靠性和稳定性。多 Fabric 通过 SAN 路由器的互相连接保证了同一个公司中不 同部门的 SAN 网络的管理的自主性，提高了各部门 SAN 发展的自由度。从实现技术上讲，目前主要有两种主流技术：一种是 FCIP（FC over IP），另一种是 iFCP （Internet 光纤通道协议）。FCIP博科通讯中国区技术总监司马聪博士介绍: “由于在当今的数据中心里，SAN 发挥着更加重 要的作用，所以许多机构都在寻找创新解决方案，将其 SAN 的优点延伸到整个企业。为了对 这种努力提供支持，独特的博科 SilkWorm 多协议路由器可以增加当今 SAN 的功能、连接和 通用性。”该多协议路由器用于支持多种路由服务，包括实现 SAN 连接的博科 FC-FC 路由 服务、用于延伸 SAN 距离的博科 FCIP 隧道服务以及用于同 iSCSI 服务器共享光纤通道存储 资源的 Brocade iSCSI 网关服务。FC-FC 路由服务是多协议路由器上的服务之一，它可以让不同 SAN Fabric 中的设备建立通 信，而无需将这些 Fabric 合并成一个大型的 SAN。博科 FCIP 隧道服务使得各机构可以将其 光纤通道 SAN 延伸更远的距离。将 FCIP 隧道服务与 FC-FC 路由功能配合使用，可以让两个 Fabric 保持独立，而无需将其合并为一个，而且还允许在所有设备间建立任意设备到任意 设备连接的 Fabric。iFCP根据 McDATA 公司中国区技术经理雷涛介绍， 该公司主要根据一项名为“SecureConnect”的 技术设计 SAN 路由器。SecureConnect SAN 路由技术是由 Nishan System 公司首创，该公司 在 2003 年被 McDATA 收购。SecureConnect SAN 路由技术能够为每个本地 SAN 光纤网络提供 具备互操作性能力的 E_Port 连接，在每个站点终止 E_Port 连接。因此，光纤网络的搭建被 限制在每个地点，而且光纤交换机到交换机间的协议也无需贯穿整个 IP 网络。如果两个甚 至更多的地点由 McDATA 的 SAN 路由器连接，每个地点将仍然拥有一个独立的 SAN。在存储 设备及服务器间，只有被授权(被分区)的连接允许通过 IP 网络。与第三层网络路由相同， SecureConnect SAN 路由不但保证了各 SAN 分区间数据的可靠传输， 也避免了整个存储网络暴露于应用全面中断的潜在风险。用户可以利用具备成本效益的 IP 网络服务，来部署复杂的、多重 SAN 存储解决方案。除错误隔离外，SecureConnect SAN 路 由解决方案能够减少地址重复问题，从而简化 SAN 的连接。McDATA 的 SecureConnect SAN 路由技术允许在不同的光纤交换机上使用相同的域地址分配，而不会出现任何路由问题。FCIP 与 iFCP 之比较列表 协议类型是否终结光纤通道会话是否为隧道协议类型可连接设备类型 FCIP 否是交换机、集 线器、路由器 iFCP 是否交换机、集线器、路由器、HBA、存储阵列发展趋势D多厂商互联目前而言，SAN 路由器还只能够将来自一家厂商的产品进行连接，SAN 路由器还不能支持多 厂商产品，也就是说，如果两个 Fabric 分别由来自不同厂商的光纤通道交换机组成，那么 目前还没有产品能够将它们连接在一起。 尽管各厂商都声称将来支持， 但是， 分析人士认为， 目前多厂商交换机之间的互联互通仍存在各种问题， 而路由器之间的问题要远比交换机的复 杂得多。在以太网中的路由器技术已经非常成熟了， 同时标准化的产品之间互联互通不会存在任何问 题。这是大家非常熟悉的现状，那么，以太网的路由器在初期也无法互联互通吗？其实，在 以太网实现“路由”的道路大致一样，当初，用户认为他们有足够多的交换机，根本没有必 要使用路由器，当需要连入更多资源时，用户购买更多交换机而非路由器。笔者一位朋友在 回忆大概十年前的情景时说，当时抱着一个巨大的路由器向用户上门推销，但是用户却问： “我们有交换机， 为何需要路由器呢？”如今， 以太网路由器几乎到处都是。 最为关键的是， 在用户目前的以太网环境中使用的路由器来自多个厂家， 它们之间、 它们与以太网交换机之 间可以任意互联互通。这也应该是 SAN 路由器的发展方向。“标准化”三个字极大地推动了以太网的发展， 一方面标准化可以吸引众多厂商参与， 并且 朝着同一个方向前进， 结果使得各厂商产品都符合“标准”， 因此在互联互通方面不会存在 任何问题；另一方面，标准化加速了产品与技术的成熟，使得成本和产品价格迅速降低，更 多的用户可以用得起，应用的普及反过来对技术起到积极的推动作用。应用案例 [IMG]313.jpg[/IMG] 互联互通 轻松实现 国内某大型保险公司已经成功应用了 SAN 路由器。 在用户的存储环境中， 有两个本地的存储 网络，SAN-1 和 SAN-2，每个 SAN 网络都通过一个导向器级的交换机连接。此外，一个比较 小的 SAN 网络（SAN-3）用来模拟一个小型远端的分支 SAN 的配置。该用户使用三个 SilkWorm 多协议路由器将一个 GbE 的交换机以及三个 SAN 环境联接起来。用户采取了 iSCSI、FCIP 以及 IFL (Inter-Fabric Links)组合的连接方式。IFL 是最基本的 FC 连接方式，与 ISL 的概念类似。一般地，在连接一个 SAN 时，你需要建立两个或多个 IFL 链路，以保证系统的稳定性和性能。首先，在 SAN-1 内的一个主机设备与 SAN-2 内的一个磁 盘阵列建立一个连接，通过这种方式在 SAN 之间建立的连接称为逻辑 SAN（LSAN)。创建一个 LSAN 非常容易。在一个单一 SAN 环境下，可以创建包含一组存储或主机设备在内 的特别分区，以实现在 SAN 内的跨设备间的更好的访问和管理。LSAN 分区在概念上类似于 通常意义上的分区，并且可以用同样的工具创建。为了避免 SAN 网络地址的冲突，SilkWorm 路由器使用 FC-NAT 方式，如同相应的 IP 地址，来掩盖相邻 SAN 网络的地址冲突。LSAN 和 FC-NAT 实现了在多个 SAN 之间保持其各自独立的 SAN 网络管理的同时， 在不破坏以 前的配置的情况下，建立 LSAN 分区。用户可以在不同的 SAN 网络之间有选择地将部分主机 及存储设备连接起来。 对于 SAN 集中的需求来说， 这是最能够被接受并减少潜在危险的一种 方式。为了检验网络中断的效应，工程师将其中一个 IFL 的端口拔掉。几秒钟内，另一个没有被拔 掉的 IFL 端口开始承担原来两个 IFL 的工作，并且吸收来自主机端的全部传输量。存储区域网原本是一个既封闭又独立的子网，它使用的光纤通道协议对于大多数 IT 技术人 员来讲都十分陌生。由于各种原因，在长期的运行过程中，SAN 经常出现各类问题，比如管 理复杂、随着系统规模增大存储整合难度加大等。SAN 路由技术是一个比较好的进步，它不仅解决了一些 SAN 孤岛互联问题，更重要的是为存 储区域网的应用开辟了一条崭新的道路。大家知道，IP 存储技术已经发展了几年时间，而 直到 SAN 路由器的产生才使得 IP 存储技术得到实际应用，除此之外，多协议的转换技术还 为更多 IP 存储技术的集成预留了足够的发展空间，比如 iSCSI。但是路由并没有解决所有问题， 比如从它的应用领域来讲， 目前主要应用在中低端的存储区 域网中，大型存储区域网的整合目前还主要通过导向器级光纤通道交换机来实现。另外，与 以太网路由器技术相比，SAN 路由器还相对简单，它并没有完全设计出一套全新的体系，有 分析人士指出，SAN 路由器大概类似一个 SAN 孤岛互联的“补救设备”，它并没有从根本上 改变原来 SAN 孤岛的设计。由此看来，对于 SAN 路由器来讲，“革命尚未成功，厂商仍需努力”。在这方面，以太网是 一个很好的榜样，存储区域网可以从中学习借鉴许多经验。而笔者认为，最值得借鉴的便是 标准化与多厂商参与，然而，从近两年的发展情况来看，存储区域网领域大有“逆其道而行 之”的趋势，随着一些并购案的发生，该领域厂商没有增加反而减少了，再加上该领域的进 入门槛相当高，因此，在可预见的将来，用户仍然不会获得更多的选择。SAN 的基本知识和应用 SAN(Storage Area Network， 存储局域网)是独立于服务器网络系统之外几乎拥有无限存储 能力的高速存储网络，这种网络采用高速的光纤通道作为传输媒体，以 FC (Fiber Channel， 光通道)+ SCSI(Small Computer System Interface， 小型计算机系统接口) 的应用协议作 为存储访问协议，将存储子系统网络化，实现了真正高速共享存储的目标。 光纤通道 SAN 引发了更多类型的存储应用,其中包括服务器群集、磁带备份、故障恢复以及 高速视频与图形编辑。每一种应用都可通过与光纤通道集线器或光纤通道交换器的组合建 造。高速的数据传输能力是由集线器和交换器产品提供的,软件产品提供了对较高层功能支 持。例如,Veritas 和 Legato 公司所提供的服务器群集和磁带备份软件,可管理在光纤通道 传输设备上所执行的操作。1.群集 对于 SAN 服务器群集应用来说,单台服务器上所出现的故障不再意味着数据的丢失。另一台 服务器可跨越 SAN 存取出故障的服务器中的数据。 许多厂商的软件产品可以使服务器的故障 得以恢复。光纤通道 SAN 将能够通过多台服务器实现对公共存储设备的平等存取,确保数据 的随时可用。在 IT 界,这种能力叫做“数据拨号音&，意指“能够可靠进行连接并能顺利完 成所需的事务处理的能力”。 在服务器和存储设备之间提供冗余的数据路径,有助于确保数据的高可用性。冗余的数据路 径可通过向每台服务器配备两个光纤通道宿主总线适配器(HBA)得以实现。其中,一个 HBA 作为主数据路径附接于光纤通道集线器或交换器上,而另外一个 HBA 作为辅助数据路径附接 于第二个光纤通道集线器或交换器上。存储阵列通常拥有主、辅两个光纤通道连接器。如果 主光纤通道出现故障,另一个通道能够接管。 与冗余的数据路径和服务器群集软件相结合,一台服务器或一条数据路径上的故障将不会中 断系统的运行,因为另一台服务器或另一条数据路径随时处于备用状态。2.备份 对于所有企业网络来说,磁带备份是一个普遍性的问题。 在磁带备份方面,主要的限制因素包 括:备份数据必须流经的传输设备运行速度偏低;磁带子系统本身的性能较差。 如果某一磁带 子系统能够维持每秒 10 兆～15 兆字节的备份流,那么这一速度将超过 100 兆以太网的能力。 另外,在 LAN 上对一台服务器进行备份,要求所备份的数据必须进行 TCP/IP 打包。TCP/IP 方 面的开销是导致磁带备份性能严重下降的又一重要原因。因此,基于 LAN 的备份不能为有效 的磁带备份提供充足的带宽。与此同时,用户还将会发现,在备份操作期间,甚至在交换式网 络的环境中,LAN 性能也将会明显下降。 随着备份所需的存储量不断从 GB 数量级向 TB 数量级的迅速迁移,一个完整的备份或恢复过 程所需的时间将不能由基于 LAN 的过程得到保障。如果没有足够的时间备份所有的数据,那 么企业将很容易受到磁盘故障的困扰。 目前只有极少数企业具有恢复数据的能力。 为了更有 效地进行备份,管理员必须花钱“买”时间。 而这种“时间”只能来自更高的备份传输带宽。 光纤通道 SAN 可以满足这一需求。 不依赖于 LAN 的磁带备份,是 SAN 带给企业网络的主要好处之一。通过把服务器、存储阵列 以及磁带子系统与光纤通道 SAN 相连,备份数据流可以不经过 LAN,从而使 LAN 摆脱了用户网 络流量的重负。由于可提供每秒 100 兆字节的带宽,所以光纤通道能够很容易地提供对多磁 带备份流的支持。另外,由于备份数据流是元 SCSI-3 格式的,所以写向磁带的数据块比 IP 包的数据流更为有效。 不依赖于 LAN 的磁带备份还可以安装在那些带有直接并行 SCSI 磁盘驱动器的服务器上。把 光纤通道 HBA 安装于每一服务器、把服务器连接于光纤通道集线器或交换器,磁带备份数据 能够高速地发往附接于光纤通道的磁带子系统。这样一来,用户不仅能够继续利用他们对 SCSI 磁盘驱动器最初的投资,而且还可享用 SAN 所提供的不依赖于 LAN 的备份。一旦光纤通 道基础设施得以建立,日后预算允许的时候,用户将可随时把光纤通道磁盘阵列并入其基础 设施的配置之中。 可以使用不同的方法把磁带子系统并入 SAN。较新的磁带库产品大都拥有本地光纤通道接口, 因此能够很方便地与光纤通道集线器或交换器连接。使用“光纤通道－SCSI&路由器也可对 较旧的磁带子系统进行连接。这些磁带库是由不同的供应商制造,并都提供了 1 或 2 个光纤 通道连接和 4～8 个 SCSI 连接。“光纤通道－SCSI&路由器负责处理来自光纤通道的串行 SCSI-3 数据转换和来自并行 SCSI 接口所使用的 SCSI-2 数据转换。 当前,大多数操作系统(例如 NT、Solaris 以及 Unix)都提供不依赖 LAN 的磁带备份软件。磁 带备份软件包可处理较高水平的服务,例如调度、并行备份以及对磁带自动化设备的媒体控 制。由于 SAN 使磁带备份的效率大大提高,所以目前许多开发商都在支持光纤通道 SAN 技术 的开发,其中 Veritas 和 Legato 公司已成为这一技术的主要支持者。 把备份数据流从 LAN 移向 SAN,解决了企业网络的数据拥塞问题。 然而,不依赖于 LAN 的备份 依然要求服务器主动地从磁盘上读取数据,然后把数据写入磁带。因此在备份期间仍需消耗 服务器的 CPU 周期和内存资源。 新的 SAN 应用可解决这一问题。 不依赖于服务器的备份把服 务器排除在数据路径之外,并使数据能够直接从磁盘转向磁带。这一功能是由一个第三方拷 贝代理完成的。 第三方拷贝代理是一种软、 硬件结合的产品,并可驻留在“光纤通道－SCSI& 路由器或光纤通道交换器中。网络数据管理协议(NDMP)可用于向第三方拷贝代理发送指令。 第三方拷贝代理能够从服务器上获得当前文件系统结构的一个快照(Snapshot),然后开始从 磁盘上读取数据块,并将它们写入磁带。 一旦获得当前文件系统结构的一个快照,服务器将不 再主动参与数据备份过程，因而可在数据备份进行的同时,自由地服务于用户的其他请求。 第三方拷贝代理更完善的版本还将允许用户在备份过程期间主动参与文件的修改,因而在备 份过程结束后,那些改变了的文件也能够得以备份。 灾难恢复与 SAN 磁带备份密切相关,但同时也需要光纤通道提供对长距离连接的支持能力。 光纤通道可以在单模长波光缆上维持一个 10 公里长的数据通路。 波分多路转换(WDM)以及其 他技术还可以把这一距离进一步加以扩展。由于较长的链路会导致时间上的延迟,因此最好 能够把光纤通道交换器纳入灾难恢复系统。 典型的配置应包括:一个生成网点(具有附接于光 纤通道的服务器和磁盘)和一个远程网点(具有多个磁盘和一个磁带子系统)。处于两端的光 纤通道交换器可实现生成网点与灾难恢复网点之间的连接。 尽管把磁盘镜像于远程网点是可 行的,但仅当变化出现时才对记录进行修改是一种更加有效的做法。远程网点还可以拥有一 台备份服务器,从而使周期性的备份能够由同步化的存储阵列来实现。3.影像 视频和图形编辑是率先使用光纤通道 SAN 的领域之一。视频和图形编辑应用要求使用 SAN 所提供的所有先进功能DD高速数据传输、 对等连接、 大规模存储阵列存取以及在单一配置 中对大量工作站的支持。 印前(pre-press)业务是高效 SAN 的典型应用。提供这类服务的公司，主要任务是生成那些 可用于杂志、 销售目录、 广告牌以及城市公共汽车所使用的图形图像。 印前数据流是一种“爆 发性的&数据流模式。 在这一模式中,高频度存取期后常常会跟随一个传输过程的寂静期。 在 一台印前工作站上工作的艺术家,可能需要从磁盘上读取一个规模相当大的、数以百兆字节 的图像文件,然后在这一文件上工作相当长的一段时间。 当编辑工作完成之后,又把文件写回 到磁盘上。 然而,由于很可能会有多个艺术家正在同时随机地读、 写那些大型的文件,因此传 输过程必须能够向他们提供足够的带宽。 使用 Ethernet 很难满足这类需求,改用光纤通道后 事情将会变得十分简单。 典型的印前 SAN 拥有一个可提供与大规模存储阵列相连的光纤通道 交换器。由于每一存储设备都连接在它们各自的交换器端口上,所以都能够提供每秒 100 兆 字节的带宽。 然而,工作站并不需要过高的专用带宽,因为它们仅仅是间歇性地进行文件存取, 所以可以把所有工作站接在一个光纤通道集线器上,然后把集线器接到一个光纤通道的交换 器端口。这是一种高性阶比的方案,并且能很好地满足用户对带宽的需求。目前 Vixel 集线 器和交换器已被许多印前公司采用,并成为较高层应用的基础部件。 在印前业务操作中,软件 发挥了非常重要的作用。印前编辑通常是以顺序方式执行的,其中图形编辑人员和文本编辑 人都将会对一个单一的文件进行存取， 因此整个工作流必须确保所有编辑人员不会过早地对 文件进行重写。 中间件安装于每一台工作站上,用以验证文件当前的归属关系和读/写许可情 况,并可防止未经授权的重写操作。 视频编辑不同于印前业务,它要求向用户提供稳定的带宽。一个视频流通常为每秒 30 兆字 节。一个光纤通道交换器可以提供每端口 100 兆字节的数据吞吐能力,所以它可以在每一个 端口上维持多个视频流。 在过去的两年里,一些公司,例如 AvidTechnologies 和 AvidSports 公司,一直把 BROCADE 交换器用于高速编辑环境。 有线电视提供商有时也会使用 BROCADE2800 去编辑那些在较长影片中的情节。电影(例如“玩具总动员&)的特殊效果编辑使用 Vixel 来 满足高速图像处理对带宽的需求。可以把光纤通道交换器串联在一起,提供更多的可直接与 工作站相连的端口。这将允许企业在其各部门或整个企业的范围内建造更大的系统。 尽管服务器群集、磁带备份、故障恢复以及图形编辑都有它们各自不同的需求,但光纤通道 SAN 能够同时满足这些需求。 光纤通道所具有的灵活性是各种 SAN 应用能够有效组合的重要 原因所在。服务器群集也可以并入磁带备份。在极易发生地震的加利福尼亚,后期制作视频 编辑公司或许更需要在一个稳定的场所部署一个包括灾难恢复功能的系统环境,SAN 将是它 们的理想选择。 总而言之,建造一个 SAN 基础设施不仅能够更好地满足企业当前的业务需求, 而且可以更好地满足企业未来业务增长的需求。 作为一种网络体系结构,目前光纤通道 SAN 的性能已趋于稳定。 然而,如同任何其他网络系统 一样,故障的发生将是不可避免的，因此网络的管理性能是至关重要的。对 SAN 传输的管理 是用户选择光纤通道产品的一个关键的性能指标。当故障出现时,能否立即通知管理员迅速 采取补救措施,将是许多企业十分关注的问题。管理应用(例如 Vixel 的 SANInSite)可以前 瞻性地孤立出传输过程中所出现的问题,并可使系统继续正常运行。先进的诊断工具和性能 监视工具可帮助管理员使 SAN 的无故障时间达到最大化，维护用户对数据的正常存取。把 SAN 管理程序集成于更高水平的管理框架(例如 Transoft 的 FibreNet、CAUnicenter 和 HPOpenView),可以提供对所有网络部件的企业级管理。 目前,光纤通道 SAN 已发展成为一种成熟、 可行的存储管理技术,针对这一技术的新的软件应 用和新 的硬件产品正不断推出 ,不断改善 着存储网络的 性能。 预 计随着电子商 务和 Internet 业务的日趋增多,光纤通道 SAN 和“.com”将会成为更多企业的最佳配置选择动态多路径(DMP)1. 介绍动态多路径(DMP) 在某些操作系统上，Volume Manager 支持多路径访问到磁盘阵列。它自动重新组织到磁盘 阵列内具体某个磁盘设备的多个 I/O 路径。Volume Manager 的动态多路径功能通过提供路 径故障切换机制，提供更大的可靠性。一旦到磁盘的某个连接丢失，系统将通过到该磁盘的 其它可靠的连接继续存取重要的数据。DMP 还通过将 I/O 负载平均分布在多条到磁盘设备 的 I/O 路径上，提供更大的 I/O 吞吐量。 Volume Manager DMP 管理多路径目标（如磁盘阵列），多路径目标定义使用多条路径的策 略。某些磁盘阵列允许多条路径同时保持活动状态（活动/活动）。某些磁盘阵列只允许一 条路径保持活动状态，将替换路径用作备件以防现有路径发生故障（主动/被动），某些磁 盘阵列具有设计更精细的策略（如对 LUN 的互为备援）。 一般情况下，Volume Manager 被设计成将 VM 磁盘映射到一个 Volume Manager DMP 元节点。 为简化 VxVM 逻辑操作，每个 VM 磁盘都映射到唯一一个 Volume Manager DMP 元节点，不管 在多路径配置中是否连接了物理磁盘设备，此映射都将发生。 ü # vxdmpadm getsubpaths ctlr=c3 NAME STATE PATH-TYPE DMPNODENAME ENCLR-TYPE ENCLR-NAME ====================================================================== c3t1d0s2 ENABLED - c3t1d0s2 Disk Disk c3t1d1s2 ENABLED - c3t1d1s2 Disk Disk c3t1d2s2 ENABLED - c3t1d2s2 Disk Disk c3t1d3s2 ENABLED - c3t1d3s2 Disk Disk c3t1d4s2 ENABLED - c3t1d4s2 Disk Disk c3t1d5s2 ENABLED - c3t1d5s2 Disk Disk c3t1d6s2 ENABLED - c3t1d6s2 Disk Disk c3t1d7s2 ENABLED - c3t1d7s2 Disk Disk c3t1d8s2 ENABLED - c3t1d8s2 Disk Disk c3t1d9s2 ENABLED - c3t1d9s2 Disk Disk ü # vxdmpadm getsubpaths ctlr=c4 NAME STATE PATH-TYPE DMPNODENAME ENCLR-TYPE ENCLR-NAME ====================================================================== c4t1d0s2 ENABLED - c3t1d0s2 Disk Disk c4t1d1s2 ENABLED - c3t1d1s2 Disk Disk c4t1d2s2 ENABLED - c3t1d2s2 Disk Disk c4t1d3s2 ENABLED - c3t1d3s2 Disk Disk c4t1d4s2 ENABLED - c3t1d4s2 Disk Disk c4t1d5s2 ENABLED - c3t1d5s2 Disk Disk c4t1d6s2 ENABLED - c3t1d6s2 Disk Disk c4t1d7s2 ENABLED - c3t1d7s2 Disk Disk c4t1d8s2 ENABLED - c3t1d8s2 Disk Disk c4t1d9s2 ENABLED - c3t1d9s2 Disk Disk2. 路径故障切换机制 DMP 与多端口磁盘阵列一起使用时可增强系统可靠性， 一旦到磁盘阵列的某个连接丢失， DMP 将自动为 I/O 请求动态选择下一个 I/O 路径，而无需系统管理员的任何操作。DMP 的自动 修复功能只要是 vxconfigd 进程能正常启动，就能自动启动。 ü # vxdmpadm stat restored The number of daemons running : 1 The interval of daemon: 300 The policy of daemon: check_disabled 如 果 你 想 修 改 DMP 的 policy, 可 以 修 改 /etc/init.d/vxvm-sysboot 文 件 ， 找 到 restore_daemon_opts=&interval=300 policy= check_disabled & 可调整 interval 的值， 但减小该值会影响系统性能。check_disabled 是指 DMP 的后台进程只定时监控有问题的路 径。DMP 允许系统管理员向 Volume Manager 中的 DMP 子系统指出是修复还是恢复连接。这 称为 DMP 重新配置，重新配置过程还允许检测最新添加的设备（只有当操作系统完全看到 它们时），以及完全引导系统后删除的设备。3. 负载平衡 对于 VM 的 DMP 功能是自动激活的， 例如在阵列只有单控制器的情况下， 主机有两块 HBA 卡， 当往阵列的硬盘写数据时，会发现两个 HBA 都有 I/O,(通过 vxstat 命令查看)。这种情况 下读写硬盘数据的 I/O 瓶颈应在阵列控制器， 为了提供阵列路径间的负载平衡， DMP 遵循活 动/活动磁盘阵列的平衡路径机制。负载平衡通过使用所有路径的最大带宽，确保最大限度 地提高 I/O 吞吐量。不过到磁盘的有序 I/O 将沿同一条路径发送以优化 I/O 吞吐量，这样 做是为了使用磁盘跟踪高速缓冲存储器的效果。 对于主动/ 被动磁盘阵列，I/O 将沿主路径（指阵列控制器）发送，直到主路径失败。一旦 主路径失败，I/O 将切换到其它可用的主路径或辅助路径，为了避免 LUN 的拥有权不断地 从一个控制器转让给另一个控制器（这将导致 I/O 严重减慢速度）对于主动/ 被动磁盘阵 列将不执行路径间的负载平衡。4. 从 DMP 设备启用 当根磁盘受 Volume Manager 的控制时,如果它是单个磁盘，则将作为 DMP 设备自动存取， 如果磁盘是多端口磁盘阵列的一部分，则有多条路径。通过对根磁盘进行封装，将增强系统 防备到磁盘的一条或多条现有物理路径丢失的可靠性。5. 启用和禁用控制器 DMP 允许系统管理员关闭到主机 I/O 控制器的 I/O ，以便执行管理操作。它可用于维护挂 接在主机上的控制器或由 Volume Manager 支持的磁盘阵列。完成维护任务后，可以启用到 主机 I/O 控制器的 I/O 操作。可以使用由 Volume Manager 提供的 vxdmpadm 命令完成此操 作。 例如， 如果系统有 StorEdge A5000(TM) 阵列， 当用户需要更改与此磁盘阵列相连的 A5000 接口板时， 应使用 vxdmpadm 命令获得连接在此 A5000 接口板上的主机 I/O 控制器列表并应 禁用这些控制器。这些控制器一旦被禁用，通过这些控制器对磁盘的进一步 I/O 存取将停 止。然后，用户就可在不中断对该磁盘阵列中的现有磁盘进行 I/O 存取的情况下来更换接 口板。这样要求是因为在正常情况下，对于活动/活动类型的磁盘阵列（与本例中的一样）， Volume Manager 都使用平衡路径机制来调度具有多条路径的磁盘的 I/O ，从而使 I/O 可以 在任意时刻经过任何路径。对于主动/ 被动类型的磁盘阵列，I/O 由 Volume Manager 调度 到主路径，直到主路径发生故障。因此，若要更改磁盘阵列上的接口卡或更改与磁盘阵列相 连的主机（可能发生）上的卡，则应禁止到主机 I/O 控制器的 I/O 操作。这允许在更改硬 件前，使所有的 I/O 都转移到另一个 I/O 控制器上的主动辅助路径或主动主路径。此操作 结束后，可使用 vxdmpadm 命令的启用选项，使这些控制器的路径重新发挥作用。Volume Manager 不允许禁用到根磁盘的最后一条活动路径。6. 显示 DMP 数据库信息 vxdmpadm 命令可用于列出 DMP 数据库信息并执行其它管理任务，此命令使您得以列出系统 上的所有控制器（与磁盘相连）和其它存储在 DMP 数据库中的相关信息。该信息可用于定 位系统硬件并决定要启用/ 禁用的控制器。注意：通过命令启用/禁用的功能只是临时的， 在系统重启后将恢复到缺省设置。vxdmpadm 还提供其它有用的信息，如磁盘阵列序列号和 与磁盘阵列相连的 DMP 设备（磁盘）列表，具体某个控制器的路径列表，等等。ü # vxdmpadm listctlr all CTLR-NAME ENCLR-TYPE STATE ENCLR-NAME ===================================================== c1 Disk ENABLED Disk c3 Disk ENABLED Disk c4 Disk ENABLED Diskü # vxdmpadm listenclosure all ENCLR_NAME ENCLR_TYPE ENCLR_SNO STATUS ============================================================ Disk Disk DISKS CONNECTED Disks OTHER_DISKS OTHER_DISKS DISCONNECTED FAKE_ARRAY0 FAKE_ARRAY FAKE_ENCLR_SNO DISCONNECTEDü # vxdmpadm getdmpnode nodename=c3t1d9s2 NAME STATE ENCLR-TYPE PATHS ENBL DSBL ENCLR-NAME ========================================================================= c3t1d9s2 ENABLED Disk 2 2 0 Diskü # vxdmpadm getdmpnode enclosure=Disk NAME STATE ENCLR-TYPE PATHS ENBL DSBL ENCLR-NAME ========================================================================= c1t1d0s2 ENABLED Disk 1 1 0 Disk c1t0d0s2 ENABLED Disk 1 1 0 Disk c3t1d0s2 ENABLED Disk 2 2 0 Disk c3t1d1s2 ENABLED Disk 2 2 0 Disk c3t1d2s2 ENABLED Disk 2 2 0 Disk c3t1d3s2 ENABLED Disk 2 2 0 Disk c3t1d4s2 ENABLED Disk 2 2 0 Disk c3t1d5s2 ENABLED Disk 2 2 0 Disk c3t1d6s2 ENABLED Disk 2 2 0 Disk c3t1d7s2 ENABLED Disk 2 2 0 Disk c3t1d8s2 ENABLED Disk 2 2 0 Disk c3t1d9s2 ENABLED Disk 2 2 0 Disk7. vxddladm 命令的使用 使用 vxddladm 命令可以动态添加不支持的阵列到支持库。使 DMP 能正确使用。 #vxddladm help listversion Listing of all ASL with their correxponding versions listsupport Listing Of all Supported Arrays listexclude Listing Of all excluded Array Libraries excludearray Exclude an array library/a set of libraries includearray Include an array library/a set of libraries addjbod Specify an array to be JBOD :see help addjbod rmjbod Remove an array from JBOD List :see help rmjbod listjbod List all JBODs :see help listjbod listforeign List all Foreign disks :see help listforeign addforeign Add a Foreign disk :see help addforeign rmforeign Remove a Foreign disks :see help rmforeign8. 配置动态多路径 DMP（以下内容都是以两块 HBA 卡为例）1. 主机至少有两块 HBA 卡 ，最好是相同类型。 2. 如果是临时 License ，DMP 功能是激活的。通过命令查看: # vxdctl license All features are available: Mirroring Root Mirroring Concatenation Disk-spanning Striping RAID-5 VxSmartSync Clustering-full VVR DMP (multipath enabled)3. 查看 /dev/vx/dmp 和 /dev/vx/rdmp 下是否有设备文件。如果想重新产生 DMP 设备文 件，将两个目录下的文件删除。执行 #vxdctl initdmp4. 通过命令 vxdmpadm，必需能看到两块 HBA，ENCLR-TYPE 不能是 OTHER_DISKS，STATE= ENABLED # vxdmpadm listctlr all CTLR-NAME ENCLR-TYPE STATE ENCLR-NAME ===================================================== c1 Disk ENABLED Disk c3 Disk ENABLED Disk c4 Disk ENABLED Disk错误输出：（只认到单控制卡） #vxdmpadm listctlr all CTLR-NAME ENCLR-TYPE STATE ENCLR-NAME ===================================================== c1 Disk ENABLED Disk c4 OTHER_DISKS ENABLED OTHER_DISKS5. 通过#format 能看到两倍的物理盘。6. 通过 vxdisk list 只能看到一倍的盘（当 DMP 正确配置时）， # vxdisk list DEVICE TYPE DISK GROUP STATUS c1t0d0s2 sliced rootdisk rootdg online c1t1d0s2 sliced disk01 rootdg online c3t1d0s2 sliced - - online c3t1d1s2 sliced - - online c3t1d2s2 sliced - - online c3t1d3s2 sliced - - online c3t1d4s2 sliced - - online c3t1d5s2 sliced - - online c3t1d6s2 sliced - - online c3t1d7s2 sliced aaadg00 aaadg online c3t1d8s2 sliced aaadg01 aaadg online c3t1d9s2 sliced abcdg00 abcdg online#vxdisk_list_lun00 Device:c5t0d0s2 devicetag: c5t0d0 type: sliced hostid:
disk: name=lun00 id=.1750. group: name=occdg id=.1896. flags: online ready private autoconfig autoimport imported pubpaths: block=/dev/vx/dmp/c5t0d0s4 char=/dev/vx/rdmp/c5t0d0s4 privpaths: block=/dev/vx/dmp/c5t0d0s3 char=/dev/vx/rdmp/c5t0d0s3 version: 2.2 iosize: min=512 (bytes) max=256 (blocks) public: slice=4 offset=0 len= private: slice=3 offset=1 len=8447 update: time= seqno=0.37 headers: 0 248 configs: count=1 len=6210 logs: count=1 len=941 Defined regions: config priv 247[000231]: copy=01 offset=000000 enabled config priv 227[005979]: copy=01 offset=000231 enabled log priv 168[000941]: copy=01 offset=000000 enabled Multipathing information: numpaths: 4 c5t0d0s2 state=enabled type=secondary c5t4d0s2 state=enabled type= c6t2d0s2 state=enabled type=secondary c6t6d0s2 state=enabled type=#vxdmpadm_getdmpnode_nodename=c5t4d0s2 NAME STATE ENCLR-TYPE PATHS ENBL DSBL ENCLR-NAME ========================================================================= c5t0d0s2 ENABLED EMC_CLARiiON 4 4 0 EMC_CLARiiON0#vxdmpadm_get_dmpnode enclosure=EMC_CLARiiON0 NAME STATE ENCLR-TYPE PATHS ENBL DSBL ENCLR-NAME ========================================================================= c5t0d0s2 ENABLED EMC_CLARiiON 4 4 0 EMC_CLARiiON0 c5t0d1s2 ENABLED EMC_CLARiiON 4 4 0 EMC_CLARiiON0 c5t0d2s2 ENABLED EMC_CLARiiON 4 4 0 EMC_CLARiiON0#vxdmpadm_getsubpaths_ctlr=c5 NAME STATE PATH-TYPE DMPNODENAME ENCLR-TYPE ENCLR-NAME ====================================================================== c5t0d0s2 ENABLED SECONDARY c5t0d0s2 EMC_CLARiiON EMC_CLARiiON0 c5t0d1s2 ENABLED SECONDARY c5t0d1s2 EMC_CLARiiON EMC_CLARiiON0 c5t0d2s2 ENABLED c5t0d2s2 EMC_CLARiiON EMC_CLARiiON0 c5t0d3s2 ENABLED c5t0d3s2 EMC_CLARiiON EMC_CLARiiON0 c5t0d4s2 ENABLED c5t0d4s2 EMC_CLARiiON EMC_CLARiiON0#vxdmpadm.getsubpaths.ctlr=c6 NAME STATE PATH-TYPE DMPNODENAME ENCLR-TYPE ENCLR-NAME ====================================================================== c6t2d0s2 ENABLED SECONDARY c5t0d0s2 EMC_CLARiiON EMC_CLARiiON0 c6t2d1s2 ENABLED SECONDARY c5t0d1s2 EMC_CLARiiON EMC_CLARiiON0 c6t2d2s2 ENABLED c5t0d2s2 EMC_CLARiiON EMC_CLARiiON0 c6t2d3s2 ENABLED c5t0d3s2 EMC_CLARiiON EMC_CLARiiON0 c6t2d4s2 ENABLED c5t0d4s2 EMC_CLARiiON EMC_CLARiiON0 #vxdmpadm_listctlr_all CTLR-NAME ENCLR-TYPE STATE ENCLR-NAME ===================================================== c1 SENA ENABLED sena0 c4 SENA ENABLED sena0 c5 EMC_CLARiiON ENABLED EMC_CLARiiON0 c6 EMC_CLARiiON ENABLED EMC_CLARiiON0 7. 通过 vxdisk list 列某一块盘时，能看到信息 Multipathing information: numpaths: 2 c3t1d9s2 state=enabled c4t1d9s2 state=enabled# vxdisk list c3t1d9s2 Device: c3t1d9s2 devicetag: c3t1d9 type: sliced hostid: sun2801 disk: name=abcdg00 id=.2809.sun2801 group: name=abcdg id=.2812.sun2801 flags: online ready private autoconfig autoimport imported pubpaths: block=/dev/vx/dmp/c3t1d9s4 char=/dev/vx/rdmp/c3t1d9s4 privpaths: block=/dev/vx/dmp/c3t1d9s3 char=/dev/vx/rdmp/c3t1d9s3 version: 2.2 iosize: min=512 (bytes) max=256 (blocks) public: slice=4 offset=0 len=6287360 private: slice=3 offset=1 len=2559 update: time= seqno=0.54 headers: 0 248 configs: count=1 len=1865 logs: count=1 len=282 Defined regions: config priv 247[000231]: copy=01 offset=000000 enabled config priv 882[001634]: copy=01 offset=000231 enabled log priv 164[000282]: copy=01 offset=000000 enabled Multipathing information: numpaths: 2 c3t1d9s2 state=enabled（阵列单控制器的情况下，没有看到 type=primary c4t1d9s2 state=enabled 或 type=secondary?在阵列为 A/P 时看到)8. 如果通过 vxdisk list 能看到两倍的盘，说明 VM 的 DMP 没有正确配置。 先通过命令查看同一块盘的信息是否一样，如果不同，先调阵列。 # cd /etc/vx/diag.d # ./vxdmpinq /dev/rdsk/c3t1d9s2Inquiry for /dev/rdsk/c3t1d9s2, evpd 0x0, page code 0x0 Vendor id : DGC Product id : RAID 5 Revision : 0524 Serial Number : 093E580000CL # ./vxdmpinq /dev/rdsk/c4t1d9s2Inquiry for /dev/rdsk/c4t1d9s2, evpd 0x0, page code 0x0 Vendor id : DGC Product id : RAID 5 Revision : 0524 Serial Number : 093E580000CL9. 如果阵列 VM 缺省不支持，请先安装 ASL 包。 #vxddladm listjbod VID PID Opcode Page Code Page Offset SNO length ========================================================================== SEAGATE ALL PIDs 18 -1 36 12 SUN SESS01 18 -1 36 1210. 然后添加到 DMP 支持列表库 #vxddladm addjbod vid=DGC #vxddladm listjbod VID PID Opcode Page Code Page Offset SNO length ========================================================================== SEAGATE ALL PIDs 18 -1 36 12 SUN SESS01 18 -1 36 12 DGC ALL PIDs 18 -1 36 1211. 执行#vxdctl enable 12. #vxdisk list 应只能看到一倍的盘。 13. The following three parameters must be set on the master controller unit: ? Multi-path support software: § DMP: sys mp_support rw § STMS: sys mp_support mpxio ? sys cache auto ? sys mirror auto 14. 有一种工作方式： 有些阵列控制器的工作方式可以是对具体的 LUN 互为备援。 partner 既 pair configuration ，所以当用命令#vxdisk list 查看，会发现只列出第一块 HBA 卡所读 到的信息。The T3 array in partner pair configuration provides 2 paths to each logical unit (LUN). One path is considered the primary and the other path is considered the secondary for any given LUN. In normal operation, all I/O for a particular LUN goes down the primary path. If the primary path for a LUN fails, I/O for that LUN is sent down the secondary path. In order to balance the I/O load, half of the LUNs use one path as the primary and half use the other. This means that both paths are considered primary for some LUNs and secondary for some LUNs. Because there is a primary and secondary path for each LUN, the T3 is an Active/Passive type array.When Dynamic Multipathing (DMP) scans the device list looking for devices that are accessed through more than one controller, it assigns the name of the disk media record based on whichever controller is probed first. Because of this all the LUNs in the array will have DM records that start with the same controller. The DM record name does not indicate which controller is in use as the primary path for a particular LUN.EXAMPLE: The array is attached to the host through 2 controllers, C1 and C4. One LUN uses the C1 path as the primary and C4 as the secondary. The other LUN uses C4 as the primary and C1 as the secondary. Both LUNs have DM records that begin with C1.# vxdisk list DEVICE TYPE DISK GROUP STATUSc1t2d0s2 sliced disk01 rootdg online c1t2d1s2 sliced disk02 rootdg onlineDMP does know which path is primary and which is secondary for each LUN. That information can be displayed with the vxdisk list command. vxdisk list c1t2d0s2 Device: c1t2d0s2 devicetag: c1t2d0 type: sliced hostid: tpsw-154 disk: name=disk01 id=66.tpsw-154 group: name=rootdg id=25.tpsw-154 flags: online ready autoconfig autoimport imported pubpaths: block=/dev/vx/dmp/c1t2d0s4 char=/dev/vx/rdmp/c1t2d0s4 privpaths: block=/dev/vx/dmp/c1t2d0s3 char=/dev/vx/rdmp/c1t2d0s3 version: 2.1 iosize: min=512 (bytes) max=2048 (blocks) public: slice=4 offset=0 len= private: slice=3 offset=1 len=8191 update: time= seqno=0.9 headers: 0 248 configs: count=1 len=6027 logs: count=1 len=913 Defined regions: config priv 247[000231]: copy=01 offset=000000 enabled config priv 044[005796]: copy=01 offset=000231 enabled log priv 957[000913]: copy=01 offset=000000 enabled Multipathing information: numpaths: 2 c1t2d0s2 state=enabled type=secondary c4t1d0s2 state=enabled ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^vxdisk list c1t2d1s2 Device: c1t2d1s2 devicetag: c1t2d1 type: sliced hostid: tpsw-154 disk: name=disk02 id=45.tpsw-154 group: name=rootdg id=25.tpsw-154 flags: online ready autoconfig autoimport imported pubpaths: block=/dev/vx/dmp/c1t2d1s4 char=/dev/vx/rdmp/c1t2d1s4 privpaths: block=/dev/vx/dmp/c1t2d1s3 char=/dev/vx/rdmp/c1t2d1s3 version: 2.1 iosize: min=512 (bytes) max=2048 (blocks) public: slice=4 offset=0 len= private: slice=3 offset=1 len=8191 update: time= seqno=0.7 headers: 0 248 configs: count=1 len=6027 logs: count=1 len=913 Defined regions: config priv 247[000231]: copy=01 offset=000000 enabled config priv 044[005796]: copy=01 offset=000231 enabled log priv 957[000913]: copy=01 offset=000000 enabled Multipathing information: numpaths: 2 c1t2d1s2 state=enabled c4t1d1s2 state=enabled type=secondary ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^The multipathing information shows that C1 is primary for disk02 and secondary for disk01, while C4 is primary for disk01 and secondary for disk02. If the primary path fails, DMP will switch to the secondary path and the type will show as disabled for the failed path.15. 通过 T3 查看 On the T3 -labt3-1:/:port listmap port targetid addr_type lun volume owner access u1p1 1 hard 0 v0 u1 primary u1p1 1 hard 1 v1 u1 primary u1p1 1 hard 2 u2v0 u2 failover u1p1 1 hard 3 u2v1 u2 failover u2p1 2 hard 0 v0 u1 failover u2p1 2 hard 1 v1 u1 failover u2p1 2 hard 2 u2v0 u2 primary u2p1 2 hard 3 u2v1 u2 primaryThis shows us our LUN ownership and host port target ID's. This is an example of an ES pair in a normal state.labt3-1:/:port list port targetid addr_type status host wwn u1p1 1 hard online sun
2 hard online sun 55119.关于负载平衡 如果阵列没有两个控制器，且非 Active/Active 工作方式， （注意：并不是所有厂家的所有 阵列都支持这种工作方式）。那么阵列的负载平衡就无法实现。 Depending on the array configuration and running version of Volume Manager, can operate in the following modes:Active/Active (A/A) In Active/Active, all sub paths to a disk/lun can be accessed simultaneously. Active/Active allows for load balancing and failover in the event of a path failure. A Sun A5x00 array is an example of an A/A configuration.Active/Passive - Auto tresspass (A/P) In Active/Passive, only one of the paths to a disk/LUN can be used at any one time. In the event of an i/o failure on the primary path, i/os will be sent to one of the secondary paths. With an array configured in trespass mode, the failover is invoked by sending the i/os to the second path. Failover is confined to an individual LUN instance level. Active/Passive arrays do not allow load balancing as only one path can be used under normal operating conditions. Auto trespass is also known as implicit failover. A Sun T3 array in a single host environment (mp_support=rw) is an example of an A/P - auto-trespass configurationActive/Passive - Explicit failover (A/PF) In Active/Passive - explicit failover, only one of the paths (primary) to the disk/LUN can be used at any one time. In the event of an i/o failure, a special command is sent to the array to invoke a failover such that a secondary path can be used. Explicit failover is also known as nonauto-trespass mode. A Sun T3 array in a multi-host environment (mp_support=std) is an example of an A/PF configuration.Active/Passive - LUN group failover (A/PG) In Active/Passive - LUN group failover, a group of one or more LUNs are assigned to a controller on the array, which becomes the primary path to the disks. In the event of an i/o failure to a single LUN, the entire group of LUNs is switched to another controller in the array. This controller becomes the secondary active path. 10.VM 的 DMP 与阵列 DMP 的结合使用如果 VM 的 DMP 要与阵列的 DMP 同时使用，请查支持列表，例如 HP/CPQ Secure Path 4.0 或 EMC PowerPath 3.0.x or ATF，以 PKG 包的形式存在。 阵列的 DMP 软件功能是将多路径合并成一条路径，且能实现控制器间的负载均衡。而 VM 去 管理的设备是阵列的 DMP 软件产生的设备，通过命令#vxidisk list emcpower33c simple - - online emcpower38c simple - - online emcpower40c simple - - online emcpower41c simple - - online emcpower42c simple - - online emcpower43c simple - - online emcpower44c simple - - online emcpower45c simple - - online emcpower46c simple - - online emcpower47c simple - - online emcpower48c simple - - online emcpower49c simple - - online emcpower50c simple - - online emcpower51c simple - - online emcpower52c simple - - online11.一个配置 PowerPath 的例子 Reconfiguring Solaris Hosts running EMC PowerPath and Veritas VxVM...For configuration purposes, PowerPath stores a primary and alternate device path in the /kernel/drv/emcpower.conf configuration file, and the Symmetrix device number in stored in the /etc/emcpower_to_volnum file.Due to hardware reconfiguration, the PowerPath configuration may become invalid for the following reasons:a) primary and/or alternate hardware address for the underlying device has changedb) a different volume may be placed behind a hardware address..The objective of this procedure is to completely reconfigure PowerPath and reimport VxVM disk groups:Assumptions:1. emcpower/safe devices are not part of an encapsulated root disk2. when the hardware configuration is implemented, all the physical disks belonging to the disk groups will still be visible to the host3. VxVM disk groups are defined on emcpower devicesNOTE: This procedure is to be used only when it is sure that the emcpower devices will be renumbered due to hardware changes.Do not use this procedure unless you fully understand the situations when it is to be used. Please contact the EMC Customer Support Center should you have any questions.Obtain a copy of inq version 6.02 or higher as previous versions of inq were not built to see &emcpower& devices.SAVE THE CONFIGURATION 1. inq & inq.before - save a copy of the hardware config 2. vxprint -ht & vxprint.ht.out - save a copy of all disk group configurations 3. vxdisk list & vxdisk.list.out - save a copy of each disk and it's associated device 4. for each disk group: vxprint -hvmps -mg - save a mapfile for each disk group 5. Save the above configuration files on a non-PowerPath filesystem & vxprint.dgname.outSHUTDOWN AND RECONFIGURE 6. vxdg deport - deport the disk group 7. add new targets/luns to the sd.conf file 8. init 0 9. implement the hardware changes 10. boot -rs - reconfigure reboot to reconfigure devices 11. inq - verify that the hardware reconfiguration was successful and that all paths are visible to the host 12. rm /dev/dsk/emcpower* - delete the old emcpower nodes 13. rm /dev/rdsk/emcpower* - delete the old emcpower nodes 14. mv /kernel/drv/emcpower.conf /kernel/drv/emcpower.conf.old 15. mv /etc/emcpower_to_volnum /etc/emcpower_to_volnum.old 16. powercf -q - quietly reconfigure PowerPath. Creates a new emcpower.conf and emcpower_to_volnum. 17. reboot -- -r - reboot reconfigureMAKE POWERPATH DEVICES VISIBLE TO VERITAS SO THAT AN IMPORT SCAN WILL SUCCEED 18. powervxvm setup - create the /dev/vx/(r)dmp/emcpower nodes 19. vxdctl enable - rescan all the devices on the system 20. powervxvm define - bring the emcpower devices into the VxVM disk list 21. powervxvm online - bring devices with valid private regions online 22. vxdisk list - ensure that all the emcpower devices are &online& 23. vxdg import - import the disk group24. vxvol -g startall - start the volumes 此帖由冬瓜头 qq 原创，转贴请注明，谢谢！痛斥剽窃行为！）
非常经典的存储学习文件―汇集和整理大量word文档,专业文献,应用文书,考试资料,教学教材,办公文档,教程攻略,文档搜索下载下载,拥有海量中文文档库,关注高价值的实用信息,我们一直在努力,争取提供更多下载资源。}
2、LCD显示对应的 Other windows programs 其他小程序 218万源代码下载-
&文件名称: 8LUN-WENDU& & [
& & & & &&]
&&所属分类:
&&开发工具: Others
&&文件大小: 76 KB
&&上传时间:
&&下载次数: 0
&&提 供 者:
&详细说明：1、8路DS18B20采集温度数据
2、LCD显示对应的温度-1, 8 road DS18B20 collecting temperature data
2, LCD display the corresponding temperature
文件列表(点击判断是否您需要的文件，如果是垃圾请在下面评价投诉):
&&8LUN WENDU\DS18B20WithLCD1602.h&&..........\Last Loaded 数字温度传感器DS18B20的应用.DBK&&..........\Text1.c&&..........\Text1.LST&&..........\Text1.OBJ&&..........\数字温度传感器DS18B20的应用&&..........\数字温度传感器DS18B20的应用.DSN&&..........\数字温度传感器DS18B20的应用.hex&&..........\数字温度传感器DS18B20的应用.lnp&&..........\数字温度传感器DS18B20的应用.M51&&..........\数字温度传感器DS18B20的应用.opt.bak&&..........\数字温度传感器DS18B20的应用.plg&&..........\数字温度传感器DS18B20的应用.PWI&&..........\数字温度传感器DS18B20的应用.Uv2.bak&&..........\数字温度传感器DS18B20的应用.uvopt&&..........\数字温度传感器DS18B20的应用.uvproj&&..........\数字温度传感器DS18B20的应用_Opt.Bak&&..........\数字温度传感器DS18B20的应用_Uv2.Bak&&..........\数字温度传感器DS18B20的应用_uvopt.bak&&..........\数字温度传感器DS18B20的应用_uvproj.bak&&8LUN WENDU
&输入关键字，在本站218万海量源码库中尽情搜索：58cv网址导航非常经典的存储学习文件大家好，茫茫人海，有缘相见，荣幸，我不是高手，写出来请大家纠正错误，共同提高，大 家都有强项，希望互相续学习，取长补短。现在把我学存储备份的一些经验共享，曾经绕了不少弯道，请教了不少高手，挨了不少熊， 不容易学了些东西，还不知道对不对，希望大家多纠正错误，就是这个目的了。(此帖由冬 瓜头 qq 原创，转贴
请注明，谢谢！痛斥剽窃行为！）关于为什么要存储备份，我就不说了，见谅！(此帖由冬瓜头 qq 原创，转贴请注 明，谢谢！痛斥剽窃行为！） 现在企业部署数据网络，一般有三中方式，先说 das，das 就是直接把存储设备挂在各个节 点上，数据分别存放在各个节点的存储设备上，比如，一个 hub 接着 5 台 pc，80G 硬盘，这 就叫 das，其实没什么特别的，我要存文件，可以放在我的机器上，也可以放在其他机器的 共享盘上，就是把分区共享，都会吧，呵呵，这就是 das 了，没法管理，因为太分散，每个 人都可以把共享关掉，你没辙，呵呵。(此帖由冬瓜头 qq 原创，转贴请注明，谢 谢！痛斥剽窃行为！）再说说 nas， nas 其实就想当一台拥有超大硬盘容量的 pc 机在以太网络上放着， 当成文件服 务器，就这样，只不过，它单独做成和 pc 不一样的外观，磁盘插槽较多，一般做成 raid5， 一般内嵌 windows storage server（有的也是普通 2000 的 server）操作系统，响应以太网 的客户请求，每台节点都能看见，当作文件服务器用，可以作为 windows，unix，macos， netware 等系统的网络文件系统。这就是 nas。(此帖由冬瓜头 qq 原创，转贴请注 明，谢谢！痛斥剽窃行为！）san 是与前两者截然不同的所谓的“网络”，其实不是传统意义上的网络，它只是把 scsi 数据线延长、用 fc（光纤通道）协议封装，以便传输更快更远。并且做成交换模式而已， 所以叫存储区域网络，而不是主机网络，只能跑数据流，而不像以太网络那种真正的网络， san 就是一个“后方网络”，也可以叫第二网络，第一网络是 lan，lan 直接面对客户端请 求，san 的诞生是为了跑数据流更快。(此帖由冬瓜头 qq 原创，转贴请注明，谢 谢！痛斥剽窃行为！）以前传统的通过 Lan 的数据存储方式是：单独设立一台备份服务器，又称 Backup Server， 安装备份服务器端软件 （在安装的同时， 自动安装了 media server， 也就是说 backup srever 也是 media server）；存储磁盘阵列或者磁带机单独连接在一台机器上，作为介质服务器 （拥有备份介质的节点），安装 Media Server 端软件，这台介质服务器一般就是 backup server 兼作，除非想实施多介质服务器分流；其他需要备份数据的节点安装备份客户端软 件（也称 client agent 代理）；在服务端制定备份策略，客户端负责与服务端的通信，包 括节点的目录结构，状态等，备份开始时，服务端发起备份，客户端接受备份指令，把节点 数据通过以太网 lan，传给 Media Server，然后 Media Server 主机将接受到的数据写到他 连接的存储设备上。在基于 LAN 的备份中， 也可以有多个 media server, 可以指定那些 client 数据通过特定 media server 写到相应的存储设备上。 这样， 以太网将承受很大负担， 不但接受访问请求通过 lan，备份数据流也通过 lan 走，影响了性能。(此帖由冬瓜头 qq 原创，转贴请注明，谢谢！痛斥剽窃行为！）现在，san 的诞生解决了只有一个 lan 的紧张状态，使得生产前线和后台备份分开，走两个 网络，互不干扰，当然也可以用第二套以太网络代替 san，但是 san 是基于光纤链路的，速 度快，一般结构是：中心一台光纤交换机，存储阵列和磁带设备都单独连接到光交换机上， 磁带设备对任何节点可见，任何节点都可以访问他们（当然要装驱动），所以任何节点都拥 有备份介质，都是 Media Server。对于主机，要有 hba 卡，用于接光纤，就像用以太网卡 接双绞线一样。hba 卡有个 wwn 号，就类似与网卡的 mac 地址。磁盘阵列上一般要先划多组 raid，划好后，划分逻辑卷大小，一个逻辑卷就叫一个 lun，一般一个 lun 不能跨 raid 组， 这些 lun 可以设定让哪些 wwn（hba 卡对应的号码）看到，对应的主机开机后，便会认出新 加物理磁盘 （其实是阵列上的 lun）在 aix 下， 被认成 vpath。 ， lun (此帖由冬瓜头 qq 原创，转贴请注明，谢谢！痛斥剽窃行为！）san 备份，同样需要一台备份服务器，安装服务器端软件，其他节点安 Meida Server 端软 件，对于 Veritas 公司的说法，还要安装 SSO 选件，SSO 是指：share storage option（共 享存储选件，就是指 san 的环境），作用是用来仲裁共享的设备，因为 san 上的盘阵，磁带 机都是对任何节点可见的，这样就需要来协调，不至于发生节点抢资源造成冲突的情况。同 样服务端发起备份指令，客户端接收执行，但是这次，客户端直接将数据从本节点（media server，也是生产主机，客户机）写入备份设备，因为，san 上，任何节点都能看到磁带库 设备，都是 Media Server，这就是所谓的 lan free 备份，如果有些数据可以直接从盘阵拷 贝到磁带 （盘阵和磁带库都独立的接到 san 交换机上） 那么完全不用主机插手， ， 叫做 server free 备份。(此帖由冬瓜头 qq 原创，转贴请注明，谢谢！痛斥剽窃行为！）下面是 Veritas 公司各种选件说明：1. Remote Agent (CAL) 选件， 就是所谓的 client agent 选件， 包括 windows、 linux、 netware、 macos 等版本。2. 介质服务器选件，安装在介质服务器上的选件。 其中又包括：(此帖由冬瓜头 qq 原创，转贴请注明，谢谢！痛斥剽窃行为！） a. 中央管理服务器选件 (CASO） 为多台 Backup Exec 介质服务器提供简化的集中管理 。它是强大的可扩展解决方案，能够 集中管理大量 Backup Exec 介质服务器的运行、负载平衡、容错、监控和报告。这些服务器 可能位于 Windows 数据中心或分布在整个网络，或者位于远程办公室。借助中央管理服务 器选件，用户可以简单地增加和管理 Backup Exec。b.高级磁盘备份选件 (ADBO) (此帖由冬瓜头 qq 原创，转贴请注明，谢谢！痛斥 剽窃行为！） 通过基于磁盘的高级备份和恢复，包括合成备份、脱机备份，可以实现更快的备份和恢复， 进行零影响的备份。 合成备份可以缩短备份时间，减少网络带宽需求，而且不会影响原始 客户端。此外，合成备份使用户能够从一个备份映像进行快速的客户端恢复，而无需从多盘 磁带和增量备份进行恢复。脱机备份功能能够在 Backup Exec 介质服务器上（而不是在远程 计算机或生产主机上）处理备份操作，从而提高备份性能，解放远程计算机。(此帖由冬瓜 头 qq 原创，转贴请注明，谢谢！痛斥剽窃行为！）c.ADVANCED OPEN FILE OPTION? （高级打开文件选件） 确保本地或远程服务器上的文件在被使用过程中也能受到保护。VERITAS Backup Exec 的 Advanced Open File Option 能够在卷的级别上处理打开的文件，并且无缝集成到 Backup Exec 软件中。使用本选件，您无需提前知道哪些文件是打开的，只需点击鼠标，设定预定 备份即可。此外，它还能在一次作业中备份多个卷，利用依次创建各个逻辑卷在某个时间的 快照来进行。 在创建逻辑卷快照并进行备份之后， 这个快照会在创建下一个逻辑卷快照之前 删除。该选件提高了最小化快照所需静默时间的能力。(此帖由冬瓜头 qq 原创， 转贴请注明，谢谢！痛斥剽窃行为！）d.DESKTOP AND LAPTOP OPTION （台式机和笔记本选件） 大多数企业都依靠用户手动将关键业务数据复制到服务器。 如果用户没有遵照执行， 存储在 员工工作站、台式机、笔记本电脑上的大多数关键业务信息就得不到保护。DLO 能够为台式 机和笔记本电脑提供持续的数据保护，无论是在办公室，还是在路途中。这种选件不仅能够 改进数据保护和效率， 还使用户能够恢复自己的文件， 保持多台台式机和笔记本电脑之间的 同步，从而使所有用户的电脑都能保持最新的文件版本。Desktop and Laptop Option 不需 要专用的独立服务器，能够很轻松地集成到现有的 IT 基础设施和策略中，从而降低总投资 成本。Backup Exec 内部的全新推送式安装功能可以进行软件的集中部署。(此帖由冬瓜头 qq 原创，转贴请注明，谢谢！痛斥剽窃行为！）3. 各种数据库代理，如 oracle 代理，exchange 代理，notes 代理，这些代理能实现针对数 据库或应用软件深层的比如表结构，某封邮件进行备份，而不只是文件层次的备份。(此帖 由冬瓜头 qq 原创，转贴请注明，谢谢！痛斥剽窃行为！）4. INTELLIGENT DISASTER RECOVERY? OPTION （智能灾难恢复选件） 作用类似于 ghost，能利用他生成系统恢复磁带或者光盘，当系统崩溃时，直接用磁带或者 光盘启动系统，进行快速恢复。5. LIBRARY EXPANSION OPTION? （磁带库扩展选件） 任何 Backup Exec 介质服务器都可以连接到不限数目的独立磁带机， 或者在一个物理或虚拟 磁带库、自动加载磁带机、介质更换机中的物理或虚拟的磁带机。但是，要使用这些超过一 个磁带机的设备时，都需要购买另外的磁带库扩展选件（LEO）来支持每一个额外的磁带机。 这个就有点赖皮了，呵呵。(此帖由冬瓜头 qq 原创，转贴请注明，谢谢！痛斥剽 窃行为！）6. SAN SHARED STORAGE OPTION? （SAN 共享存储选件）(此帖由冬瓜头 qq 原创， 转贴请注明，谢谢！痛斥剽窃行为！） 借助这种脱离 LAN 的强大备份解决方案， 多台分布式备份服务器能够集中通过交换式光纤存 储网络或 iSCSI 存储区域网络 （SAN） 连接的存储设备， 提高性能、 效率和容错率。 Shared SAN Storage Option 能够跨越多台共享设备来实现作业（来自多台 Backup Exec 服务器）之间 的负载平衡。它能够改进性能、备份速度和集中的介质管理，有助于降低总投资成本。SAN Shared Storage Option 是一种具有突破性的解决方案，可以提高大型高端存储环境的可管 理性和性能。 这个就是 SSO。(小知识：作 raid 需要有 raid 卡，raid 卡的作用是协调多块硬盘之间的数据走向，计算各 个 raid 模式下，各硬盘应走多少数据。raid 卡可以是集成在主板上，也可以单独一块 pci 卡。有的 raid 卡上面带硬盘接口，比如 scsi，sata，ide，硬盘必须插到卡上；而有的 raid 卡不硬盘带插口，插到主板上，自动接管了硬盘通道，硬盘还是接到主板上。 不要将 raid 卡和 scsi 卡弄混， scsi 卡是为了解决主板上没有 scsi 接口而生的， scsi 硬盘需要接到 scsi 卡上或者主板的 scsi 口。有的 scsi 卡也集成了 raid 功能，就是二合一卡。1. raid0 比如有两块盘，100M 的文件，现在想把文件写到盘上，可以写到任何一块盘上， 比如写到 A 盘，耗时 10 秒；现在如果这样，通过计算，把 100M 的数据分成两个 50M，每个 盘各写 50M，这样总耗时：5 秒，是不是快了，当然实际肯定高于 5 秒，至少比写到一块盘 快。同样读数据也是这样，从两块盘并行读，是不是也必一块盘要快呢？这就是 raid0，任 何大于 2 块数量的磁盘就可以作 raid0，如果磁盘容量不一样，比如一块 40G，一块 80G， 不会浪费任何空间（仅限 raid0 模式），这样两块盘作 raid0，总容量最后就是 40G＋80G ＝120G。一般情况，raid0 容量＝各个盘容量之和。raid0 是所有模式中速度最快的。也是 安全性最低的，因为数据都分割了存放，任意一块盘损坏，数据全部丢失。无任何安全性可 言。2. raid1 为了实现数据冗余，防止一块盘损坏，数据就全丢失的情况发生，将一份数据同 时写到两块盘上，任何一块盘损坏，另一块块盘在线接管。所以 raid1 也叫镜像 raid。是 所有模式中速度最慢的， 因为数据要同时写两块盘。 但是安全性是最高的。 无任何速度可言。 任意偶数块盘就可以作 raid1。如果磁盘容量不一样，最终按照容量最小的盘算。raid1 总 容量＝最小容量 X 磁盘数量÷2。3. raid0+1(也称 raid10） 比如这样：两块盘先作 raid0，然后再找两块盘，将原来做好的 raid0 中数据复制一份到自己，与原来的 raid0 做成 raid1；或者两块盘先作 raid1，然后 再找两块盘，分担数据流量，与原来的 raid1 做成 raid0，这样就组成了 raid10。这种模式 是所有模式中性能和安全性都最好的一种，但是成本是最高的。4. raid3 顾名思义 raid3 就是最少需要 3 块盘组成，原理是这样的：和 raid0 一样，数据 分割，并行写入各个磁盘，除了其中一块磁盘，这块盘叫做奇偶校验盘（一般用 P 表示）， 单独存放奇偶校验信息，所谓奇偶校验，就是：因为数据被分割了存放，所以可以根据这些 分割的数据来做一个恢复措施， 利用我这边的数据和你那边的数据算出一些信息， 如果任意 一边数据丢失， 通过另一边的现存数据和事先算好的信息， 就可以再生成丢失的数据。 这样， 如果任何一块盘损坏， 都可以根据另外的磁盘重新生成坏盘上的数据， 不管损坏的是数据盘， 还是校验信息盘。由于校验信息占用空间不大，所以只需一块盘就够了，信息都放在这块盘 上，这样既实现了 raid0 的速度（比 raid0 稍慢），又实现了 raid1 的安全（raid1 是纯数 据的镜像，raid3 是利用奇偶校验信息，占用空间小），成本又相对低廉，何乐而不为？但 是如果同时（同一时刻）坏掉两块盘，数据就完了。raid3 总容量＝容量总和－P 盘容量。5. raid5 raid5 是 raid3 的升级版本。 raid3 有个缺点：作为存放校验位的硬盘，工作负 荷会很大，因为每次写操作，都会把生成的校验信息写入该磁盘，而其它磁盘的负荷相对较 小，这会对性能有一定的影响。raid5 是：当向阵列中的磁盘写数据，奇偶校验数据均匀存 放在阵列中的各个盘上，其他和 raid3 一样。现在 raid5 是应用最普遍得一种模式。小知识： 热备盘（hot spare 盘，又称 S 盘）。刚才说了，任何模式的 raid 阵列，如果同 一时刻坏掉两块以上得盘，数据就完了（raid0 坏一块就完了），但是这种情况一般不会发 生，除非人为或者不可抗力引发，那么我们就不管了吗？不行！如果某天，raid 阵列有一 块盘损坏，而没有采取措施（比如没有多余备用硬盘，或者周末，无人），那么过一段时间， 如果又坏了一块，咋办？哭吧你就！虽然同一时刻坏多块盘的情况很少，但是同一时期坏盘 的几率就很大很大，因为硬盘生产批次，所处环境都一样。那么怎么避免这种情况发生呢？ 热备盘就派上用场了。热备盘就是为了一块盘损坏后，无人值守情况下，自动补上坏盘的位 置，数据重新生成在这块新盘上。可以设多块热备盘，有的阵列可以只设一块热备盘，供阵 列中所有的 raid 组（就是按照一个 raid 模式所作的 raid)使用，有的就只能每个 raid 组 都必须设一块热备盘（IBM 的就是这样）。 可能有人有个疑问：在 raid5 或者 3 中，如果 一块盘坏了，坏的数据怎么继续读出？是这样的：损坏的数据是一边校验，一边传送给外部 的，这样其实是很危险的，万一再坏一块盘。。。。。6. raid5E 为了防止没有热备盘的情况下先后坏掉多块盘引起的数据丢失，一旦某块盘损 坏，不像 raid5，只有再请求数据读写的时候，现场生成数据流，发送给外部，这些数据没 有存放起来，raid5E 将损坏的数据重新校验生成，压缩存放在其他盘上的未使用的空间上 （这些未使用的空间，系统是认不到的，没有参与 raid 的建立，没有条带化，不属于 raid 组），这样就和 raid5＋S 差不多，只是 S 被均匀分部到了其他盘上。这样的话，先后坏两 块盘，同样能保持运行。raid5E 中不存在热备盘，只是每块盘上划出一些空间，用作热备 而已，所以整个 raid 模式还是 raid5（不带 S 盘）级别。7. raid5EE 与 raid5E 相比，raid5EE 是完全携带了 S 盘，不过这个 S 盘不是真正的一块物 理盘，而是均匀分部在其他盘上，S 空间参与了条带化，属于整个 raid 组的一部分，这样 恢复数据更有效率，其他和 raid5E 一样。小知识：一些售前工程师专业的术语。x＋s＋p：raid5 中的术语，x 块盘是数据盘，一块 s 盘, 一块 p 盘（实际不是一块物理盘都是热备，p 被均匀分部各盘上，而是他占用了一块盘 的空间而已，严格来说，数据盘也就是 x＋1 块了）。这次说说磁盘阵列柜什么是磁盘阵列柜，就不说了，见谅！针对不同的硬盘接口，阵列柜有不同的内部接口，比如 scsi，sata，fc（光口），ssa（串 行 scsi 接口）接口，除了内部接口（接硬盘用的），阵列柜还得有个外部接口，包括 scsi， ssa，fc，iscsi 接口。现在企业级用户一般用 fc－fc（内接口－外接口）的盘阵. 这里终点讲讲 iscsi，iscsi 就是 scsi over ip，将 scsi 协议封装到 ip 包中，通过 lan 双 绞线传输，以克服 scsi 传输距离短的缺点，而且方式变得灵活，毕竟以太网及 ip 都是非常 成熟的技术。iscsi 分为 initiaor 端（发起端）和 target 端（目标端）。 initiaor 端是 主机端，适配器可以是专门的 iscsi 卡，价格昂贵；也可以用普通网卡，安装 iscsi 的 initiaor 驱动，用软件模拟硬件的 iscsi，这个驱动微软免费提供。target 端指得就是阵 列端，也有用软件模拟 target 的，名称叫做 wintarget，付费软件，装到一台主机上，主 机的硬盘（不管什么接口）就成了 iscsi target。阵列柜一般由这两种柜组成：自带 raid 控制器的机头（server enclosure），和不带 raid 控制器的扩展柜（enclosure）。两种柜子里面都有一定数量的磁盘槽位。后者只是一个柜子而已，一般作为机头（稍后讲）的扩展柜，机头可以带领多个扩展柜。如 果单独用后者作为存储设备，需要主机额外购买 raid 控制卡，通过主机上的 raid 控制卡， 对盘柜中的硬盘进行 raid 组划分，逻辑单元（lun）的划分，这个过程可以在 windows 环境 下通过盘柜提供的管理软件来做，也可以通过提供的光盘引导主机后，进入管理界面来做 （IBM 的 server raid 盘）。一个典型的例子就是 ibm 的 exp300 扩展柜（其对应的机头是 fastT 系列的），外部 scsi 接口，主机上用 6M 的阵列卡（二合一），scsi 接口，对其作 raid 控制。前者，机头，是阵列的控制器所处的柜子，其上背板的接口分为两部分，一部分用来与扩展 规作级联，扩展容量，接口类型按照型号不同，可以是 scsi，fc，ssa 等；另一部分用来与 san 交换机或者主机连接，一般是 fc 口，而且有多个，用来做冗余，连接到多台 san 交换 机，或者同一个主机上的两块 hba 卡，这样可以做到冗余并且负载均衡。高端一些地机头，一般都有电池后备系统，仅仅用来支持系统缓存板（一般都是 G 级别的） 中数据缓存，以至于断电的时候不至于丢失数据，所有数据的读写都是先通过缓存，缓存容 量一般 1G 或者 2G，写数据的时候，客户发出写的命令时，其实是先写道缓存，然后阵列通 知用户写动作结束，写入成功，因为是写到缓存，所以对用户来说，速度是很快的，其实， 这时候，缓存正准备向磁盘写入，如果磁盘写入成功，那么缓存方能删除此次的数据，如果 此时突然断电，磁盘写失败，那么缓存便知道发生灾难，电池会继续保持缓存中数据和待处 理的写动作，等待来电时继续执行。对于 IBM 的 DS6800 系列，电池可以支持 72 小时。DS6800 机头是一个双控制器，双电池后备板，双电源，4 个 host access 口的机头，每个控 制器可以连接 7 个扩展柜， 但是机头中的磁盘已经属于一个控制器带了， 所以这个控制器在 外部，还能带 6 个，另一个控制器带 7 个，所以一共是 14 个柜子（包括了机头），每个柜 子最多放 16 块盘，这样一共 224 块盘的容量。 下面说说 raid 和 lun 的问题，因为机头上有控制器，所以，可以通过机头来管理 raid，而 不需要额外的 raid 卡。机头背面有以太网接口，可以通过以太网连接到机头，有的可以直 接通过 telnet 就可以完成配置， 有的则需要在主机上安装相应的管理软件， 然后连接机头， 做相应配置。机头的 ip 地址由厂家预先设好，可以自己改，通过串口，用超级终端通信。 阵列的配置，无非就是先选好几块盘，作 raid 组，然后在 raid 组上，划分 lun，大小自定； 然后作 group，可以是 raid 组 group、lun group，主机 group 等，就和 windows 系统中的 用户组一样，为了方便管理；然后作主机 map（映射），或者叫 host attachement，所谓 map 就是说让哪个或者哪个组（哪些）主机能看到相应的 lun，或 lun group，设定好 map 后，主机开机，便会看到分配给它的新磁盘（对应阵列上的 lun），主机可以对其进行分区， 格式化等常规磁盘的操作，而不必也无法关心这个 lun 在阵列中是由哪些盘组成的，raid 类型是什么，这些都是阵列控制器关心的，上层主机是看不到的。这次本来想说说双机，但是今天去帮网友调 BE（backup exec），想把过程说说，一是为了 给读者阅读，二也为了把过程记录下来，以后有用处。周六晚上和一个网友聊天， 说是周一他要给客户调 BE， 自己搭了个环境， 练练手， 说是 remote agent 不管是 push 安装（从一台机器上通过 ipc 共享，将安装文件及安装命令通过 lan 拷 贝到客户机，在本机控制客户机安装），还是将安装文件拷贝到客户机，本地安装，都不能 安装成功（辨别方法是：看看服务里面有没有 backup exec remote agent 服务启动，或者 看看 windows 或者 winnt 系统目录下的日志文件中有没有报错）。 和他约好今天上午去他 公司一起研究研究，由于我也是蔡鸟，欣然接受，中午还捞了顿饭，呼呼。大致过程如下：搭建的环境是这样的： 台 pc 机， 2 其中一台安装 oracle9i， 作为备份客户机， 需要安装 remote agent 以及 oracle agent；另一台作为备份服务器，需要安装 backup exec for windows server，同时也作为介质服务器（media server)这个环境的安装顺序以及需要注意的问题： 1。 首先在备份服务器上，从光盘安装 BEWS（backup exec for windows server），行话 又称：BENT（也就是 backup exec for NT enviroment）。安装的时候是这样的： 在安装界面中，先选择本地安装，BE 的各个选件都有对应的序列号，搞到序列号（用算号 器），输入到安装界面，添加，便会自动识别出对应的选件，首先输入 BE 主模块的 key， 然后输入 remote agent 和 oracle agent 的 key，安装程序将安装 BE 主模块，并且在安装 目录下生成“oralce”以及“rant32”两个目录，都自动设成了共享，因为这两个选件 （rant32 中是 remote agent 的安装文件，oracle 中是 oracle agent 的安装文件）需要拷 贝到客户机或者 push 到客户机安装。2。 在客户机，将需要安装 remote agent 以及 oracle agent 两个选件，可以从备份服务器 上远程 push 安装（在安装界面中选择：远程安装），也可以利用上一步生成的安装文件在 本地安装。但是我们今天不管是 push 还是本地，都未能安装成功，日志中提示 1603 错误， 可能是版本的问题。最后索性在数据库客户机上也安装 BE 主模块，remote agent 服务方才 启动（主模块带了 remote agent 功能，需要输入 remote agent 的 key）。然后安装 oracle agent，安装完成后，程序菜单中生成一个 oracle agent 配置程序的快键方式，这个配置程 序的作用，主要有 3 点，第一是定义一个密码，用于备份服务器访问 oracle agent 时进行 验证（这个密码和数据库毫无关系，完全自定义）；第二就是定义介质服务器，必须添加介 质服务器（添加主机名或者 ip 地址），以便数据传到介质服务器上，进行备份，需要说明 的是，一开始，我们没有添加任何介质服务器，导致在备份服务器上，看不到任何 oracle agent 发过来的回溃信息，只有在这里定义的介质服务器，才能在对应的介质服务器上看到 oracle 的回溃信息； 第三就是定义数据库的 SID， 以及登陆数据库的帐号和密码， 因为 oracle agent 必须要打开数据库进行读取操作。 所以，安装 oracle agent 后，必须先进行这 3 个配置。配置完成后，在备份服务器上控制台中点击备份，会看到有本地和远程两大部分，其中本地 部分就是备份服务器本地的硬盘目录，可以选择备份哪些；远程下面就和网上邻居差不多， 浏览各个目标客户机的目录结构（由 agent 回溃），选中某些文件，以便进行备份。另外， 如果远程客户机有 oracle 数据库运行，并且装了 oracle agent 而且已经配置好，那么在远 程部分，应该出现 oracle agent 回溃的远端主机 oracle 的数据库结构（可以有多个），可 以选择某些表的备份，当点选这些 oracle 结构时候，可能会弹出让你选择用户的对话框， 这就是因为在 oracle agent 配置程序中配置的那个验证密码，只有通过验证，才能访问 agent 的回溃内容，此时可以在这个对话框中新建一个用户，密码就是在 oracle agent 配 置程序中定义的密码，然后用此用户访问 oracle agent 即可。到这里，还有一个问题没有解决，即 remote agent 的安装，为什么总是报错，装了 3 台机 器，两种系统，2000server，2003server，都报错，怎么回事。。。。。。SAN 路由存储区域网（SAN）被称作“第二网”，经过多年发展，第二网络已经从一个“二层”网络 发展成为“三层”网络。一个孤立的二层网络存储区域网是专门为进行大规模数据传输而设计的专有网络， 它使用光纤通道协议， 通过光 纤通道集线器、交换机将磁盘阵列、带库以及相关的服务器连接起来，从而形成了一个高速 的专用网络。因此，SAN 最大的特点就是独立性，甚至在初期，它在物理上与其他网络相分 离。尽管 SAN 为用户的大规模数据存储提供了一个高性能、高可靠性的“第二网”，但是，长期 以来，用户形成了多个 SAN 孤岛。可能每个孤岛用来满足用户的某项应用。但是，就像采用 直连存储所造成的信息共享困难一样，各 SAN 孤岛之间的数据也同样无法进行交流。当初，为了消除信息孤岛，为了能够使数据在服务器之间共享，才发明了 SAN，而随着 SAN 的构建形成了新的孤岛。 在新的孤岛之间进行数据共享的难度加大， 而随着用户对数据共享 的需求越来越高，因此希望将 SAN 孤岛连接起来。目前有四种方式可以实现，包括裸光纤直连、WDM（波分复用）、使用 SONET（SDH）数据传 输技术以及 FCIP 技术，这样几个 SAN 孤岛可集成为一个大的 SAN 网络。SAN 孤岛互联问题多从现有的 SAN 网络技术来说，四种连接方式均将多点构成一个 Fabric 网络，这样在一个 Fabric 网络中就有统一的网络服务（如统一的名称服务器、分区配置、地址空间、Fabric 管理等），在远程连接的环境中就会带来很多问题，主要有以下几个方面。主交换机（Principal Switch）的问题：在光纤通道际踔校?桓銎 abric 网络只有惟一的主 交换机，由它来统一分配域 ID，保证整个 Fabric 有一致的地址空间，当主交换机出现故障 时，就会造成整个 Fabric 发生重新配置（Reconfigure），从而中断应用系统运行。因此无 论主交换机处于哪一端，出现故障时都对其他端带来致命影响。主 ISL（Inter-Switch Link，交换机间链路）的问题：远程连接两端的链路一般均是交换 机之间的连线，而且也承担交换机管理信息的传递（主 ISL 链路），而这个链路很有可能发 生时断时续的故障，当这个主 ISL 链路发生故障时，就会使无主交换机的 SAN 孤岛发生 Reconfigure，并选举新的主交换机，这样也造成应用系统的中断; 同时也会对主交换机的 SAN 孤岛造成 Fabric Build 过程，如果这个过程不成功，同样也会造成应用系统的中断。加入或撤出交换机的问题：由于多个端点均连接成一个 Fabric 网络，因此在网络中的任何 人从网络的任何一个点中加入或撤出一个交换机时，可能会发生域 ID 的冲突，这样会使整 个 Fabric 发生 Reconfigure，同样会造成应用系统的中断，即使无域 ID 的冲突，也会使整 个 Fabric 发生 Fabric Build 过程，如果因某种原因造成这个过程不成功，也会使应用系统 发生中断。远程点之间安全性的问题：在远程连接的 SAN 网络中，安全性是一个突出的问题，因为任何 人可以从网络的任何点连接到整个 Fabric 网络中，如果能够模拟其他应用系统 HBA 的 WWN （全球名称），将会窃取到数据，如果有人为的破坏，也会使整个 Fabric 网络发生瘫痪， 从而使整个应用系统无法正常运行。多点容灾环境下的问题：如果在多点的环境中，将各个 SAN 孤岛连接起来，形成一个大的 Fabric 网络，远程 ISL 链路比较多，出现远程连接的问题就比较多，而且任何 SAN 岛出现 上述的任何问题，都会造成 Fabric 网络的不稳定或应用系统的中断，因此在多点远程连接 的情况下，网络安全和稳定将会是一个突出的问题。SAN 路由器应运而生为了解决上述 SAN 孤岛互联时产生的各类问题，SAN 路由技术应运而生。人们可以使用 SAN 路由技术把迄今为止互无联系的光纤通道 Fabric 连接起来而又使各个 Fabric 能够保持其相 互的独立性。SAN 路由技术给网络存储以及容灾系统带来了诸多好处。SAN 路由技术实现了 SAN Fabric 间的无缝连接， 在连接不同的 Fabric 时不要求对现有 Fabric 的参数做任何修改，同时路由器的接入不会对正在执行的 I/O 造成任何影响。SAN 路由器实 现了 Fabric 间的资源共享，特别是实现了 Fabric 间的磁带库共享。SAN 路由器突破了一个 Fabric 内最多 239 台光纤通道交换机的限制，使得大规模 SAN 网络成为可能。在容灾系统 中使用 SAN 路由器可以隔离本地和异地的 SAN Fabric，极大地提高了容灾系统的数据可用 性和整体的可靠性和稳定性。多 Fabric 通过 SAN 路由器的互相连接保证了同一个公司中不 同部门的 SAN 网络的管理的自主性，提高了各部门 SAN 发展的自由度。从实现技术上讲，目前主要有两种主流技术：一种是 FCIP（FC over IP），另一种是 iFCP （Internet 光纤通道协议）。FCIP博科通讯中国区技术总监司马聪博士介绍: “由于在当今的数据中心里，SAN 发挥着更加重 要的作用，所以许多机构都在寻找创新解决方案，将其 SAN 的优点延伸到整个企业。为了对 这种努力提供支持，独特的博科 SilkWorm 多协议路由器可以增加当今 SAN 的功能、连接和 通用性。”该多协议路由器用于支持多种路由服务，包括实现 SAN 连接的博科 FC-FC 路由 服务、用于延伸 SAN 距离的博科 FCIP 隧道服务以及用于同 iSCSI 服务器共享光纤通道存储 资源的 Brocade iSCSI 网关服务。FC-FC 路由服务是多协议路由器上的服务之一，它可以让不同 SAN Fabric 中的设备建立通 信，而无需将这些 Fabric 合并成一个大型的 SAN。博科 FCIP 隧道服务使得各机构可以将其 光纤通道 SAN 延伸更远的距离。将 FCIP 隧道服务与 FC-FC 路由功能配合使用，可以让两个 Fabric 保持独立，而无需将其合并为一个，而且还允许在所有设备间建立任意设备到任意 设备连接的 Fabric。iFCP根据 McDATA 公司中国区技术经理雷涛介绍， 该公司主要根据一项名为“SecureConnect”的 技术设计 SAN 路由器。SecureConnect SAN 路由技术是由 Nishan System 公司首创，该公司 在 2003 年被 McDATA 收购。SecureConnect SAN 路由技术能够为每个本地 SAN 光纤网络提供 具备互操作性能力的 E_Port 连接，在每个站点终止 E_Port 连接。因此，光纤网络的搭建被 限制在每个地点，而且光纤交换机到交换机间的协议也无需贯穿整个 IP 网络。如果两个甚 至更多的地点由 McDATA 的 SAN 路由器连接，每个地点将仍然拥有一个独立的 SAN。在存储 设备及服务器间，只有被授权(被分区)的连接允许通过 IP 网络。与第三层网络路由相同， SecureConnect SAN 路由不但保证了各 SAN 分区间数据的可靠传输， 也避免了整个存储网络暴露于应用全面中断的潜在风险。用户可以利用具备成本效益的 IP 网络服务，来部署复杂的、多重 SAN 存储解决方案。除错误隔离外，SecureConnect SAN 路 由解决方案能够减少地址重复问题，从而简化 SAN 的连接。McDATA 的 SecureConnect SAN 路由技术允许在不同的光纤交换机上使用相同的域地址分配，而不会出现任何路由问题。FCIP 与 iFCP 之比较列表 协议类型是否终结光纤通道会话是否为隧道协议类型可连接设备类型 FCIP 否是交换机、集 线器、路由器 iFCP 是否交换机、集线器、路由器、HBA、存储阵列发展趋势D多厂商互联目前而言，SAN 路由器还只能够将来自一家厂商的产品进行连接，SAN 路由器还不能支持多 厂商产品，也就是说，如果两个 Fabric 分别由来自不同厂商的光纤通道交换机组成，那么 目前还没有产品能够将它们连接在一起。 尽管各厂商都声称将来支持， 但是， 分析人士认为， 目前多厂商交换机之间的互联互通仍存在各种问题， 而路由器之间的问题要远比交换机的复 杂得多。在以太网中的路由器技术已经非常成熟了， 同时标准化的产品之间互联互通不会存在任何问 题。这是大家非常熟悉的现状，那么，以太网的路由器在初期也无法互联互通吗？其实，在 以太网实现“路由”的道路大致一样，当初，用户认为他们有足够多的交换机，根本没有必 要使用路由器，当需要连入更多资源时，用户购买更多交换机而非路由器。笔者一位朋友在 回忆大概十年前的情景时说，当时抱着一个巨大的路由器向用户上门推销，但是用户却问： “我们有交换机， 为何需要路由器呢？”如今， 以太网路由器几乎到处都是。 最为关键的是， 在用户目前的以太网环境中使用的路由器来自多个厂家， 它们之间、 它们与以太网交换机之 间可以任意互联互通。这也应该是 SAN 路由器的发展方向。“标准化”三个字极大地推动了以太网的发展， 一方面标准化可以吸引众多厂商参与， 并且 朝着同一个方向前进， 结果使得各厂商产品都符合“标准”， 因此在互联互通方面不会存在 任何问题；另一方面，标准化加速了产品与技术的成熟，使得成本和产品价格迅速降低，更 多的用户可以用得起，应用的普及反过来对技术起到积极的推动作用。应用案例 [IMG]313.jpg[/IMG] 互联互通 轻松实现 国内某大型保险公司已经成功应用了 SAN 路由器。 在用户的存储环境中， 有两个本地的存储 网络，SAN-1 和 SAN-2，每个 SAN 网络都通过一个导向器级的交换机连接。此外，一个比较 小的 SAN 网络（SAN-3）用来模拟一个小型远端的分支 SAN 的配置。该用户使用三个 SilkWorm 多协议路由器将一个 GbE 的交换机以及三个 SAN 环境联接起来。用户采取了 iSCSI、FCIP 以及 IFL (Inter-Fabric Links)组合的连接方式。IFL 是最基本的 FC 连接方式，与 ISL 的概念类似。一般地，在连接一个 SAN 时，你需要建立两个或多个 IFL 链路，以保证系统的稳定性和性能。首先，在 SAN-1 内的一个主机设备与 SAN-2 内的一个磁 盘阵列建立一个连接，通过这种方式在 SAN 之间建立的连接称为逻辑 SAN（LSAN)。创建一个 LSAN 非常容易。在一个单一 SAN 环境下，可以创建包含一组存储或主机设备在内 的特别分区，以实现在 SAN 内的跨设备间的更好的访问和管理。LSAN 分区在概念上类似于 通常意义上的分区，并且可以用同样的工具创建。为了避免 SAN 网络地址的冲突，SilkWorm 路由器使用 FC-NAT 方式，如同相应的 IP 地址，来掩盖相邻 SAN 网络的地址冲突。LSAN 和 FC-NAT 实现了在多个 SAN 之间保持其各自独立的 SAN 网络管理的同时， 在不破坏以 前的配置的情况下，建立 LSAN 分区。用户可以在不同的 SAN 网络之间有选择地将部分主机 及存储设备连接起来。 对于 SAN 集中的需求来说， 这是最能够被接受并减少潜在危险的一种 方式。为了检验网络中断的效应，工程师将其中一个 IFL 的端口拔掉。几秒钟内，另一个没有被拔 掉的 IFL 端口开始承担原来两个 IFL 的工作，并且吸收来自主机端的全部传输量。存储区域网原本是一个既封闭又独立的子网，它使用的光纤通道协议对于大多数 IT 技术人 员来讲都十分陌生。由于各种原因，在长期的运行过程中，SAN 经常出现各类问题，比如管 理复杂、随着系统规模增大存储整合难度加大等。SAN 路由技术是一个比较好的进步，它不仅解决了一些 SAN 孤岛互联问题，更重要的是为存 储区域网的应用开辟了一条崭新的道路。大家知道，IP 存储技术已经发展了几年时间，而 直到 SAN 路由器的产生才使得 IP 存储技术得到实际应用，除此之外，多协议的转换技术还 为更多 IP 存储技术的集成预留了足够的发展空间，比如 iSCSI。但是路由并没有解决所有问题， 比如从它的应用领域来讲， 目前主要应用在中低端的存储区 域网中，大型存储区域网的整合目前还主要通过导向器级光纤通道交换机来实现。另外，与 以太网路由器技术相比，SAN 路由器还相对简单，它并没有完全设计出一套全新的体系，有 分析人士指出，SAN 路由器大概类似一个 SAN 孤岛互联的“补救设备”，它并没有从根本上 改变原来 SAN 孤岛的设计。由此看来，对于 SAN 路由器来讲，“革命尚未成功，厂商仍需努力”。在这方面，以太网是 一个很好的榜样，存储区域网可以从中学习借鉴许多经验。而笔者认为，最值得借鉴的便是 标准化与多厂商参与，然而，从近两年的发展情况来看，存储区域网领域大有“逆其道而行 之”的趋势，随着一些并购案的发生，该领域厂商没有增加反而减少了，再加上该领域的进 入门槛相当高，因此，在可预见的将来，用户仍然不会获得更多的选择。SAN 的基本知识和应用 SAN(Storage Area Network， 存储局域网)是独立于服务器网络系统之外几乎拥有无限存储 能力的高速存储网络，这种网络采用高速的光纤通道作为传输媒体，以 FC (Fiber Channel， 光通道)+ SCSI(Small Computer System Interface， 小型计算机系统接口) 的应用协议作 为存储访问协议，将存储子系统网络化，实现了真正高速共享存储的目标。 光纤通道 SAN 引发了更多类型的存储应用,其中包括服务器群集、磁带备份、故障恢复以及 高速视频与图形编辑。每一种应用都可通过与光纤通道集线器或光纤通道交换器的组合建 造。高速的数据传输能力是由集线器和交换器产品提供的,软件产品提供了对较高层功能支 持。例如,Veritas 和 Legato 公司所提供的服务器群集和磁带备份软件,可管理在光纤通道 传输设备上所执行的操作。1.群集 对于 SAN 服务器群集应用来说,单台服务器上所出现的故障不再意味着数据的丢失。另一台 服务器可跨越 SAN 存取出故障的服务器中的数据。 许多厂商的软件产品可以使服务器的故障 得以恢复。光纤通道 SAN 将能够通过多台服务器实现对公共存储设备的平等存取,确保数据 的随时可用。在 IT 界,这种能力叫做“数据拨号音&，意指“能够可靠进行连接并能顺利完 成所需的事务处理的能力”。 在服务器和存储设备之间提供冗余的数据路径,有助于确保数据的高可用性。冗余的数据路 径可通过向每台服务器配备两个光纤通道宿主总线适配器(HBA)得以实现。其中,一个 HBA 作为主数据路径附接于光纤通道集线器或交换器上,而另外一个 HBA 作为辅助数据路径附接 于第二个光纤通道集线器或交换器上。存储阵列通常拥有主、辅两个光纤通道连接器。如果 主光纤通道出现故障,另一个通道能够接管。 与冗余的数据路径和服务器群集软件相结合,一台服务器或一条数据路径上的故障将不会中 断系统的运行,因为另一台服务器或另一条数据路径随时处于备用状态。2.备份 对于所有企业网络来说,磁带备份是一个普遍性的问题。 在磁带备份方面,主要的限制因素包 括:备份数据必须流经的传输设备运行速度偏低;磁带子系统本身的性能较差。 如果某一磁带 子系统能够维持每秒 10 兆～15 兆字节的备份流,那么这一速度将超过 100 兆以太网的能力。 另外,在 LAN 上对一台服务器进行备份,要求所备份的数据必须进行 TCP/IP 打包。TCP/IP 方 面的开销是导致磁带备份性能严重下降的又一重要原因。因此,基于 LAN 的备份不能为有效 的磁带备份提供充足的带宽。与此同时,用户还将会发现,在备份操作期间,甚至在交换式网 络的环境中,LAN 性能也将会明显下降。 随着备份所需的存储量不断从 GB 数量级向 TB 数量级的迅速迁移,一个完整的备份或恢复过 程所需的时间将不能由基于 LAN 的过程得到保障。如果没有足够的时间备份所有的数据,那 么企业将很容易受到磁盘故障的困扰。 目前只有极少数企业具有恢复数据的能力。 为了更有 效地进行备份,管理员必须花钱“买”时间。 而这种“时间”只能来自更高的备份传输带宽。 光纤通道 SAN 可以满足这一需求。 不依赖于 LAN 的磁带备份,是 SAN 带给企业网络的主要好处之一。通过把服务器、存储阵列 以及磁带子系统与光纤通道 SAN 相连,备份数据流可以不经过 LAN,从而使 LAN 摆脱了用户网 络流量的重负。由于可提供每秒 100 兆字节的带宽,所以光纤通道能够很容易地提供对多磁 带备份流的支持。另外,由于备份数据流是元 SCSI-3 格式的,所以写向磁带的数据块比 IP 包的数据流更为有效。 不依赖于 LAN 的磁带备份还可以安装在那些带有直接并行 SCSI 磁盘驱动器的服务器上。把 光纤通道 HBA 安装于每一服务器、把服务器连接于光纤通道集线器或交换器,磁带备份数据 能够高速地发往附接于光纤通道的磁带子系统。这样一来,用户不仅能够继续利用他们对 SCSI 磁盘驱动器最初的投资,而且还可享用 SAN 所提供的不依赖于 LAN 的备份。一旦光纤通 道基础设施得以建立,日后预算允许的时候,用户将可随时把光纤通道磁盘阵列并入其基础 设施的配置之中。 可以使用不同的方法把磁带子系统并入 SAN。较新的磁带库产品大都拥有本地光纤通道接口, 因此能够很方便地与光纤通道集线器或交换器连接。使用“光纤通道－SCSI&路由器也可对 较旧的磁带子系统进行连接。这些磁带库是由不同的供应商制造,并都提供了 1 或 2 个光纤 通道连接和 4～8 个 SCSI 连接。“光纤通道－SCSI&路由器负责处理来自光纤通道的串行 SCSI-3 数据转换和来自并行 SCSI 接口所使用的 SCSI-2 数据转换。 当前,大多数操作系统(例如 NT、Solaris 以及 Unix)都提供不依赖 LAN 的磁带备份软件。磁 带备份软件包可处理较高水平的服务,例如调度、并行备份以及对磁带自动化设备的媒体控 制。由于 SAN 使磁带备份的效率大大提高,所以目前许多开发商都在支持光纤通道 SAN 技术 的开发,其中 Veritas 和 Legato 公司已成为这一技术的主要支持者。 把备份数据流从 LAN 移向 SAN,解决了企业网络的数据拥塞问题。 然而,不依赖于 LAN 的备份 依然要求服务器主动地从磁盘上读取数据,然后把数据写入磁带。因此在备份期间仍需消耗 服务器的 CPU 周期和内存资源。 新的 SAN 应用可解决这一问题。 不依赖于服务器的备份把服 务器排除在数据路径之外,并使数据能够直接从磁盘转向磁带。这一功能是由一个第三方拷 贝代理完成的。 第三方拷贝代理是一种软、 硬件结合的产品,并可驻留在“光纤通道－SCSI& 路由器或光纤通道交换器中。网络数据管理协议(NDMP)可用于向第三方拷贝代理发送指令。 第三方拷贝代理能够从服务器上获得当前文件系统结构的一个快照(Snapshot),然后开始从 磁盘上读取数据块,并将它们写入磁带。 一旦获得当前文件系统结构的一个快照,服务器将不 再主动参与数据备份过程，因而可在数据备份进行的同时,自由地服务于用户的其他请求。 第三方拷贝代理更完善的版本还将允许用户在备份过程期间主动参与文件的修改,因而在备 份过程结束后,那些改变了的文件也能够得以备份。 灾难恢复与 SAN 磁带备份密切相关,但同时也需要光纤通道提供对长距离连接的支持能力。 光纤通道可以在单模长波光缆上维持一个 10 公里长的数据通路。 波分多路转换(WDM)以及其 他技术还可以把这一距离进一步加以扩展。由于较长的链路会导致时间上的延迟,因此最好 能够把光纤通道交换器纳入灾难恢复系统。 典型的配置应包括:一个生成网点(具有附接于光 纤通道的服务器和磁盘)和一个远程网点(具有多个磁盘和一个磁带子系统)。处于两端的光 纤通道交换器可实现生成网点与灾难恢复网点之间的连接。 尽管把磁盘镜像于远程网点是可 行的,但仅当变化出现时才对记录进行修改是一种更加有效的做法。远程网点还可以拥有一 台备份服务器,从而使周期性的备份能够由同步化的存储阵列来实现。3.影像 视频和图形编辑是率先使用光纤通道 SAN 的领域之一。视频和图形编辑应用要求使用 SAN 所提供的所有先进功能DD高速数据传输、 对等连接、 大规模存储阵列存取以及在单一配置 中对大量工作站的支持。 印前(pre-press)业务是高效 SAN 的典型应用。提供这类服务的公司，主要任务是生成那些 可用于杂志、 销售目录、 广告牌以及城市公共汽车所使用的图形图像。 印前数据流是一种“爆 发性的&数据流模式。 在这一模式中,高频度存取期后常常会跟随一个传输过程的寂静期。 在 一台印前工作站上工作的艺术家,可能需要从磁盘上读取一个规模相当大的、数以百兆字节 的图像文件,然后在这一文件上工作相当长的一段时间。 当编辑工作完成之后,又把文件写回 到磁盘上。 然而,由于很可能会有多个艺术家正在同时随机地读、 写那些大型的文件,因此传 输过程必须能够向他们提供足够的带宽。 使用 Ethernet 很难满足这类需求,改用光纤通道后 事情将会变得十分简单。 典型的印前 SAN 拥有一个可提供与大规模存储阵列相连的光纤通道 交换器。由于每一存储设备都连接在它们各自的交换器端口上,所以都能够提供每秒 100 兆 字节的带宽。 然而,工作站并不需要过高的专用带宽,因为它们仅仅是间歇性地进行文件存取, 所以可以把所有工作站接在一个光纤通道集线器上,然后把集线器接到一个光纤通道的交换 器端口。这是一种高性阶比的方案,并且能很好地满足用户对带宽的需求。目前 Vixel 集线 器和交换器已被许多印前公司采用,并成为较高层应用的基础部件。 在印前业务操作中,软件 发挥了非常重要的作用。印前编辑通常是以顺序方式执行的,其中图形编辑人员和文本编辑 人都将会对一个单一的文件进行存取， 因此整个工作流必须确保所有编辑人员不会过早地对 文件进行重写。 中间件安装于每一台工作站上,用以验证文件当前的归属关系和读/写许可情 况,并可防止未经授权的重写操作。 视频编辑不同于印前业务,它要求向用户提供稳定的带宽。一个视频流通常为每秒 30 兆字 节。一个光纤通道交换器可以提供每端口 100 兆字节的数据吞吐能力,所以它可以在每一个 端口上维持多个视频流。 在过去的两年里,一些公司,例如 AvidTechnologies 和 AvidSports 公司,一直把 BROCADE 交换器用于高速编辑环境。 有线电视提供商有时也会使用 BROCADE2800 去编辑那些在较长影片中的情节。电影(例如“玩具总动员&)的特殊效果编辑使用 Vixel 来 满足高速图像处理对带宽的需求。可以把光纤通道交换器串联在一起,提供更多的可直接与 工作站相连的端口。这将允许企业在其各部门或整个企业的范围内建造更大的系统。 尽管服务器群集、磁带备份、故障恢复以及图形编辑都有它们各自不同的需求,但光纤通道 SAN 能够同时满足这些需求。 光纤通道所具有的灵活性是各种 SAN 应用能够有效组合的重要 原因所在。服务器群集也可以并入磁带备份。在极易发生地震的加利福尼亚,后期制作视频 编辑公司或许更需要在一个稳定的场所部署一个包括灾难恢复功能的系统环境,SAN 将是它 们的理想选择。 总而言之,建造一个 SAN 基础设施不仅能够更好地满足企业当前的业务需求, 而且可以更好地满足企业未来业务增长的需求。 作为一种网络体系结构,目前光纤通道 SAN 的性能已趋于稳定。 然而,如同任何其他网络系统 一样,故障的发生将是不可避免的，因此网络的管理性能是至关重要的。对 SAN 传输的管理 是用户选择光纤通道产品的一个关键的性能指标。当故障出现时,能否立即通知管理员迅速 采取补救措施,将是许多企业十分关注的问题。管理应用(例如 Vixel 的 SANInSite)可以前 瞻性地孤立出传输过程中所出现的问题,并可使系统继续正常运行。先进的诊断工具和性能 监视工具可帮助管理员使 SAN 的无故障时间达到最大化，维护用户对数据的正常存取。把 SAN 管理程序集成于更高水平的管理框架(例如 Transoft 的 FibreNet、CAUnicenter 和 HPOpenView),可以提供对所有网络部件的企业级管理。 目前,光纤通道 SAN 已发展成为一种成熟、 可行的存储管理技术,针对这一技术的新的软件应 用和新 的硬件产品正不断推出 ,不断改善 着存储网络的 性能。 预 计随着电子商 务和 Internet 业务的日趋增多,光纤通道 SAN 和“.com”将会成为更多企业的最佳配置选择动态多路径(DMP)1. 介绍动态多路径(DMP) 在某些操作系统上，Volume Manager 支持多路径访问到磁盘阵列。它自动重新组织到磁盘 阵列内具体某个磁盘设备的多个 I/O 路径。Volume Manager 的动态多路径功能通过提供路 径故障切换机制，提供更大的可靠性。一旦到磁盘的某个连接丢失，系统将通过到该磁盘的 其它可靠的连接继续存取重要的数据。DMP 还通过将 I/O 负载平均分布在多条到磁盘设备 的 I/O 路径上，提供更大的 I/O 吞吐量。 Volume Manager DMP 管理多路径目标（如磁盘阵列），多路径目标定义使用多条路径的策 略。某些磁盘阵列允许多条路径同时保持活动状态（活动/活动）。某些磁盘阵列只允许一 条路径保持活动状态，将替换路径用作备件以防现有路径发生故障（主动/被动），某些磁 盘阵列具有设计更精细的策略（如对 LUN 的互为备援）。 一般情况下，Volume Manager 被设计成将 VM 磁盘映射到一个 Volume Manager DMP 元节点。 为简化 VxVM 逻辑操作，每个 VM 磁盘都映射到唯一一个 Volume Manager DMP 元节点，不管 在多路径配置中是否连接了物理磁盘设备，此映射都将发生。 ü # vxdmpadm getsubpaths ctlr=c3 NAME STATE PATH-TYPE DMPNODENAME ENCLR-TYPE ENCLR-NAME ====================================================================== c3t1d0s2 ENABLED - c3t1d0s2 Disk Disk c3t1d1s2 ENABLED - c3t1d1s2 Disk Disk c3t1d2s2 ENABLED - c3t1d2s2 Disk Disk c3t1d3s2 ENABLED - c3t1d3s2 Disk Disk c3t1d4s2 ENABLED - c3t1d4s2 Disk Disk c3t1d5s2 ENABLED - c3t1d5s2 Disk Disk c3t1d6s2 ENABLED - c3t1d6s2 Disk Disk c3t1d7s2 ENABLED - c3t1d7s2 Disk Disk c3t1d8s2 ENABLED - c3t1d8s2 Disk Disk c3t1d9s2 ENABLED - c3t1d9s2 Disk Disk ü # vxdmpadm getsubpaths ctlr=c4 NAME STATE PATH-TYPE DMPNODENAME ENCLR-TYPE ENCLR-NAME ====================================================================== c4t1d0s2 ENABLED - c3t1d0s2 Disk Disk c4t1d1s2 ENABLED - c3t1d1s2 Disk Disk c4t1d2s2 ENABLED - c3t1d2s2 Disk Disk c4t1d3s2 ENABLED - c3t1d3s2 Disk Disk c4t1d4s2 ENABLED - c3t1d4s2 Disk Disk c4t1d5s2 ENABLED - c3t1d5s2 Disk Disk c4t1d6s2 ENABLED - c3t1d6s2 Disk Disk c4t1d7s2 ENABLED - c3t1d7s2 Disk Disk c4t1d8s2 ENABLED - c3t1d8s2 Disk Disk c4t1d9s2 ENABLED - c3t1d9s2 Disk Disk2. 路径故障切换机制 DMP 与多端口磁盘阵列一起使用时可增强系统可靠性， 一旦到磁盘阵列的某个连接丢失， DMP 将自动为 I/O 请求动态选择下一个 I/O 路径，而无需系统管理员的任何操作。DMP 的自动 修复功能只要是 vxconfigd 进程能正常启动，就能自动启动。 ü # vxdmpadm stat restored The number of daemons running : 1 The interval of daemon: 300 The policy of daemon: check_disabled 如 果 你 想 修 改 DMP 的 policy, 可 以 修 改 /etc/init.d/vxvm-sysboot 文 件 ， 找 到 restore_daemon_opts=&interval=300 policy= check_disabled & 可调整 interval 的值， 但减小该值会影响系统性能。check_disabled 是指 DMP 的后台进程只定时监控有问题的路 径。DMP 允许系统管理员向 Volume Manager 中的 DMP 子系统指出是修复还是恢复连接。这 称为 DMP 重新配置，重新配置过程还允许检测最新添加的设备（只有当操作系统完全看到 它们时），以及完全引导系统后删除的设备。3. 负载平衡 对于 VM 的 DMP 功能是自动激活的， 例如在阵列只有单控制器的情况下， 主机有两块 HBA 卡， 当往阵列的硬盘写数据时，会发现两个 HBA 都有 I/O,(通过 vxstat 命令查看)。这种情况 下读写硬盘数据的 I/O 瓶颈应在阵列控制器， 为了提供阵列路径间的负载平衡， DMP 遵循活 动/活动磁盘阵列的平衡路径机制。负载平衡通过使用所有路径的最大带宽，确保最大限度 地提高 I/O 吞吐量。不过到磁盘的有序 I/O 将沿同一条路径发送以优化 I/O 吞吐量，这样 做是为了使用磁盘跟踪高速缓冲存储器的效果。 对于主动/ 被动磁盘阵列，I/O 将沿主路径（指阵列控制器）发送，直到主路径失败。一旦 主路径失败，I/O 将切换到其它可用的主路径或辅助路径，为了避免 LUN 的拥有权不断地 从一个控制器转让给另一个控制器（这将导致 I/O 严重减慢速度）对于主动/ 被动磁盘阵 列将不执行路径间的负载平衡。4. 从 DMP 设备启用 当根磁盘受 Volume Manager 的控制时,如果它是单个磁盘，则将作为 DMP 设备自动存取， 如果磁盘是多端口磁盘阵列的一部分，则有多条路径。通过对根磁盘进行封装，将增强系统 防备到磁盘的一条或多条现有物理路径丢失的可靠性。5. 启用和禁用控制器 DMP 允许系统管理员关闭到主机 I/O 控制器的 I/O ，以便执行管理操作。它可用于维护挂 接在主机上的控制器或由 Volume Manager 支持的磁盘阵列。完成维护任务后，可以启用到 主机 I/O 控制器的 I/O 操作。可以使用由 Volume Manager 提供的 vxdmpadm 命令完成此操 作。 例如， 如果系统有 StorEdge A5000(TM) 阵列， 当用户需要更改与此磁盘阵列相连的 A5000 接口板时， 应使用 vxdmpadm 命令获得连接在此 A5000 接口板上的主机 I/O 控制器列表并应 禁用这些控制器。这些控制器一旦被禁用，通过这些控制器对磁盘的进一步 I/O 存取将停 止。然后，用户就可在不中断对该磁盘阵列中的现有磁盘进行 I/O 存取的情况下来更换接 口板。这样要求是因为在正常情况下，对于活动/活动类型的磁盘阵列（与本例中的一样）， Volume Manager 都使用平衡路径机制来调度具有多条路径的磁盘的 I/O ，从而使 I/O 可以 在任意时刻经过任何路径。对于主动/ 被动类型的磁盘阵列，I/O 由 Volume Manager 调度 到主路径，直到主路径发生故障。因此，若要更改磁盘阵列上的接口卡或更改与磁盘阵列相 连的主机（可能发生）上的卡，则应禁止到主机 I/O 控制器的 I/O 操作。这允许在更改硬 件前，使所有的 I/O 都转移到另一个 I/O 控制器上的主动辅助路径或主动主路径。此操作 结束后，可使用 vxdmpadm 命令的启用选项，使这些控制器的路径重新发挥作用。Volume Manager 不允许禁用到根磁盘的最后一条活动路径。6. 显示 DMP 数据库信息 vxdmpadm 命令可用于列出 DMP 数据库信息并执行其它管理任务，此命令使您得以列出系统 上的所有控制器（与磁盘相连）和其它存储在 DMP 数据库中的相关信息。该信息可用于定 位系统硬件并决定要启用/ 禁用的控制器。注意：通过命令启用/禁用的功能只是临时的， 在系统重启后将恢复到缺省设置。vxdmpadm 还提供其它有用的信息，如磁盘阵列序列号和 与磁盘阵列相连的 DMP 设备（磁盘）列表，具体某个控制器的路径列表，等等。ü # vxdmpadm listctlr all CTLR-NAME ENCLR-TYPE STATE ENCLR-NAME ===================================================== c1 Disk ENABLED Disk c3 Disk ENABLED Disk c4 Disk ENABLED Diskü # vxdmpadm listenclosure all ENCLR_NAME ENCLR_TYPE ENCLR_SNO STATUS ============================================================ Disk Disk DISKS CONNECTED Disks OTHER_DISKS OTHER_DISKS DISCONNECTED FAKE_ARRAY0 FAKE_ARRAY FAKE_ENCLR_SNO DISCONNECTEDü # vxdmpadm getdmpnode nodename=c3t1d9s2 NAME STATE ENCLR-TYPE PATHS ENBL DSBL ENCLR-NAME ========================================================================= c3t1d9s2 ENABLED Disk 2 2 0 Diskü # vxdmpadm getdmpnode enclosure=Disk NAME STATE ENCLR-TYPE PATHS ENBL DSBL ENCLR-NAME ========================================================================= c1t1d0s2 ENABLED Disk 1 1 0 Disk c1t0d0s2 ENABLED Disk 1 1 0 Disk c3t1d0s2 ENABLED Disk 2 2 0 Disk c3t1d1s2 ENABLED Disk 2 2 0 Disk c3t1d2s2 ENABLED Disk 2 2 0 Disk c3t1d3s2 ENABLED Disk 2 2 0 Disk c3t1d4s2 ENABLED Disk 2 2 0 Disk c3t1d5s2 ENABLED Disk 2 2 0 Disk c3t1d6s2 ENABLED Disk 2 2 0 Disk c3t1d7s2 ENABLED Disk 2 2 0 Disk c3t1d8s2 ENABLED Disk 2 2 0 Disk c3t1d9s2 ENABLED Disk 2 2 0 Disk7. vxddladm 命令的使用 使用 vxddladm 命令可以动态添加不支持的阵列到支持库。使 DMP 能正确使用。 #vxddladm help listversion Listing of all ASL with their correxponding versions listsupport Listing Of all Supported Arrays listexclude Listing Of all excluded Array Libraries excludearray Exclude an array library/a set of libraries includearray Include an array library/a set of libraries addjbod Specify an array to be JBOD :see help addjbod rmjbod Remove an array from JBOD List :see help rmjbod listjbod List all JBODs :see help listjbod listforeign List all Foreign disks :see help listforeign addforeign Add a Foreign disk :see help addforeign rmforeign Remove a Foreign disks :see help rmforeign8. 配置动态多路径 DMP（以下内容都是以两块 HBA 卡为例）1. 主机至少有两块 HBA 卡 ，最好是相同类型。 2. 如果是临时 License ，DMP 功能是激活的。通过命令查看: # vxdctl license All features are available: Mirroring Root Mirroring Concatenation Disk-spanning Striping RAID-5 VxSmartSync Clustering-full VVR DMP (multipath enabled)3. 查看 /dev/vx/dmp 和 /dev/vx/rdmp 下是否有设备文件。如果想重新产生 DMP 设备文 件，将两个目录下的文件删除。执行 #vxdctl initdmp4. 通过命令 vxdmpadm，必需能看到两块 HBA，ENCLR-TYPE 不能是 OTHER_DISKS，STATE= ENABLED # vxdmpadm listctlr all CTLR-NAME ENCLR-TYPE STATE ENCLR-NAME ===================================================== c1 Disk ENABLED Disk c3 Disk ENABLED Disk c4 Disk ENABLED Disk错误输出：（只认到单控制卡） #vxdmpadm listctlr all CTLR-NAME ENCLR-TYPE STATE ENCLR-NAME ===================================================== c1 Disk ENABLED Disk c4 OTHER_DISKS ENABLED OTHER_DISKS5. 通过#format 能看到两倍的物理盘。6. 通过 vxdisk list 只能看到一倍的盘（当 DMP 正确配置时）， # vxdisk list DEVICE TYPE DISK GROUP STATUS c1t0d0s2 sliced rootdisk rootdg online c1t1d0s2 sliced disk01 rootdg online c3t1d0s2 sliced - - online c3t1d1s2 sliced - - online c3t1d2s2 sliced - - online c3t1d3s2 sliced - - online c3t1d4s2 sliced - - online c3t1d5s2 sliced - - online c3t1d6s2 sliced - - online c3t1d7s2 sliced aaadg00 aaadg online c3t1d8s2 sliced aaadg01 aaadg online c3t1d9s2 sliced abcdg00 abcdg online#vxdisk_list_lun00 Device:c5t0d0s2 devicetag: c5t0d0 type: sliced hostid:
disk: name=lun00 id=.1750. group: name=occdg id=.1896. flags: online ready private autoconfig autoimport imported pubpaths: block=/dev/vx/dmp/c5t0d0s4 char=/dev/vx/rdmp/c5t0d0s4 privpaths: block=/dev/vx/dmp/c5t0d0s3 char=/dev/vx/rdmp/c5t0d0s3 version: 2.2 iosize: min=512 (bytes) max=256 (blocks) public: slice=4 offset=0 len= private: slice=3 offset=1 len=8447 update: time= seqno=0.37 headers: 0 248 configs: count=1 len=6210 logs: count=1 len=941 Defined regions: config priv 247[000231]: copy=01 offset=000000 enabled config priv 227[005979]: copy=01 offset=000231 enabled log priv 168[000941]: copy=01 offset=000000 enabled Multipathing information: numpaths: 4 c5t0d0s2 state=enabled type=secondary c5t4d0s2 state=enabled type= c6t2d0s2 state=enabled type=secondary c6t6d0s2 state=enabled type=#vxdmpadm_getdmpnode_nodename=c5t4d0s2 NAME STATE ENCLR-TYPE PATHS ENBL DSBL ENCLR-NAME ========================================================================= c5t0d0s2 ENABLED EMC_CLARiiON 4 4 0 EMC_CLARiiON0#vxdmpadm_get_dmpnode enclosure=EMC_CLARiiON0 NAME STATE ENCLR-TYPE PATHS ENBL DSBL ENCLR-NAME ========================================================================= c5t0d0s2 ENABLED EMC_CLARiiON 4 4 0 EMC_CLARiiON0 c5t0d1s2 ENABLED EMC_CLARiiON 4 4 0 EMC_CLARiiON0 c5t0d2s2 ENABLED EMC_CLARiiON 4 4 0 EMC_CLARiiON0#vxdmpadm_getsubpaths_ctlr=c5 NAME STATE PATH-TYPE DMPNODENAME ENCLR-TYPE ENCLR-NAME ====================================================================== c5t0d0s2 ENABLED SECONDARY c5t0d0s2 EMC_CLARiiON EMC_CLARiiON0 c5t0d1s2 ENABLED SECONDARY c5t0d1s2 EMC_CLARiiON EMC_CLARiiON0 c5t0d2s2 ENABLED c5t0d2s2 EMC_CLARiiON EMC_CLARiiON0 c5t0d3s2 ENABLED c5t0d3s2 EMC_CLARiiON EMC_CLARiiON0 c5t0d4s2 ENABLED c5t0d4s2 EMC_CLARiiON EMC_CLARiiON0#vxdmpadm.getsubpaths.ctlr=c6 NAME STATE PATH-TYPE DMPNODENAME ENCLR-TYPE ENCLR-NAME ====================================================================== c6t2d0s2 ENABLED SECONDARY c5t0d0s2 EMC_CLARiiON EMC_CLARiiON0 c6t2d1s2 ENABLED SECONDARY c5t0d1s2 EMC_CLARiiON EMC_CLARiiON0 c6t2d2s2 ENABLED c5t0d2s2 EMC_CLARiiON EMC_CLARiiON0 c6t2d3s2 ENABLED c5t0d3s2 EMC_CLARiiON EMC_CLARiiON0 c6t2d4s2 ENABLED c5t0d4s2 EMC_CLARiiON EMC_CLARiiON0 #vxdmpadm_listctlr_all CTLR-NAME ENCLR-TYPE STATE ENCLR-NAME ===================================================== c1 SENA ENABLED sena0 c4 SENA ENABLED sena0 c5 EMC_CLARiiON ENABLED EMC_CLARiiON0 c6 EMC_CLARiiON ENABLED EMC_CLARiiON0 7. 通过 vxdisk list 列某一块盘时，能看到信息 Multipathing information: numpaths: 2 c3t1d9s2 state=enabled c4t1d9s2 state=enabled# vxdisk list c3t1d9s2 Device: c3t1d9s2 devicetag: c3t1d9 type: sliced hostid: sun2801 disk: name=abcdg00 id=.2809.sun2801 group: name=abcdg id=.2812.sun2801 flags: online ready private autoconfig autoimport imported pubpaths: block=/dev/vx/dmp/c3t1d9s4 char=/dev/vx/rdmp/c3t1d9s4 privpaths: block=/dev/vx/dmp/c3t1d9s3 char=/dev/vx/rdmp/c3t1d9s3 version: 2.2 iosize: min=512 (bytes) max=256 (blocks) public: slice=4 offset=0 len=6287360 private: slice=3 offset=1 len=2559 update: time= seqno=0.54 headers: 0 248 configs: count=1 len=1865 logs: count=1 len=282 Defined regions: config priv 247[000231]: copy=01 offset=000000 enabled config priv 882[001634]: copy=01 offset=000231 enabled log priv 164[000282]: copy=01 offset=000000 enabled Multipathing information: numpaths: 2 c3t1d9s2 state=enabled（阵列单控制器的情况下，没有看到 type=primary c4t1d9s2 state=enabled 或 type=secondary?在阵列为 A/P 时看到)8. 如果通过 vxdisk list 能看到两倍的盘，说明 VM 的 DMP 没有正确配置。 先通过命令查看同一块盘的信息是否一样，如果不同，先调阵列。 # cd /etc/vx/diag.d # ./vxdmpinq /dev/rdsk/c3t1d9s2Inquiry for /dev/rdsk/c3t1d9s2, evpd 0x0, page code 0x0 Vendor id : DGC Product id : RAID 5 Revision : 0524 Serial Number : 093E580000CL # ./vxdmpinq /dev/rdsk/c4t1d9s2Inquiry for /dev/rdsk/c4t1d9s2, evpd 0x0, page code 0x0 Vendor id : DGC Product id : RAID 5 Revision : 0524 Serial Number : 093E580000CL9. 如果阵列 VM 缺省不支持，请先安装 ASL 包。 #vxddladm listjbod VID PID Opcode Page Code Page Offset SNO length ========================================================================== SEAGATE ALL PIDs 18 -1 36 12 SUN SESS01 18 -1 36 1210. 然后添加到 DMP 支持列表库 #vxddladm addjbod vid=DGC #vxddladm listjbod VID PID Opcode Page Code Page Offset SNO length ========================================================================== SEAGATE ALL PIDs 18 -1 36 12 SUN SESS01 18 -1 36 12 DGC ALL PIDs 18 -1 36 1211. 执行#vxdctl enable 12. #vxdisk list 应只能看到一倍的盘。 13. The following three parameters must be set on the master controller unit: ? Multi-path support software: § DMP: sys mp_support rw § STMS: sys mp_support mpxio ? sys cache auto ? sys mirror auto 14. 有一种工作方式： 有些阵列控制器的工作方式可以是对具体的 LUN 互为备援。 partner 既 pair configuration ，所以当用命令#vxdisk list 查看，会发现只列出第一块 HBA 卡所读 到的信息。The T3 array in partner pair configuration provides 2 paths to each logical unit (LUN). One path is considered the primary and the other path is considered the secondary for any given LUN. In normal operation, all I/O for a particular LUN goes down the primary path. If the primary path for a LUN fails, I/O for that LUN is sent down the secondary path. In order to balance the I/O load, half of the LUNs use one path as the primary and half use the other. This means that both paths are considered primary for some LUNs and secondary for some LUNs. Because there is a primary and secondary path for each LUN, the T3 is an Active/Passive type array.When Dynamic Multipathing (DMP) scans the device list looking for devices that are accessed through more than one controller, it assigns the name of the disk media record based on whichever controller is probed first. Because of this all the LUNs in the array will have DM records that start with the same controller. The DM record name does not indicate which controller is in use as the primary path for a particular LUN.EXAMPLE: The array is attached to the host through 2 controllers, C1 and C4. One LUN uses the C1 path as the primary and C4 as the secondary. The other LUN uses C4 as the primary and C1 as the secondary. Both LUNs have DM records that begin with C1.# vxdisk list DEVICE TYPE DISK GROUP STATUSc1t2d0s2 sliced disk01 rootdg online c1t2d1s2 sliced disk02 rootdg onlineDMP does know which path is primary and which is secondary for each LUN. That information can be displayed with the vxdisk list command. vxdisk list c1t2d0s2 Device: c1t2d0s2 devicetag: c1t2d0 type: sliced hostid: tpsw-154 disk: name=disk01 id=66.tpsw-154 group: name=rootdg id=25.tpsw-154 flags: online ready autoconfig autoimport imported pubpaths: block=/dev/vx/dmp/c1t2d0s4 char=/dev/vx/rdmp/c1t2d0s4 privpaths: block=/dev/vx/dmp/c1t2d0s3 char=/dev/vx/rdmp/c1t2d0s3 version: 2.1 iosize: min=512 (bytes) max=2048 (blocks) public: slice=4 offset=0 len= private: slice=3 offset=1 len=8191 update: time= seqno=0.9 headers: 0 248 configs: count=1 len=6027 logs: count=1 len=913 Defined regions: config priv 247[000231]: copy=01 offset=000000 enabled config priv 044[005796]: copy=01 offset=000231 enabled log priv 957[000913]: copy=01 offset=000000 enabled Multipathing information: numpaths: 2 c1t2d0s2 state=enabled type=secondary c4t1d0s2 state=enabled ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^vxdisk list c1t2d1s2 Device: c1t2d1s2 devicetag: c1t2d1 type: sliced hostid: tpsw-154 disk: name=disk02 id=45.tpsw-154 group: name=rootdg id=25.tpsw-154 flags: online ready autoconfig autoimport imported pubpaths: block=/dev/vx/dmp/c1t2d1s4 char=/dev/vx/rdmp/c1t2d1s4 privpaths: block=/dev/vx/dmp/c1t2d1s3 char=/dev/vx/rdmp/c1t2d1s3 version: 2.1 iosize: min=512 (bytes) max=2048 (blocks) public: slice=4 offset=0 len= private: slice=3 offset=1 len=8191 update: time= seqno=0.7 headers: 0 248 configs: count=1 len=6027 logs: count=1 len=913 Defined regions: config priv 247[000231]: copy=01 offset=000000 enabled config priv 044[005796]: copy=01 offset=000231 enabled log priv 957[000913]: copy=01 offset=000000 enabled Multipathing information: numpaths: 2 c1t2d1s2 state=enabled c4t1d1s2 state=enabled type=secondary ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^The multipathing information shows that C1 is primary for disk02 and secondary for disk01, while C4 is primary for disk01 and secondary for disk02. If the primary path fails, DMP will switch to the secondary path and the type will show as disabled for the failed path.15. 通过 T3 查看 On the T3 -labt3-1:/:port listmap port targetid addr_type lun volume owner access u1p1 1 hard 0 v0 u1 primary u1p1 1 hard 1 v1 u1 primary u1p1 1 hard 2 u2v0 u2 failover u1p1 1 hard 3 u2v1 u2 failover u2p1 2 hard 0 v0 u1 failover u2p1 2 hard 1 v1 u1 failover u2p1 2 hard 2 u2v0 u2 primary u2p1 2 hard 3 u2v1 u2 primaryThis shows us our LUN ownership and host port target ID's. This is an example of an ES pair in a normal state.labt3-1:/:port list port targetid addr_type status host wwn u1p1 1 hard online sun
2 hard online sun 55119.关于负载平衡 如果阵列没有两个控制器，且非 Active/Active 工作方式， （注意：并不是所有厂家的所有 阵列都支持这种工作方式）。那么阵列的负载平衡就无法实现。 Depending on the array configuration and running version of Volume Manager, can operate in the following modes:Active/Active (A/A) In Active/Active, all sub paths to a disk/lun can be accessed simultaneously. Active/Active allows for load balancing and failover in the event of a path failure. A Sun A5x00 array is an example of an A/A configuration.Active/Passive - Auto tresspass (A/P) In Active/Passive, only one of the paths to a disk/LUN can be used at any one time. In the event of an i/o failure on the primary path, i/os will be sent to one of the secondary paths. With an array configured in trespass mode, the failover is invoked by sending the i/os to the second path. Failover is confined to an individual LUN instance level. Active/Passive arrays do not allow load balancing as only one path can be used under normal operating conditions. Auto trespass is also known as implicit failover. A Sun T3 array in a single host environment (mp_support=rw) is an example of an A/P - auto-trespass configurationActive/Passive - Explicit failover (A/PF) In Active/Passive - explicit failover, only one of the paths (primary) to the disk/LUN can be used at any one time. In the event of an i/o failure, a special command is sent to the array to invoke a failover such that a secondary path can be used. Explicit failover is also known as nonauto-trespass mode. A Sun T3 array in a multi-host environment (mp_support=std) is an example of an A/PF configuration.Active/Passive - LUN group failover (A/PG) In Active/Passive - LUN group failover, a group of one or more LUNs are assigned to a controller on the array, which becomes the primary path to the disks. In the event of an i/o failure to a single LUN, the entire group of LUNs is switched to another controller in the array. This controller becomes the secondary active path. 10.VM 的 DMP 与阵列 DMP 的结合使用如果 VM 的 DMP 要与阵列的 DMP 同时使用，请查支持列表，例如 HP/CPQ Secure Path 4.0 或 EMC PowerPath 3.0.x or ATF，以 PKG 包的形式存在。 阵列的 DMP 软件功能是将多路径合并成一条路径，且能实现控制器间的负载均衡。而 VM 去 管理的设备是阵列的 DMP 软件产生的设备，通过命令#vxidisk list emcpower33c simple - - online emcpower38c simple - - online emcpower40c simple - - online emcpower41c simple - - online emcpower42c simple - - online emcpower43c simple - - online emcpower44c simple - - online emcpower45c simple - - online emcpower46c simple - - online emcpower47c simple - - online emcpower48c simple - - online emcpower49c simple - - online emcpower50c simple - - online emcpower51c simple - - online emcpower52c simple - - online11.一个配置 PowerPath 的例子 Reconfiguring Solaris Hosts running EMC PowerPath and Veritas VxVM...For configuration purposes, PowerPath stores a primary and alternate device path in the /kernel/drv/emcpower.conf configuration file, and the Symmetrix device number in stored in the /etc/emcpower_to_volnum file.Due to hardware reconfiguration, the PowerPath configuration may become invalid for the following reasons:a) primary and/or alternate hardware address for the underlying device has changedb) a different volume may be placed behind a hardware address..The objective of this procedure is to completely reconfigure PowerPath and reimport VxVM disk groups:Assumptions:1. emcpower/safe devices are not part of an encapsulated root disk2. when the hardware configuration is implemented, all the physical disks belonging to the disk groups will still be visible to the host3. VxVM disk groups are defined on emcpower devicesNOTE: This procedure is to be used only when it is sure that the emcpower devices will be renumbered due to hardware changes.Do not use this procedure unless you fully understand the situations when it is to be used. Please contact the EMC Customer Support Center should you have any questions.Obtain a copy of inq version 6.02 or higher as previous versions of inq were not built to see &emcpower& devices.SAVE THE CONFIGURATION 1. inq & inq.before - save a copy of the hardware config 2. vxprint -ht & vxprint.ht.out - save a copy of all disk group configurations 3. vxdisk list & vxdisk.list.out - save a copy of each disk and it's associated device 4. for each disk group: vxprint -hvmps -mg - save a mapfile for each disk group 5. Save the above configuration files on a non-PowerPath filesystem & vxprint.dgname.outSHUTDOWN AND RECONFIGURE 6. vxdg deport - deport the disk group 7. add new targets/luns to the sd.conf file 8. init 0 9. implement the hardware changes 10. boot -rs - reconfigure reboot to reconfigure devices 11. inq - verify that the hardware reconfiguration was successful and that all paths are visible to the host 12. rm /dev/dsk/emcpower* - delete the old emcpower nodes 13. rm /dev/rdsk/emcpower* - delete the old emcpower nodes 14. mv /kernel/drv/emcpower.conf /kernel/drv/emcpower.conf.old 15. mv /etc/emcpower_to_volnum /etc/emcpower_to_volnum.old 16. powercf -q - quietly reconfigure PowerPath. Creates a new emcpower.conf and emcpower_to_volnum. 17. reboot -- -r - reboot reconfigureMAKE POWERPATH DEVICES VISIBLE TO VERITAS SO THAT AN IMPORT SCAN WILL SUCCEED 18. powervxvm setup - create the /dev/vx/(r)dmp/emcpower nodes 19. vxdctl enable - rescan all the devices on the system 20. powervxvm define - bring the emcpower devices into the VxVM disk list 21. powervxvm online - bring devices with valid private regions online 22. vxdisk list - ensure that all the emcpower devices are &online& 23. vxdg import - import the disk group24. vxvol -g startall - start the volumes 此帖由冬瓜头 qq 原创，转贴请注明，谢谢！痛斥剽窃行为！）
非常经典的存储学习文件―汇集和整理大量word文档,专业文献,应用文书,考试资料,教学教材,办公文档,教程攻略,文档搜索下载下载,拥有海量中文文档库,关注高价值的实用信息,我们一直在努力,争取提供更多下载资源。}
我要回帖
更多关于 优酷视频下载 的文章
- ·优酷视频审核多久审批视频一般要多久?
- ·狐视频和优酷视频下载相比哪个更好
- ·关于网上优酷视频下载载
- ·为什么优酷视频下载发的视频一直在审核？从昨天晚上到现在一直这样
- ·怎么设置用优酷视频下载看完视频后自动关屏？
- ·vivoy20t为什么优酷视频黑屏打不开
- ·看小莫騒麦视频 优酷视频的问题
- ·手机用3G在优酷视频下载看一个20~30分钟的标清视频大概用多少流量？？=￣ω￣=
- ·优酷有个视频是四个女的先说胡文海最后一段话视频然后跳抖臀舞
- ·12dora有没有在优酷视频下载上投视频
- ·622优酷视频下载怎么下载，下载不出来
- ·优酷视频下载20138.3m免费下载
- ·日照市人民医院728女同性恋热吻优酷视频频
- ·优酷视频怎么下载骑脚踏车上学是第几集
- ·怎样把优酷视频播放器发表的视频图片换一下
- ·下栽二手优酷视频下载
- ·刚升级的优酷怎么删视频不能删视频
- ·仓鼠会吃自己同伴？我在优酷看到好多床戏吻戏视频大全优酷
- ·我想找回一个视频，我在优酷视频看过的一个视频。讲一个人吃饭，睡觉，约会。对话。都是在玩手机的。我想用这
- ·谭邦兰健身操、腾讯视频下载载，
- ·手机优酷看视频花屏在哪设置视频下载模式
- ·优酷床戏吻戏视频大全优酷里面出名的专门放重口味床戏吻戏视频大全优酷的人
- ·如何下载优酷视频上国外傻缺失误视频原文件从哪里来的？
- ·优酷视频怎么下载里女装男穿是哪家网店
- ·优酷视频优酷是不是出问题了审核比较轻松的呢？有些视频都是不科学的，没有依据的，优酷上面还有呢，也没有人说什么
- ·下载的优酷床戏 视频大全优酷与语音不同步，有解决的办法吗
- ·优酷视频柴静穹顶之下静怡美容护肤品开业视频
- ·优酷视频下载报到是什么意思
- ·优酷床戏 视频大全优酷约翰迪尔W80怎么换割台
- ·优酷小莫騒麦视频 优酷能放光口属于1935的小莫騒麦视频 优酷吗
- ·优酷视频怎么下载频
- ·请问手机优酷缓存在哪里视频在哪里可以改权限？？？
- ·优酷视频播放器就爱你婚礼震撼开场视频苗华栋制作
- ·优酷床戏 视频大全优酷二三七营二连
- ·优酷小莫騒麦视频 优酷投稿奖励有多少钱？
- ·许坤洋图片怎么下载视频，许坤洋视频怎么下载视频。
- ·一月十六号优酷全视频之夜投票VIP视频全免?
- ·优酷视频下载全视频之夜节目单
- ·优酷视频孙红年王金良板胡独奏视频频
- ·如何把网上的youtube 视频下载载
- ·唐德机械有限公司机械哥最新优酷视频频
- ·怎么下视频下载软件啊？
- ·优酷视频下载网东杜村建庙会
- ·优酷美女热舞视频优酷网下载到Ds卡上，文件出现OTHER
- ·求优酷z.s.d俊宇 曳步小莫騒麦视频 优酷里所有音乐
- ·嫁妆台剧优酷民视嫁妆29视频13集
- ·楠和晨的婚礼优酷视频播放器
- ·用手机开流量在优酷看小莫騒麦视频 优酷大概要多少流量！一分十八秒的小莫騒麦视频 优酷！
- ·项石开心2014优酷视频之夜直播直播
- ·拿优酷看小莫騒麦视频 优酷为什么昨天看的超清视频今天看调到超清就只有标清画质？
- ·优酷全视频之夜一月份视频中的广告曲
- ·优酷视频柴静穹顶之下凡纳克电子厂视频
- ·贾爽川影作品演的频道-优酷全视频之夜视频
- ·优酷徐嘉蔓搞笑视频优酷共有几个
- ·为什么优酷视频怎么下载搜索视频点击我传的视频默认播放列表里好多优酷视频怎么下载推荐视频
- ·优酷视频下载看视频 点收起列表后视频四周有黑边 无法铺满整个视频框是为什么？
- ·蓝晨欧视频在优酷视频哪里有啊
- ·优酷视频下载三伏潭=小 彭佳怡
- ·5月4号中国梦想秀优酷视频怎么下载翻糖视频
- ·黄敬年优酷视频下载直播
- ·审问买y女的视频优酷视频
- ·优异视频下载软件怎么下
- ·loljy优酷视频空间下载了为什么安装不了？
- ·汉宣帝被蛊术弄死的优酷视频播放器叫什么
- ·女同性恋热吻优酷视频问题。
- ·优酷视频下载问题..
- ·楚汉骄雄优酷浴女的频道-优酷视频下载
- ·优酷视频播放器酷开影棒
- ·优库试衣优酷视频下载
- ·求衣优酷上传视频格式要求视频
- ·优酷视频播放器放一次不卡,二三遍开卡怎么回事
更多推荐
- ·郑州航空港区有哪些好新郑哪个高中好一些？
- ·483除以64与54除以9减3的差,结果是再乘62与16的和？
- ·B站虎牙小主播一个月收入收入构成是怎样的？
- ·小孩子爱吃的饭吗？
- ·在城市有多少老人没有退休人没了能给多少钱金
- ·珍通口腔炎喷雾剂剂能怎么用
- ·金泰新村北京哪里有滑板车pu轮玩滑板的地方吗
- ·象棋现在这个局面超车从哪边超好走？现在轮到红的走，红的走比较什么好？
- ·新世纪娱乐(娱 _乐 场)谁知 道地 址谢谢!现在算不算最大的啊?
- ·耐克折扣店aj的衣服袖子起球了，该不会是假的吧，从优购524买的
- ·沙尓克04今晚和哪个队沙滩踢球踢到头gif
- ·000013925621仿伪码任务码头是真的吗吗？
- ·掼蛋网中大小连续是不是顺子
- ·恕小弟无知，请问各位高手，那个黑人手里是神马影院？
- ·快牙已经定义了看床戏 视频大全优酷用床戏 视频大全优酷来看,怎样更改为优酷打开来看
- ·求一些黑化求婚的句子子
- ·悠之空游戏h画面求资源 在线等 私聊 谢谢
- ·求魔戒里的莱戈拉斯电脑壁纸手机屏保高清壁纸
- ·这个女的是谁求种子是网红吗，求资料
- ·买个富士康买二手苹果网站的苹果5不知怎么查询是否有id锁序列号：DNPJJ5APF8H7
- ·优酷美女热舞视频优酷网下载到Ds卡上，文件出现OTHER
- ·求陈冠希https everywheree we go 的空间歌曲链接
- ·求bilibili会员邀请码的会员的邀请码,,跪求 ,悬赏10分 ~~
- ·如何拒绝别人借钱找我借儿子读过课本,我该不该借
- ·雪峰山有没有瓜子黄杨树树
- ·性感美女 优酷tv“assd爱普罗西尼”频道 性感美女，片子的名称叫什么？
- ·王老吉广告视频爱情魔法卡片教学视频
- ·一分钟趣味学习法谁有？？？qq：八一二九八七一五九。
- ·我yy主播一月挣多少钱一千多我能扶你吗?视频
- ·九8位数qq号申请的qq三十多级能卖多少钱？
- ·求凯立德凯立德车载导航激活码码
- ·这买码想要找个十位的资料，怎么也找不到。谁能告诉我春节去哪里旅游比较好找呀！谢谢！
- ·求kyle ross 睡美人睡美人网盘
- ·彩虹岛水晶矿场分布资源耕地水资源森林有一种自然资源与其他三种在自然资源的分类尚不同的是
