WLAN综合网管系统部署手册V3.0
2009年11月6日 fengzf.opengoss@gmail.com
第 1 页 共 34 页
前言
杭州华思服务器部署方案，是我们公司各位同仁，特别是小余同学，付出了辛勤的探索和执着的追求，所以各位现场的服务器部署人员都应该向小余同学表达敬意和谢意！我也在现场部署过，并结合自己遇到的问题和各个现场部署过程中遇到的问题，决定对小余的部署方案进行些“重构”和补充。我最初的想法是根据服务器不通的应用撰写不同的文档，这样部署文档更加的简单、更加的容易执行。但是在撰写过程中和结合各个现场目前部署的情况来看各个现场都根据实际的情况对各个服务器的“应用对象”进行了不同的组合，这样如果我编写单一的文档容易导致不是很熟悉的部署人员遗漏些东西。所以最后还是决定写在这个文档中，并附加一个常见问题和解决的文档 WEB服务器分区方案 确定分区方案 ORACLE服务器分区方案 采集服务器分区方案 服务器安装包 按照小余的方案并添加开发软件包 有软件包依赖安装（推荐方式） 部署文档 安装初始依赖包 无软件依赖包安装 选择安装服务 选择部署哪些服务 试运行监测 运行系统并排除异常 完成部署 系统运行稳定一个星期以上才能算正式完成部署 常见现场部署问题及解决方法 问题解答 提交新问题并及时添加到问题库中
第 2 页 共 34 页
1.1目录
1.1.1 目录 .................................................................................................................................. 2 2. 使用说明 ................................................................................................................ 6
2.1 版本历史 .............................................................................................................. 6 2.2 标示说明 .............................................................................................................. 7 2.3 使用技巧 .............................................................................................................. 7 3. 服务器基础安装 ..................................................................................................... 7
3.1 验货 ..................................................................................................................... 8 3.2 硬盘安装 .............................................................................................................. 8
3.3 硬盘RAID设置 .................................................................................................... 8 5. 操作系统安装 ......................................................................................................... 8
5.1 使用光盘安装CentOS 5.3 ...................................................................................... 8 5.2 硬盘安装CentOS @todo...................................................................................14 6. 基础组件部署 ........................................................................................................14
6.1 可使用CentOS默认版本的基础组件： .................................................................14 6.2 基础组件设置和启动............................................................................................15 6.3 手动安装的特定版本的组件 .................................................................................15 7. 数据库部署 ...........................................................................................................17
7.1 Oracle 安装 .........................................................................................................17
7.1.1 准备工作 ............................................................................................................17 7.1.2 安装依赖软件包 ..................................................................................................17 7.1.3 建立用户和组 ....................................................................................................18 7.1.4 建立目录和权限 ................................................................................................18 7.1.5 编辑变量 ...........................................................................................................18 7.1.6 用oracle用户登录桌面安装.................................................................................19
7.1.7 第一次启动oracle ...............................................................................................20
8. FTP服务搭建 ........................................................................................................21
8.1 vsftp安装 ............................................................................................................21
8.2 vsftp设置 ............................................................................................................22 8.3 更改相应ftp目录权限..........................................................................................22 8.4 为ftp服务打开相应的防火墙端口 ........................................................................23 8.5 ftp服务的管理 .....................................................................................................23 9. 主应用程序安装配置 .............................................................................................23
9.1 采集程序安装配置 ...............................................................................................23 9.2 前台rails程序安装@todo .....................................................................................24 10. 操作系统管理 ......................................................................................................24
10.1 网络管理 ...........................................................................................................25
10.1.1 设置网络...........................................................................................................25 10.1.2 重启网络...........................................................................................................25
10.1.3 DNS设置..........................................................................................................26 10.1.4 使用图形界面管理网络......................................................................................26 10.2 用户管理 ...........................................................................................................27
10.2.1 增加用户...........................................................................................................27
第 3 页 共 34 页
10.2.2 修改密码...........................................................................................................27 10.3 时间管理 ...........................................................................................................28
10.3.1 时间设置...........................................................................................................28 10.3.2 时间同步...........................................................................................................28 10.4 安全管理 ...........................................................................................................28
10.4.1 密码安全...........................................................................................................28 10.4.2 网络安全...........................................................................................................29
10.4.3 系统安全@todo .................................................................................................29
11. 服务管理 .............................................................................................................29
11.1 应用服务管理.....................................................................................................29
11.1.1 MySQL服务管理 ..............................................................................................29 11.1.2 Oracle 服务管理................................................................................................30 11.1.3 rails服务管理 ....................................................................................................30 11.1.4 LDAP服务管理.................................................................................................30 11.1.5 Erlang 服务管理................................................................................................30 11.2 系统日志 ..........................................................................................................31 11.3 故障排除............................................................................................................31 12. 附录 ....................................................................................................................31
12.1 挂载CentOS光盘，制作本地镜像。...................................................................31
12.2 FQA ..................................................................................................................32 12.3 双网卡绑定单IP ................................................................................................33 12.4 VIM使用快速指南 .............................................................................................34
WLAN网管系统安装调试手册
1. 使用说明
1.1 版本历史
版本号 发布时间 更新内容 V0.1.0 2009年7月4日 添加相关内容 V0.1.1 2009年7月14日 添加相关内容 1、Oralce 安装 2、操作系统管理 V0.1.2 2009年7月26日 3、应用服务管理 4、挂载本地光盘，制作本地yum源 5、FAQ：常见问答 1、添加ftp服务搭建 2、添加采集程序安装 V0.1.3 2009年8月2日 3、修正Oracle启动排障操作 4、添加附录-双网卡绑定单IP -VIM使用快速指南 V3.0
2009-11-6 整合小余的并分安装服务器类型来撰写安装文档 1.2 标示说明
#这表示为注释
这表示关键步骤和操作，格外小心和注意
@todo 这表示即将在后续版本增加和更新内容
1.3 使用技巧
1、 搜索本手册
- 5 –
WLAN网管系统安装调试手册
2、 和本人联系答疑
2. 服务器基础安装
本手册以HP360G5为例说明服务器基础安装过程。
2.1 验货
验收服务器到货的时，应开箱检查配置是否与订货单发货单一致。一般需要检视的有包装是否无破损，服务器主机是否完整，附件是否齐全。附件一般配有多根电源线以及上架用的支撑架等。此外验货是要注意服务器硬盘是否另外送货还是包括在内。硬盘的数量和容量是否与订单一致。验货完毕签收时请再次核对清单。
2.2 硬盘安装
一般的服务器是不标配硬盘，需要另够硬盘。主机拆箱后上架前尽量不要安装硬盘，以免在上架移动过程中硬盘振动受损。主机上架后，在电源切断的情况下安装硬盘。先取出主机上的硬盘塑料支架，再插入硬盘，注意插入的方向，可参照塑料支架的方向。插入后扳开硬盘上的卡夹卡住硬盘。硬盘安装应该与主机面板符合，可参照原塑料支架的形状。
2.3 硬盘RAID设置
服务器硬盘安装好之后，接上显示器、键盘、鼠标。按电源键启动服务器，服务器启动时会有很大的风扇声音。稍等一会儿看屏幕提示（记得打开显示器开关），会有HP的LOGO出现，之后跳转，一直到一个界面会提示你按F7来设置RAID0-1（注意观察屏幕提示） ，按了F7后，系统会自动设置RAID 0-1 。至此服务器硬盘RAID设置完毕。一般HP的服务器都是提供初次开机自检硬盘RAID模式，如果没有设置RAID，会提示你设置RAID。记得RAID只是在装操作系统前做的设置，设置了RAID之后请不要再次设置，不然会造成数据破坏。
#补充：服务器上一般都是有两块硬盘，做RAID1，如果硬盘数量大于3块，建议安装RAID5. 安装RAID的方法可以参考服务器的配置手册，如果有问题可以直接联系厂商的技术支持热线。
3. 操作系统安装
3.1 使用光盘安装CentOS 5.3
设置好RAID之后，打开光驱，插入CentOS光盘。Ctrl+Alt+Del重启服务器，等待进入CentOS界面。进入CentOS安装界面，会提示你如何启动安装过程，推荐直接Enter可以进入有X的安装界面（不是安装X界面，而是说在安装过程中是图形界面）。
Enter之后，安装程序第一步是提示DVD/CD Found。提示你检测CD数据完整性。除非是首次使用这套光盘，一般可以选择Skip跳过光盘检测来节约时间。
Skip之后会引导到有图形界面的安装过程。右下角有提示Next按钮。点击Next。
提示What Language would you like to use during the installation process？（选择安装过程的
- 6 –
WLAN网管系统安装调试手册
语言）选择Chinese（Simplified）（简体中文）点击Next
提示为系统键盘选择制式，选择美国英语式。点击下一步。
此时如果是新硬盘新设置RAID会提示：警告
无法读取设备分区表。您要初始化这个驱动器并清除所有的数据吗？ 选择是。
之后会提示你选择分区方案。
选择分区方案 ORACLE服务器分区方案 WEB服务器分区方案 确定分区方案
采集服务器分区方案
说明：分区方案要根据你部署的服务器的应用类型来确定，其中oracle服务对分区要求最为严格，需要有较大的“根分区”
（1）、这个是ORACLE服务器的分区方案，需要配置较大的根分区
选择新建，挂载点选择 / （斜杠就是根分区的意思） 文件系统选择ext3
大小选择尽量大于100G左右，如果硬盘容量大于150G，选择大约总容量的75% 左右。 同样新建，挂载点选择/usr 分给10G左右。约7%左右。格式也为ext3。
此外新建，直接选择文件系统类型swap，大小为内存1.5~2备大小容量，如8G、12G等。 最后选择新建 /opt挂载点 格式ext3 大小为使用全部可用空间。
(2)、这个是WEB服务器的分区方案，此服务器没有ORALCE服务
选择新建，挂载点选择 / （斜杠就是根分区的意思） 文件系统选择ext3
大小选择30G左右，如果硬盘容量大于150G，选择大约总容量的14% 左右。 同样新建，挂载点选择/usr 分给10G左右。约7%左右。格式也为ext3。
此外新建，直接选择文件系统类型swap，大小为内存1.5~2备大小容量，如8G、12G等。 最后选择新建 /opt挂载点 格式ext3 大小为使用全部可用空间。 （3）、这个采集服务器的分区方案，需要配置中等大小的根分区
选择新建，挂载点选择 / （斜杠就是根分区的意思） 文件系统选择ext3
大小选择40G左右，如果硬盘容量大于150G，选择大约总容量的40% 左右。 同样新建，挂载点选择/usr 分给10G左右。约7%左右。格式也为ext3。
此外新建，直接选择文件系统类型swap，大小为内存1.5~2备大小容量，如8G、12G等。 最后选择新建 /opt挂载点 格式ext3 大小为使用全部可用空间。
分区完后，点击下一步。
- 7 –
WLAN网管系统安装调试手册
选择安装GRUB引导装载程序将会被安装在/dev/XXXXXXX上。（这里参数不一定，表示所在硬盘）
点击下一步。进入网络设置。
一般都是固定IP，所以请编辑所选的以太网口eth0或eth1. 这里可以暂时不设置，勾选开机启动所有的以太网口 去掉IPv6 support。
固定IP设置需要设置IP Address （IP地址）Netmask（子网掩码） 再设置网关，DNS等
这里可以选择不设置。因为在系统安装好之后还需要确认网络设置。 点击下一步，默认的是选择亚洲/上海 UTC 点击下一步。
这一步到了设置根用户密码（root）。这一步的密码非常重要，在设置前请注意你键盘的大写开关是否打开，请记住你设置的密码。在重启登录的时候需要用到这个密码！！！不然会很麻烦。
点击下一步
这里统一安装X界面，这一步的安装界面上请选择“现在定制”，然后点击下一步。
需要安装X界面，在桌面环境这里勾选GNOME桌面环境。然后选择GNOME桌面环
境，点击屏幕下方的“可选软件包”，这时可以选择GNOME桌面环境中的软件包。去除一些不需要的包。 比如
networkMangaer-gnome at-spl
desktop-printing dvd-rw-tools esc-1.0.0.-39 gimp-print-utils gnome-mag gnome-pilot gnome-user-docs gnome-vfs2-smb gok
nautilus-cd-burner nautilus-open-terminal nautilus-sendto 然后关闭
##如果你此次安装的现场没有，而且有需要装FTP等服务，请勾选服务器FTP服务器，还有同样也勾选开发中的软件库，确认里面的subversion包有安装。
选择左边应用程序 右边只选择：
- 8 –
WLAN网管系统安装调试手册
图形化互联网->可选软件包：firefox，nspluginwrapper 编辑器->可选软件包->vim-enhanced
左边的开发 –》勾选X软件，软件库和老的软件库 #此次补充 左边基本系统。右边选择X窗口系统、基本、
此外左边需要选择的还有语言：右边选择中文支持。（如果你前面的安装过程第一步选择的是中文，这里也会默认给你选上。）
选择好包之后，点击下一步。
这时候会提示“点击’下一步’来开始安装CentOS”。
点击下一步。这里如果用CD安装的会提示：需要其他光盘，记住这里的选择很重要，一定更要选择“继续”，不然你前面的辛苦设置全部都没有了。
好了。接下来就是“漫长”的等待时间了，如果正常，没有安装X界面的系统，安装一般需要15分钟左右，安装X界面的系统一般需要20分钟左右。
使用CD安装的，在安装过程中，一个盘的东西安装完了，会弹出CD，显示器上提示插入第二张盘再确定。
安装完毕，会提示重启。
重启后进入首次安装设置界面： 我这里主要讲有X的界面的。
首先设置的防火墙。防火墙请启用。勾选所需的端口SSH。
WWW（HTTP），安全WWW（HTTPS），SSH。需要添加其他端口请根据情况选择。（比如你）
第二步是设置SElinux ，为防止网管平台的不明BUG出现，请禁用SElinux。
第三部设置时间，一般不用设置。
第四步创建普通用户。
用户名填写wifioss密码填写HANGZHOUHUASI注意是大写哦。 （用户名，密码也可以自己设定，并且记录好密码）
前进 完成 重启。
重启登录后做的第一件事情就是查看网络是否通畅。（建议初次配置直接用root登录）
打开终端（在系统菜单，附件里面有终端，这个你应该要知道！！）使用/sbin/ifconfig查看网卡的IP状态。一般eth0是指服务器后面板的端口1，eth1是指端口2，因为Linux识别硬件一般都是从0开始计数的。
- 9 –
WLAN网管系统安装调试手册
使用ping （可以PING网关）来查看网络是否通畅。
如果不畅通，或者网络设置不对， 配置有两种方法
一、命令行配置
请用vim打开/etc/sysconfig/network-scripts/ifcfg-eth0来设置eth0的网卡，eth1也是在相同目录下的ifcfg-eth1里面设置。
设置的格式是：
DEVICE=eth0 #网卡号这个要和你的文件名对应
BOOTPROTO=none #这个如果是设置固定IP不用改，如果是DHCP，要设置为dhcp HWADDR=00:23:7D:56:7C:30 #这个是硬件mac地址，这个也不用改，一般系统安装后自动生成。
ONBOOT=yes #设置是否在启动是启动这个网络连接，当然要为yes NETMASK=255.255.255.128 #子网掩码 IPADDR=61.166.1.120 #IP地址 GATEWAY=61.166.1.1 #网管 TYPE=Ethernet #类型，为以太网Ethernet USERCTL=no #默认不用改
IPV6INIT=no #是否启用ipv6，设置为no 更多参数可以根据实际情况设置。
在/etc/resolv.conf 设置DNS 格式为
nameserver 222.172.200.68
网络ping不通两种原因：（按顺序来排除） 一是硬件故障：
网线是否完好，这个你要确认好先，先用其他的机器或者是系统来使用这个网线来Ping试试看。
服务器的网卡灯是否亮。
二是软件故障：
网络设置。按照上面的网络设置固定IP或者是动态DHCP获取。相应的网关是否设置正确。
二、服务器页面配置网络IP
打开终端（在系统菜单，附件里面有终端，这个你应该要知道！！）
使用/sbin/ifconfig查看网卡的IP状态。一般eth0是指服务器后面板的端口1，eth1是指端口2，因为Linux识别硬件一般都是从0开始计数的。
接下来就是设置网络了
3、 设置IP， 子网掩码，网管（请用以前系统的ip等参数，或者咨询网络管理人员） 双击网络端口，比如双击eth0
- 10 –
WLAN网管系统安装调试手册
- 11 –
WLAN网管系统安装调试手册
设置静态IP 子网掩码
点击确认 4、 设置DNS
- 12 –
WLAN网管系统安装调试手册
5、 点击文件 》 保存 6、 在从命令行重启网络
在终端中执行 #$ /etc/init.d/network restart
- 13 –
WLAN网管系统安装调试手册
7、 然后通过ping 来检查网络是否畅通
Ping xxx.xxx.xxx.xxx 应该返回如下图的ping通信息
- 14 –
WLAN网管系统安装调试手册
4. 基础组件部署
部署环境建议直接用root用户进入部署配置，安装情况分为两种，一种是有网络，也就是可以上部署，另外一种是内网，不能上部署。
#声明：能够上建议下面的依赖包通过网络安装，这样可以获得较新的依赖包，支持系统环境的平滑升级。
4.1 可使用CentOS默认版本的基础组件：
基本组件的安装已经被合并到了RUBY ON RAIILS的环境安装中，详细请参见RUBY ON RAIILS的环境安装中
4.2 基础组件设置和启动
首先打开ssh服务，可以让技术人员远程为你提供技术支持。 /sbin/service sshd start #请在ROR环境装好后开启sshd服务
4.3 RUBY ON RAILS环境安装
1、我制作了一个RUBY_ENV的安装环境包：里面包括ruby, rubygems ,rails,所有需要的gems ,oralce客户端等等。操作非常简单，安装包中有安装说明，详细请参见安装中的INSTALL_GUAID.txt文档。
注意这边以后我们统一安装mysql5.1：具体的安装步骤如下： CentOS5.2下编译安装Mysql5.1.31 蓝色的是步骤，需要逐步执行： 红色的是重点注释：
cd /etc/yum.repos.d mv CentOS-Base.repo CentOS-Base.repo.save wget http://centos.ustc.edu.cn/CentOS-Base.repo.5 mv CentOS-Base.repo.5 CentOS-Base.repo 安装fastestmirror:
yum install yum-fastestmirror
安装完这个可以让yum找到最快的源来安装 #这个可以不要
前置条件：必须安装了ncurses-devel依赖包
首先测试下是不是已经安装了ncurese-devel依赖包 我们可以通过
rpm -qa|grep -i ncurses 来查看是否已经安装了
若输出ncurses-devel-5.5-24.20060715„„说明已经安装了，如果没有安装，需要重新安装yum install ncurses-devel
- 15 –
WLAN网管系统安装调试手册
测试下是否安装rpm -qa|grep -i ncurses
ncurses-5.5-24.20060715 #一定要确认已经安装了
yum install ncurses-devel
（注意：如果没有这个在，后面在编译./configure --prefix=/usr/local/mysql 可能会报错，除非你的系统本来就有ncurses-devel） 安装mysql:
shell> groupadd mysql
shell> useradd -g mysql mysql
shell> gunzip < mysql-VERSION.tar.gz | tar -xvf - （这一步只是把mysql5.1的安装包解压）
shell> cd mysql-VERSION
shell> ./configure --prefix=/usr/local/mysql --with-plugins=all
（#安装路径 让mysql支持innodb
#如果没有/usr/local/mysql文件夹则创建文件夹并赋予mysql用户权限：
#root> mkdir -p /usr/local/mysql
# root> chown -R mysql:mysql /usr/local/mysql）
shell> make
shell> make install
shell> cp support-files/my-medium.cnf /etc/my.cnf
（可能需要修改几个地方：
1.port = @MYSQL_TCP_PORT@ 改为
port = 3306
socket = @MYSQL_UNIX_ADDR@ 改为 socket = /var/lib/mysql/mysql.sock
注意：如果没有/var/lib/mysql文件夹则创建文件夹并赋予mysql用户权限： root> mkdir -p /var/lib/mysql
- 16 –
WLAN网管系统安装调试手册
root> chown -R mysql:mysql /var/lib/mysql 2.table_open_cache = 注销掉 ==> #table_open_cache = ）
shell> cd /usr/local/mysql
shell> bin/mysql_install_db --user=mysql #初始化数据库,这步出错 解决方案
/usr/local/mysql/bin/mysql_install_db --user=mysql --datadir=/usr/local/mysql/var
shell> chown -R root . shell> chown -R mysql var shell> chgrp -R mysql .
shell> bin/mysqld_safe --user=mysql &
shell> bin/mysqladmin -u root password yourpassword #设置密码
shell> cd /mysql-VERSION #cd到安装包根目录下
shell> cp support-files/mysql.server /etc/rc.d/init.d/mysqld
shell> chkconfig --add mysqld #添加到服务， 这个时候的mysqld还不能执行 需要
shell> chmod +x /etc/init.d mysqld
安装完毕！现在可以通过/etc/init.d/mysqld start启动服务了。
会提示启动成功，这个时候你会发现还是没有mysql命令，只是因为这些命令都在/usr/local/mysql/bin下面，我们需要做连接
shell> ln -s /usr/local/mysql/bin/mysql /usr/bin/mysql
shell> ln -s /usr/local/mysql/bin/mysqladmin /usr/bin/mysqladmin shell> ln -s /usr/local/mysql/bin/mysqldump /usr/bin/mysqldump 可以通过
Shell> mysql –u root –ppasswd 来测试是否已经安装成功了
如果以前已经安装了MYSQL gem需要删除以前的gem，重新配置安装 删除方法：
gem uninstall mysql 重新编译安装：
如果是在没有安装mysql的服务器上
yum install mysql-devel
gem install -l mysql-2.7.gem --no-ri --no-rdoc -- --with-mysql-config=/usr/lib/mysql/mysql_config
让MYSQL支持远程访问
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'shanxi_opengoss' WITH GRANT OPTION;
FLUSH PRIVILEGES;
- 17 –
WLAN网管系统安装调试手册
2、 checkout 网管服务器代码，WLAN co地址为
mkdir –p /opt/wifioss cd /opt/wifioss
svn co http://subversion.assembla.com/svn/opengoss_wifi/wifioss3/webport 3、创建配置数据库：
（1）、我们上面已经安装了MYSQL5.1，/etc/init.d/mysqld status,如果状态没有启动的话通过 /etc/init.d/mysqld start启动mysql服务，这是你就可以mysql这个时候应该就可以启动了。 设置mysql的root用户的密码：mysqladmin -uroot password \"newpassword\"新密码可以自己选择。 如果报mysql.sock的错误，你需要配置/etc/my.cnf来配置sock的路径。
socket=/var/lib/mysql/mysql.sock #这个socket和后面的database.yml中的sock配置路径要一样的
（2）、创建一个空的数据库，默认字符为utf-8 MYSQL>create database 数据库名 charset=utf8; MYSQL>show databases;查看数据库是否创建成功 （3）、chenkout 网管代码， 前面已经安装了subversion svn co http://www.assembla.com/„„„„„„„„ (4)、配置database.yml
(5)、添加首页画图的代码，我在湖南打包了一个，你可以直接接下放到/webport/vendor/下，可以在安装包中得到
（6）、安装nginx，注意，前面我们已经装了apache，但是他的端口在80端口，那我们的网管也需要能再80端口，所以我们要停掉httd服务器 /etc/init.d/httpd stop Vim /etc/httpd/conf/httpd.cnf 将Listen 80 改为Listen 8080 重新启动apache /etc/init.d/httpd start 安装ngnix，直接在/opt下面解压ngnix包，
cd /opt/nginx/sbin cd /usr/local/sbin
- 18 –
WLAN网管系统安装调试手册
chmod +x ngnix
./ngnix #ngnix安装完毕
#也可以选择编译安装，编译安装请参考环境部署包中的NGINX包 启动网管程序 Cd /opt/wifioss/webport
Mongrel_rails cluster::start #启动 Mongrel_rails cluster::stop #停止 Mongrel_rails cluster::restart #重启
然后在http://localhost 测试网管是否运行正常，如有问题，请参考部署常见问题处理文档 4.4 采集服务安装（如果需要部署就部署，不需要则不部署） 采集服务器安装主要需要安装的服务和软件包有 （ERLANG,RRDTOOL,EXMPP）
统一用ROOT用户安装
1、安装相关依赖包
确定此服务器已经安装软件相关的依赖包，如果已经装过ROR环境就已经装了 如果此服务器是新装的服务器就需要安装相关的依赖包 安装方法请参考提供的安装软件包中的collect_server部分 （1）、有服务只要执行(在安装包的目录下) cd ruby_on_rails/ruby_env ./ini_environment.sh （2）、如果没有(在安装包的目录下)
cd need_packages/
./install_all.sh
2、安装ejarbberd （主采集需要，地市采集不需要）：
安装ejarbberd比较简单，安装ejabberd-2.0.5-linux-x86_-installer.bin就可以 具体操作如下： cd ruby_on_rails
chmod +x ejabberd-2.0.5-linux-x86_-installer.bin ./ ejabberd-2.0.5-linux-x86_-installer.bin
- 19 –
WLAN网管系统安装调试手册
（1）、弹出让你选择语言的选项，我们选english （2）、提示输入 Enter继续 》 输入Enter（按很多个）
（3）、接下来提示是否接受license Do you accept this license? 》 输入 y （4）、输入安装的位置 》 输入 /opt/ejabberd
（5）、提示ejabberd server domain [localhost.localdomain]: 》 输入Enter默认 （6）、用户名 》 admin （7）、密码 》 public
（8）、问你是否集群 > 输入 no 》输入两个enter确定安装
3、安装Erlang ：
版本R12-B5
相关软件包：otp_src_R12B-5.tar.gz 安装过程：
（1）、解压。将otp_src_R12B-5.tar.gz 拷贝到桌面
输入：cd Desktop
tar xvzf otp_src_R12B-5.tar.gz (温馨提示：linux下可以用Tab键来补全命令和
文件名目录等。)
（2）、到解压的目录中去，是目录，不是文件哦。cd otp_src_R12B-5 （3）、 执行编译首先 chmod +x configure
然后执行./configure 接下来执行 make 最后执行make install
（4）、在终端输入 erl 测试
输入：erl
返回：Erlang (BEAM) emulator version 5.6.5 [source] [-bit] [smp:8] [async-threads:0] [hipe]
[kernel-poll:false]
Eshell V5.6.5 (abort with ^G) 1>
4、RRDTOOL
版本：1.2.27
- 20 –
WLAN网管系统安装调试手册
包：rrdtool-1.2.27.tar.gz
除了./configurate & make &make install 安装好之后，还要做一个链接：
ln –s /usr/local/rrdtool-1.2.27/bin/rrdtool /usr/local/bin/rrdtool ln –s /opt/rrdtool-1.4.2/bin/rrdtool /usr/local/bin/rrdtool
5、EXMPP
只要将安装包里的采集文件夹下面的 exmpp-0.9.1放到/usr/local/lib/erlang/lib/下面 具体操作: 到ruby_on_rails文件包下
cp exmpp.tgz /usr/local/lib/erlang/lib/ tar zxvf exmpp.tgz
6、SVN CHECKOUT 采集代码（或者其他现场拷贝一份）
Server代码：svn co http://subversion.assembla.com/svn/opengoss_wifi/wifioss3/server server Node代码：svn co http://subversion.assembla.com/svn/opengoss_wifi/wifioss3/server node Errdb代码: 见安装包中的(wget http://124.232.136.140/errdb.tgz) 8、 创建放置RRDB数据的目文件录（主采集）
Mkdir –p /opt/wifioss/rrdb/date Mkdir –p /opt/wifioss/rrdb/graphs Mkdir –p /opt/wifioss/rrdb/templates
9、 配置采集
请参考文档中两个PDF文件 10、
安装net snmp软件包
5. 数据库部署
5.1 Oracle 安装
Oracle安装这里以位系统为例。
5.1.1 准备工作
1、 保证要安装X图形界面
2、 查看菜单“系统”->”管理”->”安全级别和防火墙”->SElinux 里设置为“禁用”。 3、 下载好位的oracle安装包。
4、 大约半天的时间保证，因为oracle的安装可能会出现问题。
5、 保证网络畅通或者你已经下载了相关的依赖包或者挂载了光盘作为本地镜像。
- 21 –
WLAN网管系统安装调试手册
5.1.2 安装依赖软件包
如果有
yum install gcc binutils compat-libstdc++ elfutils-libelf elfutils-libelf-devel glibc glibc-common glibc-devel gcc gcc-c++ libaio libaio-devel libgcc libstdc++ libstdc++-devel make sysstat unixODBC unixODBC-devel libXp
如果没有（注意oracle服务器也要安装环境依赖包） 在我的安装包文件中有一个oracle_packages 进入到此目录下，执行 ../install_all.sh
5.1.3 建立用户和组
/usr/sbin/groupadd oinstall
/usr/sbin/groupadd dba
/usr/sbin/useradd -g oinstall -G dba oracle
/usr/sbin/passwd oracle #注意这里只是操作系统oracle用户的密码，不是数据库oracle的密码
5.1.4 建立目录和权限 （以后现场统一装11g的）
mkdir -p /oracle/11g
chown -R oracle:oinstall /oracle
5.1.5 编辑变量
1、修改以下配置
vim/etc/sysctl.conf
kernel.shmall = 2097152 #(修改)
kernel.shmmax = 21474838 #(修改) #这个根据实际的物理内存来设置
物理内存8G 则kernel_shmmax=4096*1024*1024=4294967296 物理内存4G 则kernel_shmmax=2048*1024*1024=21474838 物理内存2G 则kernel_shmmax=1024*1024*1024=1073741824 物理内存1G 则kernel_shmmax=512*1024*1024=536870912 以此类推。
(简单查看内存的方法 终端输入 top 看mem：是多少，单位是K 请换算成G)
kernel.shmmni = 4096 #(添加) kernel.sem = 250 32000 100 128 #(添加) kernel.opm = 100 #(添加) net.ipv4.ip_local_port_range = 1024 65000 #(添加) net.core.rmem_default=4194304 #(添加) net.core.rmem_max=4194304 #(添加) net.core.wmem_default=262144 #(添加)
- 22 –
WLAN网管系统安装调试手册
net.core.wmem_max=262144 #(添加)
2、修改以下配置 #(添加) vi /etc/security/limits.conf oracle soft nproc 2047 oracle hard nproc 16384 oracle soft nofile 1024 oracle hard nofile 65536
3.、修改以下配置 #(添加) vi /etc/pam.d/login
session required /lib/security/pam_limits.so session required pam_limits.so
4.、修改以下配置 #(添加) vi /etc/profile
if [ $USER = \"oracle\" ]; then if [ $SHELL = \"/bin/ksh\" ]; then ulimit -p 16384 ulimit -n 65536 else
ulimit -u 16384 -n 65536
fi fi
5.、修改以下配置
cd /home/oracle #(添加) vi .bash_profile
ORACLE_BASE=/oracle
ORACLE_HOME=$ORACLE_BASE/11g
ORACLE_SID=orcl #注意：这里就是系统要安装的实例名，所以需要根据自己的设置来改 PATH=$ORACLE_HOME/bin:$PATH export ORACLE_BASE ORACLE_HOME ORACLE_SID PATH
6.、修改以下配置 #(修改) vi /etc/redhat-release
将CentOS release 5 (Final) 修改成redhat-4 7、配置完这些参数，重启服务器。
5.1.6 用oracle用户登录桌面安装
这一步很关键，一定要通过oracle用户进入，不能通过在root用户下su方法到oracle用户 1、进入终端。解压安装包
- 23 –
WLAN网管系统安装调试手册
位的oracle安装包是oracle_linux_x_11g.zip，需要先unzip解压， Unzip oracle_linux_x_11g.zip cd database
export LANG=en_CN #这是为了不乱码 sh /ORACLE的目录/runInstaller
正常安装就可以，关于权限的错误可以忽略。
在安装接近结束的时候，会提醒两个*.sh脚本由于权限不足，无法执行。则可以直接进入root用户，对该两脚本通过命令执行。
5.1.7 第一次启动oracle
由于安装后ORAC LE不可以自动启动，需要手动启动ORACLE: su - oracle
export ORACLE_HOME=/oracle安装目录 export ORACLE_SID=sid名字 sqlplus /nolog 出现
sql> conn sys/密码 as sysdba sql> startup sql> exit
cd /oracle目录/bin
./lsnrctl start
应该不会报错了，这下ORACLE就应该完全启动起来了。
启动oracle的时候会遇到错误，如果是提示缺少××××ora，就按照以下方法解决。 解决办法：
第一步：
在oracle用户下执行环境变量：
[oracle@localhost ~]$ source ~/.bash_profile 第二步：
从Pfile参数文件夹中拷贝init.ora参数文件到实例DBS下，供启动实例时用。
cp $ORACLE_BASE/admin/$ORACLE_SID/pfile/init.ora /opt/oracle/products/×××相应的版本号/iniorcl.ora 第三步：
sqlplus登录Oracle，启动oracle实例 [oracle@localhost ~]$ sqlplus \"/as sysdba\"
SQL> startup
如果发现：ORA-01102: cannot mount database in EXCLUSIVE mode错误。
- 24 –
WLAN网管系统安装调试手册
则：cd到/opt/oracle/products/×××相应的版本号×××× 目录下，把活动的oracle用户kill掉 fuser -u lkWIFIOSS
6. FTP服务搭建
FTP服务是许多接口的服务基础，本节重点讲述如何搭建的vsftp服务和提供安全ftp账户。
6.1 vsftp安装
1、 准备ftp的目录，一般ftp在CentOS中默认的目录是/var/ftp，我们为了系统便利和安全，为ftp单独建立目录，比如/opt/ftp，使用mkdir /opt/ftp 可以为其建立目录。
2、 使用yum安装vsftp，命令是yum install vsftpd，然后使用/etc/init.d/vsftpd start | stop 看看是
否能成功启动vsftpd 服务。 3、 修改ftp组的目录，vim /etc/passwd 找到这一行
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin ，把其中的/var/ftp修改为/opt/ftp 如果目录为其他目录，以此类推。
4、 添加普通的ftp用户，使用命令 /usr/sbin/adduser -d /opt/ftp -g ftp -s /sbin/nologin ftpuser
这个命令的意思是 建立一个名为ftpuser的用户，他的根目录在/opt/ftp，用户组是ftp，并且本用户是无法登陆系统的shell的。这一步很关键，影响到系统安全。 5、 设置用户密码，passwd ftpuser #注意在设置密码不要过于简单，因为ftp的服务容易被轮询
破解。
6.2 vsftp设置
上一步已经安装了vsftp，并且为其建立了的安全用户。 接下来开始设置vsftp，使其满足我们的要求。 配置文件在/etc/vsftp/vsftpd.conf里面： 关键的配置说明如下：
local_enable=yes #给本地用户启用ftp登录权限 write_enable=yes #给用户启用写权限
local_mask=022 #给用户启用相关文件权限
anonymous_enable=no anon_upload_enable=no
anon_mkdir_write_enable=no #这几项一定要保证是no，以便禁用匿名用户登录和读写权限。
xferlog_enable=yes #启用日志
xferlog_file=/var/log/vsftpd.log #启用日志，这为排查错误和系统安全提供重要依据，但是必须手动来建立这个文件，使用命令 touch /var/log/vsftpd.log
chroot_local_user=yes #这样FTP的目录就挂载在根目录下面，以1.3修改
6.3 更改相应ftp目录权限
很多时候我们发现建立的ftp服务能够登录，但是无法上传文件和建立目录，甚至根本无法登
- 25 –
WLAN网管系统安装调试手册
陆。
这个时候我们就要想到我们建立的ftp目录权限是否正确。
1、 查看相关的目录权限，ls –l /opt/ftp 可以看到相应的权限，具体的信息这里不做解释，只要
你跟着下一步的操作，可以保证你的ftp目录权限完全正确。 2、 更改权限，使用命令：chown –R ftpuser.ftp /opt/ftp
Chmod 770 –R /opt/ftp
6.4 为ftp服务打开相应的防火墙端口
很多时候我们发现无法登陆ftp，原因可能是ftp没有启动，也可能是网络不通，那先ping一下相关IP，但是最有可能的是你在防火墙上没有打开相应的端口：20和21端口。这两个端口是默认的端口。
1、对于有X界面的用户可以用菜单里面的设置来完成防火墙的设置。
查看系统开启了那些端口 ：netstat -tunlp
2、对于没有X界面的用户，则可以使用编辑iptables的配置文件来完成设置。 相应的文件是 /etc/sysconfig/iptables 在文件中间插入两行
-A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 21 -j ACCEPT -A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 20 -j ACCEPT 修改保存后，重启iptables服务 /etc/init.d/iptables restart
6.5 ftp服务的管理
ftp服务管理非常简单，/etc/init.d/vsftpd start/stop/restart 可以很简单的管理服务。
7. 操作系统管理
本节主要介绍CentOS5.3 环境下的系统管理
#提示：系统管理里面的命令和操作都需要使用root权限登录后操作，普通用户无权限操作。
7.1 网络管理 7.1.1 设置网络
网络设置的文件主要在/etc/sysconfig/network-scripts/ifcfg-eth0 和ifcfg-eth1下面
前文操作系统安装部分已经介绍了设置的格式，这里重新写一遍。相对于的eth0是第一个网卡的设置，eth1是第二个网卡的设置。 设置的格式是：
DEVICE=eth0 #网卡号这个要和你的文件名对应
BOOTPROTO=none #这个如果是设置固定IP不用改，如果是DHCP，要设置为dhcp
HWADDR=00:23:7D:56:7C:30 #这个是硬件mac地址，这个也不用改，一般系统安装后自动生
- 26 –
WLAN网管系统安装调试手册
成。
ONBOOT=yes #设置是否在启动是启动这个网络连接，当然要为yes NETMASK=255.255.255.128 #子网掩码 IPADDR=61.166.1.120 #IP地址 GATEWAY=61.166.1.1 #网管
TYPE=Ethernet #类型，为以太网Ethernet USERCTL=no #默认不用改
IPV6INIT=no #是否启用ipv6，设置为no
更多参数可以根据实际情况设置。
修改或者设置网络之后想使新设置生效，需要重启网络。具体见下节。
7.1.2 重启网络
网络重启有两种情况：
第一种是重启网络服务，所有的网卡设置都会重启，所有网络都会中断一下，使用命令如下： /etc/init.d/network restart
其中restart这个操作参数 可以替换为start （启动网络服务），stop(停止网络服务)
第二种单一网卡需要重新启动。这个时候不会影响另卡的工作状态和设置。 使用两个命令来关闭所设置网卡（比如eth0）， /sbin/ifconfig eth0 down /sbin/ifconfg eth0 up
7.1.3 DNS设置
DNS设置在操作系统安装部分也讲到了。 具体的配置文件位置在： /etc/resolv.conf 配置的格式是
nameserver 192.168.1.1
这里以192.168.1.1为例子，你可以把它改成你的DNS服务器地址。 可以添加多行设置来设置多个DNS服务器。如： nameserver 192.168.1.1 nameserver 192.168.1.2
7.1.4 使用图形界面管理网络
如果服务器安装了X界面和GNOME桌面，能使用菜单中的工具来管理和修改网络配置。 菜单位置：“系统”“管理””网络”
- 27 –
WLAN网管系统安装调试手册
在这里你可以方便的设置网络，
1、可以设置网卡，包括激活和取消激活网卡（也就是上文提到的启动网卡和关闭网卡）。 2、可以设置DNS。（注意这里的主机名不需要设置，给默认的就好）
7.2 用户管理 7.2.1 增加用户
两种情况：
1、有X界面：使用菜单中的“系统”->”管理”->”用户和组群”->添加用户 会提示你添加用户名：这个最重要，是登录的名称 全称：可以和用户名一样。 口令：就是密码。要记得。 确认口令：重复一次。
登录Shell：使用默认，不用管。 创建主目录：使用默认，不用管。 创建私人群组：使用默认，不用管。 手工指定用户ID：不用勾选。
2、无X界面：
在root用户下，使用命令：useradd test就可以简单的添加一个用户名为test的用户。 然后使用passwd test给test用户设置密码。
7.2.2 修改密码
1、 给当前用户设置密码：
使用命令passwd
就会进入提示修改密码
2、 给其他用户设置密码：
只有权限高的用户（一般为root）能修改权限低用户的密码。这样可以为普通用户重置密码。
比如在root权限下使用命令 passwd test为test用户重新设置密码
#Important root用户密码轻易不要修改，如果修改，一定要记住新密码。重新重置root密码比较麻烦。
7.3 时间管理
时间对于服务器管理非常重要！！很多BUG和程序异常都是由时间不准确引起的。
- 28 –
WLAN网管系统安装调试手册
7.3.1 时间设置
设置时间的命令是
date –s 20090701 #设置日期为2009年7月1日 date –s 15:01:32 #设置时间为15：01：32
7.3.2 时间同步
为了准确的同步时间。需要使用ntp服务来同步时间。前提是服务器能通。 对于不能通的服务器之间同步时间的解决方法请关注本手册更新。 1、 确认是否安装ntp服务：yum install ntp 2、 编辑crontab 文件： vim /etc/crontab
在文件末尾加入一行 0 2 * * * root /usr/sbin/ntpdate asia.pool.ntp.org 3、然后重启cron服务，使设置生效
/etc/crond restart
这样服务器每天晚上就会自动和亚洲标准时间服务器同步。
7.4 安全管理 7.4.1 密码安全
密码安全重要原则：
1、 不用使用过于简单的数字或者英文单词或者是拼音的密码
2、 每次为“非系统管理员“提供root密码权限之后，务必修改密码，同时一定要牢牢记住root
密码。 3、 不要为不同的用户设置相同的密码。 4、 不要轻易泄露密码。
7.4.2 网络安全
网络安全重要原则：
1、 不要泄露服务器的IP地址，不要在QQ群聊天和演示系统的时候暴露IP（具体办法见附件）。 2、 不要开放过多端口。如果有条件，打开硬件和软件防火墙。 3、 不要在服务器上面通过浏览器轻易下载软件包。
7.4.3 系统安全@todo
Linux虽然没有病毒，但是系统安全也需要注意。具体设置请关注文档更新。
- 29 –
WLAN网管系统安装调试手册
8. 服务管理
8.1 应用服务管理 8.1.1 MySQL服务管理
MySQL服务启动，停止，重启使用的命令是： /etc/init.d/mysqld start /etc/init.d/mysqld stop /etc/init.d/mysqld restart
8.1.2 Oracle 服务管理
启动oracle su oracle
source ~/.bash_profile sqlplus \"/as sysdba\" SQL>startup SQL>exit $>lsnrctl start
8.1.3 rails服务管理
1、Rails启动Debug开发测试环境: (测试用) script/server –p 4000 2、Rails 启动mongrel：
cd /opt/wifioss/webport #这里根据自己的webport位置来cd。 mongrel_rails cluster::start
其中start可以替换为stop，restart。
8.1.4 Erlang 服务管理
Erlang服务主要是采集任务
当前版本的采集程序启动是有顺序的： 1、 主采集机上启动ejabber服务
cd /opt/ejabber #具体看你ejabber安装在哪里。
bin/start #如果无X界面会跳入一个黑色网页界面，按Q回到命令就好了。 启动成功的标志是跳出一个网页。 2、 主采集机上启动master服务 cd /opt/wifioss/server ./start_master
3、 其他节点采集机上启动node服务 4、 cd /opt/wifioss/server
- 30 –
WLAN网管系统安装调试手册
./start_all_nodes 5、 同步数据
在主采集机上 cd /opt/wifioss/server ./opengoss_ctl syncrepl 会提示成功success
8.2 系统日志
@todo
8.3 故障排除
@todo
9. 附录
9.1 挂载CentOS光盘，制作本地镜像。
具体步骤如下：
如果没有X界面，先挂载光盘。
mount /dev/cdrom /media/cdrom
建立本地镜像目录： mkdir /opt/localrepo
插入光盘，拷贝文件： cp -rp /media/cdrom/CentOS_5.3_Final /opt/localrepo 每个光盘都这样拷贝，如有重复文件，请忽略。
安装createrepo工具: rpm -ivh /opt/localrepo/CentOS/[用tab找出来createrepo].rpm createrepo rpm库包所在文件目录 : createrepo /opt/localrepo/CentOS/ 接下来会慢慢加载2000多个包。 完成之后，修改yum源设置： /etc/yum.repo.d/CentOS-Media.repo 主要添加一个位置：
file:///opt/localrepo/CentOS/
修改gpgcheck=0（忽略check）
之后就可以使用这个命令来安装了：yum --disablerepo=\\* --enablerepo=c5-media install XXXX
- 31 –
WLAN网管系统安装调试手册
9.2 FQA
Q：在系统组网示意图中，“采集服务器群”中的“群”的定义？
A：因为我们的架构是支持集群采集，并且是根据客户的需求来配置服务器的数量。
Q：为什么服务器需要上？并且需要一个公网IP，该IP是设置在哪台服务器上？ A：服务器上有两个作用：一种是方便远程管理，一种是需要采集数据；而采集数据还是要根据客户的要求和网络结构来进行配置；此外Web服务器必须要能连接公网，因为我们的GIS图像需要公网的googlemap支持。
配置公网IP的目的还是便于远程管理，该IP设置在WEB服务器上，这样的话，我们能第一时间为客户解决疑问和困难，
Q：无X界面如何挂载U盘？ A：使用命令
mount –t vfat rw charset=GB_2312 /mnt/sdb /mnt/ 然后就可以在/mnt目录看到相关的内容。
9.3 双网卡绑定单IP
新建文件：/etc/sysconfig/network-scripts/ifcfg-bond0 DEVICE=bond0 ONBOOT=yes BOOTPROTO=static IPADDR=192.168.8.3 NETMASK=255.255.255.0 NETWORK=192.168.8.0 BROADCAST=192.168.8.255 GATEWAY=192.168.8.1 修改网卡配置文件:
修改/etc/sysconfig/network-scripts/ifcfg-eth0 内容为： DEVICE=eth0
ONBOOT=yes
BOOTPROTO=static
修改/etc/sysconfig/network-scripts/ifcfg-eth1 内容为：
DEVICE=eth1 ONBOOT=yes
BOOTPROTO=static
- 32 –
WLAN网管系统安装调试手册
修改/etc/modprobe.conf，在最后面加入以下两行： alias bond0 bonding
options bond0 miimon=100 mode=0
修改/etc/rc.d/rc.local,在最后面加入以下行：
ifenslave bond0 eth0 eth1
设置完成后重起启动。
说明：
miimon=100
miimon 是指多久时间要检查网络一次，單位是ms(毫秒) 这边的100，是100ms，即是0.1秒
意思是假设其中有一条网线断开，会在0.1秒內自动重连
以上设置我在虚拟机里面实现成功过，具体现场部署的时候需要进一步调试。
9.4 VIM使用快速指南
要成为优秀的SA，必须要熟练掌握一个编辑器的操作，这有利于提高效率。
Linux下编辑器众多，优秀可选的有：gedit（有图形界面），nano（最简单的编辑器），
VI/VIM（完美的编辑器VI=1+2+3=1*2*3，VIM= 1+2+4+8+16+31+62+124+248= 1*2*4*8*16*31*62*124*248），Emacs（一个微型的操作系统，带有强大的编辑器功能） 以下介绍VIM的一些常用操作：
1、 三种模式：插入模式（按i键进入），编辑模式（按ESC回到编辑模式），命令模式（按：
键从编辑模式进入命令模式）。 2、 插入模式中，可以键入相应的文字等等，此时就像一个没有鼠标的普通文本编辑器。 3、 编辑模式中，可以使用上下左右键盘来控制光标，对相应的文本或者行进行编辑。用的最
多的是按dd会删除光标当前行，按7dd会删除7行，以此类推。这个删除也可以为剪贴用。具体的粘贴是用p来粘贴到光标后的。按yy会复制当前行。类推7yy会复制7行。 4、 命令模式中。键入:w 会保存写入文档，:q 是退出，:q!是不保存强制退出。
5、 命令模式中。/是搜索。/test 是搜索字符test。/test后回车，然后按n是把光标移到下一个
匹配搜索的内容字符，按N是把光标移动到上一个匹配搜索内容。 6、 编辑模式中，按u是撤销，退回到上一步更改的状态。Ctrl+r是重做。 7、 所有的 : 命令都必须以 <回车> 告终。
相应的vim的使用技巧有很多。具体有待更新@todo
- 33 –
WLAN网管系统安装调试手册
启动Oracle数据库 su oracle
source ~/.bash_profile sqlplus \"/as sysdba\" shutdown immediate startup exit
lsnrctl start
检查Oracle是否正常启动 ps -ef|grep oracle
启动Mysql数据库
/etc/init.d/mysqld restart
检查Mysql数据库是否正常启动 ps -ef|grep mysql
启动采集服务器 cd /opt/mobile/ ./start
./stop
检查采集服务器是否正常启动 ps -ef|grep beam
启动网优应用软件 cd /usr/local/nginx/sbin/ ./nginx
cd /opt/mobile/wlan_opti/webport/ mongrel_rails cluster::restart
服务器用户密码： root public 网优平台用户密码：root public
vi /etc/resolv.conf
- 34 –
因篇幅问题不能全部显示，请点此查看更多更全内容
Copyright © 2019- zicool.com 版权所有 湘ICP备2023022495号-2
违法及侵权请联系：TEL:199 1889 7713 E-MAIL:2724546146@qq.com
本站由北京市万商天勤律师事务所王兴未律师提供法律服务