转录组学习六（reads计数与标准化）

任务

学习了解各个reads计数，及标准化的原理，如RPKM/FPKM/TPM的统计学原理；
了解reads计数的各个软件，用入门的htseq-count软件对每个样本内生成关于表达量的文件；
用脚本合并所有的样本表达量文件为表达矩阵；
对表达矩阵在R软件里简单的摸索，例如求平均值，方差等；
看一些重要的生物学意义的特殊基因的表达情况如何，比如GAPDH,β-ACTIN等。

reads计数的原理

基因水平：常用的软件包括HTSeq-count, featureCounts, BEDTools, Qualimap, Rsubread, GenomicRange等。在转录组学习五中的那篇重要的文章对于有参的expression定量所推荐的是FeatureCounts，无参的不组装直接定量的是Salmon-SMEM。这里对于入门所用的HtSeq-count，解决的就是上一步mapping完得到的比对结果Sam/Bam文件里的read和有参基因组的overlap区域来判断这些reads到底是属于哪个基因的，然后再进一步对这些属于这个基因的reads进行计数，而出现了overlap区域就会有不同的情况，对于HTSeq的三种对reads计数处理的模式如图：（大多数情况下，作者推荐union模式）

image
使用完之后，就会对每个样本输出一个表达量的文件，后续需要对表达量文件写脚本合并。
转录本水平：使用的工具为Cufflinks和StringTie，eXpress。不同的转录本之间通常是重叠区域十分多且相似的，当二代读长小于转录本长度时，就会有区分上的难题。不过现在有三代测序，能够完整的将每个转录本测得序列。
外显子水平：和基因水平定量类似，不过需要提供无重叠的外显子区域的gtf文件(?),分析差异外显子使用的DEXSeq提供了一个Python脚本（dexseq_prepare_annotation.py）执行这个任务
alignment-free软件：省去比对，直接得到read count。运行效率更高，但会有样本特异性和读长偏差（不比对如何知道这些reads是属于基因组上的哪个gene上，进而如何知道定量计数呢？后续可以关注下其算法相关。）

标准化的原理RPKM/FPKM/TPM

image

需要标准化的原因：
1. 样本内：相对定量而不是绝对定量：仅表示在35次抽样中，B基因抽样到了20次，（而不是其表达了20次。也不能说其会比geneA表达量高，因为基因的长度不同，所以落到基因上的reads数量也不同）
2. 样本件：不同样本的测序深度也是不同的，测序深度更深的会得到更多的reads。
3. 故，需要标准化。对基因长度和测序深度的不同进行标准化。
PKM 流程
1. gene长度标准化(真实转录序列的长度，不考虑可变剪接情况) image
 - TPM:总的转录本的丰度，更符合对相对表达量的定义。表达丰度求和。(reads数目/基因的长度=表达丰富度)
 - 看了许多的文章都在强调RPKM/FPKM的不合理性跟TPM的相对合理性，但为什么现在大多数的相对计数都在用FPKM/RPKM，而不用TPM呢，因为后续的软件不支持。
HTSeq-count定量
- 基本使用：
```
htseq-count [options] <alignment_file> <gff_file>
```
- 文献中测序的数据是双末端PE-reads，htseq的计数需要进行按照reads名称进行排序
```
### samtools重新排序
for i in `seq 56 58`; do nohup samtools sort -@ 5 -n ../5_samtools/SRR35899${i}.bam -o SRR35899${i}_nsort.bam & done
```
- HTSeq-count的基本参数：
 - -f bam/sam:指定文件格式，默认为sam，选择为bam。
 - -r name/pos:利用samtool sort对数据根据read name或者位置进行排序，默认是name。
 - -s yes/no/reverse：数据是否来自于strand-specific assay。DNA是双链的，所以需要判断到底来自于哪条链。如果选择了no，那么每一条read都会跟正义链和反义链进行比较。默认的yes对于双端测序表示第一个read都在同一个链上，第二个read则在另一条链上。
 - -a [num]: 最低质量，剔除低于阈值的read
 - -m 模式：union,intersection-strict,intersection-nonempty对应着上图的三种模式。
 - **-i **：GFF attribute to be used as feature ID (default,suitable for Ensembl GTF files: gene_id)
- HTSEQ-count脚本：
```
for i in `seq 56 58`
do
htseq-count -s no -r name -f bam SRR35899${i}_nsort.bam ../../Database/human/Homo_sapiens.GRCh38.87.chr.gtf > SRR35899${i}_matrix.count 2> SRR35899${i}.log
done
```
- 奇怪的错误：
 image 在跑的时候总是存在libbz2.so.1.0不存在，奇奇怪怪的linux文库问题，在之前安装samtools=1.6版本时候也遇到这样情况。此问题有待解决。特么花了两个小时的时间就在处理这个问题，最后发现可能是conda软件在安装pysam跟htseq时候会有库的问题，换用pip install HTSeq即可解决问题。
- 运行结果：
 
 image
featureCounts定量
- 基本使用Usage：
```
featureCounts [options] -a <annotation_file> -o <output_file> input_file1 [input_file2] ...

### 参考其他命令行
featureCounts -T 4 -t CDS -s -g Name -C -a gtf -o readscount_cdf_out 1.sam 3.sam 5.sam ...


$featureCounts -T 5 -p -t exon -g gene_id -a $mm10_gtf -o counts.txt *.bam
```
脚本合并各个表达量的文件生成为表达矩阵
- Perl里利用哈希数组来存入数据，其中基本知识点逻辑：
 - 匹配.count文件的文件名，作为后续合并的header，
 - 将每个基因名做key，value为一维数组，n->[num];
 - 每个hash依次输出,如果不存在则复制为"0"
 - foreach $i (0..$#ARGV-1)
 - $hash{$line[0]}[$i]=$line[1];
 - print $id, "\t", join("\t", @{$hash{$id}}),"\n"
```
#!/usr/bin/perl -w

$header= "Gene";
foreach $i ( 0..@ARGV-1){
#### $ARGV[$i]=~/(.*?)_(.*?).txt/;
 $ARGV[$i]=~/(.*?)_matrix\.count/;
 $header.="\t$1";

 open IN,"$ARGV[$i]" or die "$!";
 while(<IN>){
 chomp;
 @line=split;
 $hash{$line[0]}[$i]=$line[1];
 }
}
print"$header\n";
foreach $gene_id(sort keys %hash){
 foreach $i(0..@ARGV-1){
 if(!$hash{$gene_id}[$i]){
 $hash{$gene_id}[$i]=0;
 }
 }
 print $gene_id,"\t",join("\t",@{$hash{$gene_id}}),"\n";
}
```
- 结果：
 
 image
重新对小鼠的4个数据进行比对-计数
```
### 下载小鼠的hisat2 参考基因组index数据
wget -b ftp://ftp.ccb.jhu.edu/pub/infphilo/hisat2/data/grcm38.tar.gz

### 下载小鼠的gtf注释数据：
wget -b wget ftp://ftp.ensembl.org/pub/release-90/gtf/mus_musculus/Mus_musculus.GRCm38.90.gtf.gz

### 对小鼠的数据进行比对，直接输出为bam文件，跳过输出的sam文件。
hisat2 -p 5 -x /sas/supercloud-kong/wangtianpeng/Database/mouse/grcm38/genome -1 /sas/supercloud-kong/wangtianpeng/data/biotrainee/1_raw_data/SRR3589959_1.fastq.gz -2 /sas/supercloud-kong/wangtianpeng/data/biotrainee/1_raw_data/SRR3589959_2.fastq.gz 2>/sas/supercloud-kong/wangtianpeng/data/biotrainee/5_samtools/SRR3589959.log | samtools view -Sb - > SRR3589959.bam

### HISAT2比对的循环脚本
for i in `seq 60 62`
do
nohup hisat2 -x /sas/supercloud-kong/wangtianpeng/Database/mouse/grcm38/genome -1 /sas/supercloud-kong/wangtianpeng/data/biotrainee/1_raw_data/SRR35899${i}_1.fastq.gz -2 /sas/supercloud-kong/wangtianpeng/data/biotrainee/1_raw_data/SRR35899${i}_2.fastq.gz 2>/sas/supercloud-kong/wangtianpeng/data/biotrainee/5_samtools/SRR35899${i}.log | samtools view -Sb - > /sas/supercloud-kong/wangtianpeng/data/biotrainee/5_samtools/SRR35899${i}.bam & 
done

### HTSeq-count计数
for i in `seq 59 62` 
do 
nohup htseq-count -s no -r name -f bam -i gene_name ../5_samtools/SRR35899${i}.bam /sas/supercloud-kong/wangtianpeng/Database/mouse/Mus_musculus.GRCm38.90.gtf >SRR35899${i}_matrix.count 2> SRR35899${i}.log & 
done
```
11/22晚11点。Raw_count矩阵导入到R里的探索放在之后的差异基因分析里面吧。回顾知识点，主要是将HTSeq定量的原理，标准化FPKM/RPKM/TPM的原理，HTSeq-count软件的使用，还有重新将59~62的小鼠的数据跑了一遍。花了不少时间，好在也学到了不少。慢慢向前走吧。

参考文档
1. 【使用HTSeq进行有参转录组的表达量计算】
2. 【HOPTOP-reads计数】
3. 【转录组入门（6）：reads计数】
4. 【genek-转录组原理篇】
5. 【featureCounts or htseq-count?】
6. 【转录组HTseq对基因表达量进行计数】

转录组学习六（reads计数与标准化）

任务

<font color=orange>reads计数的原理</font>

<font color=orange>标准化的原理RPKM/FPKM/TPM</font>

<font color=orange>HTSeq-count定量</font>

<font color=orange>featureCounts定量</font>

<font color=orange>脚本合并各个表达量的文件生成为表达矩阵</font>

<font color=orange>重新对小鼠的4个数据进行比对-计数</font>

参考文档