修复bug，在Unix和类Unix（如Linux）：换行符采用\n. Windows和MS-DOS：换行符采用\r\n。bug产生的原因是一味的直接去掉url结尾的两个字符

Author: SummerSec

cmd/commons/utils/readfile.go

@@ -33,7 +33,18 @@ func ReadFile(path string) (urls []string, err error) {
 		if err != nil {
 			return lins, err // error or EOF
 		}
-		str = str[:len(str)-2]
+		// 如果是空行，则跳过
+		if strings.TrimSpace(str) == "" {
+			continue
+		}
+		// 如果str结尾存在\r\n，则去掉
+		if strings.HasSuffix(str, "\r") {
+			str = strings.TrimSuffix(str, "\r\n")
+		}
+		// 如果str结尾存在\n，则去掉
+		if strings.HasSuffix(str, "\n") {
+			str = strings.TrimSuffix(str, "\n")
+		}
 		log.Debugf("The url is : ", str)
 		lins = append(lins, str)
 	}

cmd/test/ip.go

@@ -1,12 +1,24 @@
 package main
 
-import "github.com/projectdiscovery/mapcidr"
+import (
+	"strings"
+)
 
 func main() {
-	ip := "192.168.1.2/32"
-	subnets, _ := mapcidr.IPAddresses(ip)
-
-	for _, subnet := range subnets {
-		println("http://" + subnet)
+	str := "http://example.com/\r\n"
+	u1 := "http://example.com\n"
+	u2 := "http://example.com\r"
+	//如果字符串存在\r或者\n，那么去掉这个\r或者\n
+	// 如果str结尾存在\r\n，则去掉
+	if strings.HasSuffix(str, "\r") {
+		str = strings.TrimSuffix(str, "\r\n")
+	}
+	// 如果str结尾存在\n，则去掉
+	if strings.HasSuffix(str, "\n") {
+		str = strings.TrimSuffix(str, "\n")
 	}
+	println(str)
+
+	println(u1)
+	println(u2)
 }