从零开发区块链应用(五)--golang网络请求

golang网络请求

一、http请求简介

理解HTTP构建的网络应用只要关注两个端--客户端(client)和服务端(server),两个端的交互来自client的request,以及server端的response。所谓的http服务器,主要在于如何接受client的request,并向client返回response。

接收request的过程中,最重要的莫过于路由(router),即实现一个Multiplexer器。Go中既可以使用内置的mutilplexer--DefaultServeMux,也可以自定义。Multiplexer路由的目的就是为了找到处理器函数(hander),后者将对request进行处理,同时构建response。

简单总结就是这个流程:

client -> Request -> Multiplexer(router)->handler ->Response -> client

众所周知,在golang 中实现的 http client 是自带连接池的。当我们做 http 请求时,极有可能就是复用了之前建立的 tcp 连接。那这个连接池是如何实现的,本文将带大家进行探究。

二、初始化客户端

//定义一个结构体
type Client struct {
    url    string
    client *http.Client
}

func NewClient(url string) *Client {
    return &Client{
        url: url,
        client: &http.Client{
            Transport: &http.Transport{
                MaxIdleConnsPerHost: 100, // 每台主机保持的最大空闲连接
                MaxConnsPerHost:     100, // 限制每个主机的连接总数
                //初始化client支持的http协议, 并在tls握手时告知server
                TLSClientConfig:     &tls.Config{InsecureSkipVerify: true}, 
            },
        },
    }
}

对于http客户端,可以使用不同的实现了 RoundTripper 接口的Transport实现来配置它的行为,RoundTripper 有点像 http.Client 的中间件

三、golang发起GET请求

3.1 GET请求方法

// httpRequest http请求
func (c *Client) HttpGetRequest() (resBody []byte, err error) {

    // 初始化请求
    req, err := http.NewRequest("GET", c.url, nil)
    if err != nil {
        return nil, errors.Wrap(err, "Http NewRequest")
    }

    // 执行请求
    req.Header.Add("Content-Type", "application/json")
    res, err := c.client.Do(req)
    if err != nil {
        return nil, errors.Wrap(err, "Client Do")
    }
    defer res.Body.Close()

    // 接收返回结果
    resBody, err = ioutil.ReadAll(res.Body)
    if err != nil {
        return nil, errors.Wrap(err, "ioutil.ReadAll")
    }
    return resBody, nil
}

3.2 基本的GET请求

请求示范:不带参数的get请求

//基本的GET请求
package main

import (
    "fmt"
    "io/ioutil"
    "net/http"
)

func main() {
    resp, err := rpc.HttpGetRequest("http://httpbin.org/get")
    if err != nil {
        fmt.Println(err)
        return
    }
    defer resp.Body.Close()
    body, err := ioutil.ReadAll(resp.Body)
    fmt.Println(string(body))
    fmt.Println(resp.StatusCode)
    if resp.StatusCode == 200 {
        fmt.Println("ok")
    }
}

3.3 带参数的GET请求

请求示范:带参数的get请求

package main

import (
    "fmt"
    "io/ioutil"
    "net/http"
)

func main(){
    resBody, err :=rpc.HttpGetRequest("http://httpbin.org/get?name=zhaofan&age=23")
    if err != nil {
        fmt.Println(err)
        return
    }
    defer resBody.Body.Close()
    body, _ := ioutil.ReadAll(resBody.Body)
    fmt.Println(string(body))
}

四、golang发起POST请求

4.1 POST请求方法

// httpRequest http请求
func (c *Client) HttpRequest(params string) (resBody []byte, err error) {

    // 初始化请求
    body := strings.NewReader(params)
    req, err := http.NewRequest("POST", c.url, body)
    if err != nil {
        return nil, errors.Wrap(err, "Http NewRequest")
    }

    // 执行请求
    req.Header.Add("Content-Type", "application/json")
    res, err := c.client.Do(req)
    if err != nil {
        return nil, errors.Wrap(err, "Client Do")
    }
    defer res.Body.Close()

    // 接收返回结果
    resBody, err = ioutil.ReadAll(res.Body)
    if err != nil {
        return nil, errors.Wrap(err, "ioutil.ReadAll")
    }
    return resBody, nil
}

4.2 不带参数的POST请求

请求示范:不带参数的post请求

package jsonrpc

import (
    "encoding/json"
    "errors"
    "github.com/token/api/apicommon"
    "github.com/token/pkg/common"
    "github.com/token/pkg/go-logger"
    "github.com/token/task/rpcclient/http"
    "math/big"
    "sync"
)

type Http struct {
    rpc *http.Client
}

var (
    httpRPC  *Http
    httpOnce sync.Once
)

// GetLatestBlockNumber 获取最新区块高度
func (eth *Http) GetLatestBlockNumber() (string, error) {
    args = []interface{}{}
    params := NewHttpParams("eth_blockNumber", args)
    resBody, err := eth.rpc.HttpRequest(params)
    if err != nil {
        return "0x0", err
    }
    res, err := eth.ParseJsonRPCResponse(resBody)
    if err != nil {
        return "0x0", err
    }
    return res.(string), nil
}

4.3 不带参数的POST请求

请求示范:不带参数的post请求

package jsonrpc

import (
    "encoding/json"
    "errors"
    "github.com/token/api/apicommon"
    "github.com/token/pkg/common"
    "github.com/token/pkg/go-logger"
    "github.com/token/task/rpcclient/http"
    "math/big"
    "sync"
)

type Http struct {
    rpc *http.Client
}

var (
    httpRPC  *Http
    httpOnce sync.Once
)

// GetTransactionByHash 获取交易信息
func (eth *Http) GetTransactionByHash(hash string) (interface{}, error) {
    if len(hash) != 66 {
        return nil, errors.New("GetTransactionByHash hash length  wrong")
    }
    args = []interface{}{hash}
    params := NewHttpParams("eth_getTransactionByHash", args)
    resBody, err := eth.rpc.HttpRequest(params)
    if err != nil {
        return nil, err
    }
    return eth.ParseJsonRPCResponse(resBody)
}

五、小结

5.1 HTTP协议请求方法

HTTP协议定义了多种请求方式,具体如下:

  • GET:获取资源,用来请求访问已被URI(统一资源标志符,和URL是包含和被包含的关系)识别的资源。
  • POST:用来传输实体的主体,虽然GET也可以实现,但是一般不用。
  • PUT:传输文件。但是鉴于PUT方法自身不带验证机制,任何人都可以上传文件,存在安全性问题,因此一般网站都不采用该方法。
  • HEAD:获得报文首部。和GET请求一样,只是不返回报文主体部分。
  • DELETE:删除文件。同样不带验证机制,存在安全性问题。
  • OPTIONS:询问指定的请求URI支持哪些方法。
  • TRACE:追踪路径,让Web服务器将之前的请求通信环回给客户端的方法。
  • CONNECT:要求在与代理服务器通信时建立隧道,实现隧道协议进行TCP通信。

5.2 POST和GET请求的常见问题

  • 请求参数长度限制:GET请求长度最多1024kb,POST对请求数据没有限制

关于此点,在HTTP协议中没有对URL长度进行限制,这个限制是不同的浏览器及服务器由于有不同的规范而带来的限制。

  • GET请求一定不能用request body传输数据

GET可以带request body,但不能保证一定能被接收到。如果你用GET服务,在request body偷偷藏了数据,不同服务器的处理方式也是不同的,有些服务器会帮你读出数据,有些服务器直接忽略。

  • POST比GET安全性要高

这里的安全是相对性,通过GET提交的数据都将显示到URL上,页面会被浏览器缓存,其他人查看历史记录会看到提交的数据,而POST不会。另外GET提交数据还可能会造成CSRF攻击。

  • GET产生一个TCP数据包,POST产生两个TCP数据包

对于GET方式的请求,浏览器会把http header和data一并发送出去,服务器响应200 OK(返回数据); 而对于POST,浏览器先发送header,服务器响应100 continue,浏览器再发送data,服务器响应200 OK(返回数据)。注意,尽管POST请求会分两次,但body 是紧随在 header 后面发送的,根本不存在『等待服务器响应』一说。

5.3 POST和GET请求的常见区别

  • 安全性:GET在浏览器回退时是无害的,而POST会再次提交请求。
  • 安全性:GET比POST更不安全,因为参数直接暴露在URL上,所以不能用来传递敏感信息。
  • 收藏为书签:GET产生的URL地址可以被Bookmark,而POST不可以。
  • 请求缓存: GET请求会被浏览器主动cache,而POST不会,除非手动设置。
  • 编码方式:GET请求只能进行url编码,而POST支持多种编码方式。
  • 历史记录:GET请求参数会被完整保留在浏览器历史记录里,而POST中的参数不会被保留。
  • 长度限制:GET请求在URL中传送的参数是有长度限制的,而POST没有。
  • 对参数的数据类型:GET只接受ASCII字符,而POST没有限制。
  • 请求参数:GET请求参数是通过URL传递的,多个参数以&连接,POST请求放在request body中。

(本标准答案参考自w3schools)

5.4 POST和GET请求的本质区别

GET和POST是什么?HTTP协议中的两种发送请求的方法。

HTTP是什么?HTTP是基于TCP/IP的关于数据如何在万维网中如何通信的协议。

HTTP的底层是TCP/IP。所以GET和POST的底层也是TCP/IP,也就是说,GET/POST都是TCP链接。GET和POST能做的事情是一样一样的。你要给GET加上request body,给POST带上url参数,技术上是完全行的通的。

那为什么在以上的区别中,又说GET请求参数是通过URL传递的,POST请求放在request body中呢?

在我大万维网世界中,TCP就像汽车,我们用TCP来运输数据,它很可靠,从来不会发生丢件少件的现象。但是如果路上跑的全是看起来一模一样的汽车,那这个世界看起来是一团混乱,送急件的汽车可能被前面满载货物的汽车拦堵在路上,整个交通系统一定会瘫痪。为了避免这种情况发生,交通规则HTTP诞生了。HTTP给汽车运输设定了好几个服务类别,有GET, POST, PUT, DELETE等等,HTTP规定,当执行GET请求的时候,要给汽车贴上GET的标签(设置method为GET),而且要求把传送的数据放在车顶上(url中)以方便记录。如果是POST请求,就要在车上贴上POST的标签,并把货物放在车厢里。当然,你也可以在GET的时候往车厢内偷偷藏点货物,但是这是很不光彩;也可以在POST的时候在车顶上也放一些数据,让人觉得傻乎乎的。HTTP只是个行为准则,而TCP才是GET和POST怎么实现的基本。

但是,我们只看到HTTP对GET和POST参数的传送渠道(url还是requrest body)提出了要求。“标准答案”里关于参数大小的限制又是从哪来的呢?

在我大万维网世界中,还有另一个重要的角色:运输公司。不同的浏览器(发起http请求)和服务器(接受http请求)就是不同的运输公司。 虽然理论上,你可以在车顶上无限的堆货物(url中无限加参数)。但是运输公司可不傻,装货和卸货也是有很大成本的,他们会限制单次运输量来控制风险,数据量太大对浏览器和服务器都是很大负担。业界不成文的规定是,(大多数)浏览器通常都会限制url长度在2K个字节,而(大多数)服务器最多处理64K大小的url。超过的部分,恕不处理。如果你用GET服务,在request body偷偷藏了数据,不同服务器的处理方式也是不同的,有些服务器会帮你卸货,读出数据,有些服务器直接忽略,所以,虽然GET可以带request body,也不能保证一定能被接收到哦。

好了,现在你知道,GET和POST本质上就是TCP链接,并无差别。但是由于HTTP的规定和浏览器/服务器的限制,导致他们在应用过程中体现出一些不同。

5.6 POST和GET请求的TCP数据包发送区别

GET和POST还有一个重大区别,简单的说:

  • GET产生一个TCP数据包;POST产生两个TCP数据包。

长的说:

  • 对于GET方式的请求,浏览器会把http header和data一并发送出去,服务器响应200(返回数据);
  • 而对于POST,浏览器先发送header,服务器响应100 continue,浏览器再发送data,服务器响应200 ok(返回数据)。
  • 也就是说,GET只需要汽车跑一趟就把货送到了,而POST得跑两趟,第一趟,先去和服务器打个招呼“嗨,我等下要送一批货来,你们打开门迎接我”,然后再回头把货送过去。

因为POST需要两步,时间上消耗的要多一点,看起来GET比POST更有效。因此Yahoo团队有推荐用GET替换POST来优化网站性能。但这是一个坑!跳入需谨慎。为什么?

  1. GET与POST都有自己的语义,不能随便混用。
  2. 据研究,在网络环境好的情况下,发一次包的时间和发两次包的时间差别基本可以无视。而在网络环境差的情况下,两次包的TCP在验证数据包完整性上,有非常大的优点。
  3. 并不是所有浏览器都会在POST中发送两次包,Firefox就只发送一次。

5.7 以太坊节点RPC调用

以太坊节点的RPC请求只支持POST,所以在调用以太坊系节点(例如BSC、HECO)的RPC时,都使用POS即可


本系列文章: 从零开发区块链应用(一)--golang配置文件管理工具viper 从零开发区块链应用(二)--mysql安装及数据库表的安装创建 从零开发区块链应用(三)--mysql初始化及gorm框架使用 从零开发区块链应用(四)--自定义业务错误信息 从零开发区块链应用(五)--golang网络请求 从零开发区块链应用(六)--gin框架使用 从零开发区块链应用(七)--gin框架参数获取 从零开发区块链应用(八)--结构体初识 从零开发区块链应用(九)--区块链结构体创建 从零开发区块链应用(十)--golang协程使用 从零开发区块链应用(十一)--以太坊地址生成 从零开发区块链应用(十二)--以太坊余额查询 从零开发区块链应用(十三)--以太坊区块查询 从零开发区块链应用(十四)--以太坊交易哈希查询 从零开发区块链应用(十五)--以太坊交易匹配查询 从零开发区块链应用(十六)--ETH转账处理


点赞 1
收藏 2
分享
本文参与登链社区写作激励计划 ,好文好收益,欢迎正在阅读的你也加入。

0 条评论

请先 登录 后评论
杰哥的技术杂货铺
杰哥的技术杂货铺
0x6e60...2aa2
六年区块链开发及运维经验,成都电子科技大学Web3讲师,利用该平台进行技术分享,可私信进行交流沟通