golang实现日志审计

2023-05-15 10:05:33 日志 审计 Golang

随着业务的不断发展，系统日志和审计日志的重要性也越来越高。日志记录系统的长远发展需要一个高效可靠的技术，同时也需要足够的灵活性和可扩展性。近年来，golang作为一门高效的编程语言，其在日志审计方面也展现出了独特的优势，本文就来介绍一下Golang实现日志审计的方法。

一、golang在日志审计中的优势

1.协程

golang拥有协程（goroutine）的特性，能够轻松地创建大量的并发执行程序，这使得其能够保证高并发流量下的数据安全和完整性，避免了多线程下的各种繁琐和危险因素。

2.垃圾回收机制

golang拥有自己的垃圾回收机制，能够自动管理内存。这一机制不仅解决了内存泄漏的问题，同时也减少了程序员对内存的管理和处理，提高了程序设计的效率。

3.跨平台性

golang的代码能够跨平台编译，十分方便。同时golang也支持多种操作系统，包括windows、linux、MacOS等主流操作系统，能够满足不同平台下的需求。

4.性能优化

golang的性能非常优秀，它的速度和执行效率比其他语言都要高。这意味着可以在高并发下不降低系统性能，保证接口的响应速度，提高系统的可用性和稳定性。

二、golang实现日志审计具体方法

1.日志系统的设计

golang实现日志审计一般需要考虑以下几个方面：

  • 日志记录格式化：日志系统需要能够解析日志记录，并根据指定的格式进行转换并存储。
  • 数据库操作：通过使用golang的ORM框架，我们能够很方便地操作数据库，方便地存储和读取数据。
  • 身份验证：在日志审计系统中，需要进行身份验证，才能对某些操作进行审计。
  • 日志查询：针对日志系统的查询需求，需要考虑如何设计合理的查询条件和查询方式。
  • 日志存储：需要选择合适的存储方式，从而保证日志数据的完整性和安全性。

2.使用logrus库实现日志

在golang中，logrus是一款非常流行的日志框架，支持多种日志输出方式，并提供了丰富的api接口。简单地说，logrus 是一个日志库，能够提供高度可定制的日志方案。

logrus支持以下几种级别的日志输出：

  • trace
  • debug
  • info
  • warn
  • error
  • fatal
  • panic

使用logrus能够方便地实现对日志的记录、输出和管理，例如我们可以自定义输出格式、输出级别、输出给文件、输出给另一台机器等等。这种灵活性使得golang成为了日志审计的一个理想选择。

3.实现审计日志系统

下面我们来实现一个简单的审计日志系统。这个系统可以实现记录用户的操作日志，并存储在数据库中，从而方便管理员进行审计。

首先，搭建golang的WEB服务环境，我们可以使用gorilla/mux这个第三方库来处理路由。实现路由之后，我们需要为每个接口定义不同的handler函数，如登录、注销、查询等。

在处理完每个接口之后，我们来实现审计日志的记录。我们可以使用logrus库来记录日志，先定义一个日志处理器，可以把日志输出到控制台或其它外部文件中。

logrus.SetLevel(logrus.TraceLevel)
logrus.SetOutput(os.Stdout)

然后，在处理接口的过程中，我们需要记录每个用户的操作，具体应该怎样记录呢？可以通过定义一个日志格式模板和日志对象，来实现用户操作的记录。我们在定义日志时，将记录用户登录的用户名和ip地址，以及访问的接口和请求方法。这样就能非常方便地实现审计日志的记录了。

日志对象定义：

type AuditLog struct {

ID uint64
Username string
IPAddress string
Method string
Path string
CreatedAt time.Time

}

日志格式化：

func (auditLog *AuditLog) String() string {

// format the log into JSON format
buf := bytes.NewBuffer(nil)

// begin log format
buf.WriteString("{")
buf.WriteString(fmt.Sprintf(""id":"%d",", auditLog.ID))
buf.WriteString(fmt.Sprintf(""username":"%s",", auditLog.Username))
buf.WriteString(fmt.Sprintf(""ip_address":"%s",", auditLog.IPAddress))
buf.WriteString(fmt.Sprintf(""method":"%s",", auditLog.Method))
buf.WriteString(fmt.Sprintf(""path":"%s",", auditLog.Path))
buf.WriteString(fmt.Sprintf(""created_at":%d", auditLog.CreatedAt.Unix()))
// end log format
buf.WriteString("}")

return buf.String()

}

记录审计日志：

func AuditingLogMiddleware(next Http.Handler) http.Handler {

return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
    start := time.Now()

    var username string
    var ok bool

    // 根据实际场景修改，这里以token作为身份认证方式
    if token := r.Header.Get("Authorization"); token != "" {
        tokenParts := strings.Split(token, " ")

        if len(tokenParts) == 2 {
            tokenType := tokenParts[0]
            tokenContent := tokenParts[1]

            // 根据实际场景修改，这里假设发放的Token为Jwt
            if tokenType == "Bearer" {
                claims, err := util.ParseJwtToken(util.JwTKEy, tokenContent)
                if err == nil {
                    username, ok = claims["username"].(string)
                }
            }
        }
    }

    // 添加审计日志
    auditLog := &AuditLog{
        Username:  username, // 登录的用户名
        IPAddress: r.RemoteAddr, // 客户端IP地址
        Method:    r.Method, // http请求类型（GET、POST、PUT、DELETE……）
        Path:      r.URL.Path, // 请求的URL路径
        CreatedAt: time.Now(), // 日志创建时间
    }

    logrus.Trace(auditLog)

    // Call the next handler, which can be another middleware in the chain, or the final handler.
    next.ServeHTTP(w, r)

    // 审计log耗时
    end := time.Now()

    diff := end.Sub(start)
    logrus.Tracef("log time to response: %dms", int64(diff/time.Millisecond))
})

}

记录日志之后，我们需要将日志写入到数据库中。这里我们假设使用了gorm作为ORM框架，对数据库进行操作。

GORM是一个对于sql数据库的轻量级ORM库，支持Mysql、postgresql、Sqlite3等几种数据库。

func DatabaseUri(user, passWord, database, host, port string) string {

return fmt.Sprintf("%s:%s@tcp(%s:%s)/%s?charset=utf8mb4&parseTime=True&loc=Local", user, password, host, port, database)

}

func SetupDB() error {

var err error

dbUri := DatabaseUri("root", "", "log_audit", "localhost", "3306")
db, err = gorm.Open(mysql.Open(dbUri), &gorm.Config{
    Logger: &logger.Default{},
})

if err != nil {
    panic("failed to connect database")
}

// 定义migration 操作等

return nil

}

记得在main函数中先调用SetupDB，因为它是操作数据库的初始化函数，你需要确保在对数据库进行操作之前先连接上它。

调用AuditLogMiddleware的函数需要被注册到服务路由中，据需要满足不同审核需求，判断到业务需求需要将同步写入的以kafka，nats，nsq等可靠消息队列中，以便做后续异步处理。

至此，golang实现日志审计就完成了。通过以上的方法，我们可以在golang中实现一个高效、可靠的日志系统和审计模块，为我们的业务开发打下坚实的基础，也能够更好地保证系统的可靠性和安全性。

以上就是golang实现日志审计的详细内容，更多请关注其它相关文章！

相关文章