百度360必应搜狗淘宝本站头条
mqtt服务器xftp6mybatiscollectionkeyerrorc#var
当前位置：网站首页 > 热门文章 > 正文

linux服务器开发—手写内存泄漏检测组件

bigegpt 2024-09-03 11:02 3 浏览

内存泄漏原因

内存泄漏在C/C++这种不带GC(Garbage Collection)的语言里，是一个经常发生的问题。因为没有GC，所以分配的内存需要程序员自己调用释放。内存泄漏的根本原因是程序对于在申请的内存没有进行释放。

{
void *p1 = malloc(10);
void *p2 = malloc(20);

free(p1);
}

上面的代码段，申请了两块内存p1，p2，只释放了p1，没有释放p2，产生了内存泄漏。

内存泄漏会产生哪些后果？

随着程序运行时间越来越久，内存有分配没有释放，会使得进程堆中的内存会越来越少，直到耗尽。会造成后面的运行时代码不能成功分配内存。

内存泄漏如何解决？

方案一 引入gc，从语言层面解决内存泄漏；

方案二 当发生内存泄漏的时候，能够精准的定位代码那个文件、那个函数、哪一行所引起的。

我们实现的是方案二，核心需求有两个。

需求1： 能够检测出内存泄漏

需求2：能够指出是由代码的哪个文件、哪个函数、哪一行引起的内存泄漏

内存泄漏检测如何实现？

内存泄漏检测实现的核心思想就是对系统的malloc/free进行hook，用我们自己的malloc/free代替系统调用，将free的地址和malloc的地址进行匹配，查看最后又哪些malloc没有进行free，并将没有free的malloc操作的代码段地址进行记录，通过代码段定位所在的文件、函数、代码行。

方案一

采用__libc_malloc, libc_free与__builtin_return_address。它们是gcc提供的函数。

__libc_malloc, libc_free用来代替malloc/free。可以用来实现hook。需要注意的是，我们实现的malloc/free函数，内部会有一些函数如printf，fopen，需要防止它们会嵌套调用malloc/free。

__builtin_return_address，能够返回调用所在函数的代码段的地址。能够定位内存泄漏的具体位置。

malloc的时候，创建一个文件，文件名使用申请内存的地址，并记录申请该内存的代码段的地址；free的时候，删除对应的文件。


#include <stdlib.h>
#include <stdio.h>
#include <unistd.h>
 
 
int enable_malloc_hook = 1;
extern void *__libc_malloc(size_t size);
 
int enable_free_hook = 1;
extern void *__libc_free(void *p);
 
void *malloc(size_t size) {
 
    if (enable_malloc_hook) {
        enable_malloc_hook = 0;
 
        void *p = __libc_malloc(size);
 
        void *caller = __builtin_return_address(0);
 
        char buff[128] = {0};
        sprintf(buff, "./mem/%p.mem", p);
 
        FILE *fp = fopen(buff, "w");
        fprintf(fp, "[+%p]malloc --> addr:%p size:%lu\n", caller, p, size);
        fflush(fp);
 
        enable_malloc_hook = 1;
        return p;
    } else {
 
        return __libc_malloc(size);
 
    }
    return NULL;
}
 
void free(void *p) {
 
    if (enable_free_hook) {
        enable_free_hook = 0;
        char buff[128] = {0};
        sprintf(buff, "./mem/%p.mem", p);
 
        if (unlink(buff) < 0) {
            printf("double free: %p\n", p);
        }
 
        __libc_free(p);
 
 
        enable_free_hook = 1;
    } else {
        __libc_free(p);
    }
 
}
 
// gcc -o memleak_0 memleak_0.c -g
// addr2line -f -e  memleak_0  -a 0x4006d8
int main() {
 
 
    void *p1 = malloc(10);
    void *p2 = malloc(20);
 
    free(p1);
 
    void *p3 = malloc(30);
    void *p4 = malloc(40);
 
    free(p2);
    free(p4);
 
    return 0;
 
}

相关视频推荐

内存泄漏的3个解决方案与原理实现，知道一个可以轻松应对开发

4种实时线上内存泄漏检测的实现方式【linux后台开发】

学习地址：C/C++Linux服务器开发/后台架构师【零声教育】-学习视频教程-腾讯课堂

需要C/C++ Linux服务器架构师学习资料加qun812855908获取（资料包括C/C++，Linux，golang技术，Nginx，ZeroMQ，MySQL，Redis，fastdfs，MongoDB，ZK，流媒体，CDN，P2P，K8S，Docker，TCP/IP，协程，DPDK，ffmpeg等），免费分享

方案二

使用宏定义, 开启宏定义使用我们的版本，不开启就使用系统的。可以方便debug。

内存泄漏检测使用malloc_hook/free_hook, 定位内存泄漏位置，使用__FILE__, __LINE__.

#define malloc(size) malloc_hook(size, __FILE__, __LINE__)

#define free(p) free_hook(p, __FILE__, __LINE__)

可以使用fclose，没有double free的问题了

#include <stdlib.h>
#include <stdio.h>
#include <unistd.h>
 
void *malloc_hook(size_t size, const char *file, int line) {
 
    void *p = malloc(size);
 
    char buff[128] = {0};
    sprintf(buff, "./mem/%p.mem", p);
 
    FILE *fp = fopen(buff, "w");
    fprintf(fp, "[+%s:%d]malloc --> addr:%p size:%lu\n", file, line, p, size);
    fflush(fp);
 
    fclose(fp);
 
    return p;
 
}
 
void free_hook(void *p,  const char *file, int line) {
 
    char buff[128] = {0};
    sprintf(buff, "./mem/%p.mem", p);
 
    if (unlink(buff) < 0) {
        printf("double free: %p\n", p);
        return;
    }
 
    free(p);
 
}
 
#define malloc(size)   malloc_hook(size, __FILE__, __LINE__)
 
#define free(p)    free_hook(p, __FILE__, __LINE__)
 
 
// gcc -o memleak_0 memleak_0.c -g
// addr2line -f -e  memleak_0  -a 0x4006d8
int main() {
 
 
    void *p1 = malloc(10);
    void *p2 = malloc(20);
 
    free(p1);
 
    void *p3 = malloc(30);   // memory leak
    void *p4 = malloc(40);
 
    free(p2);
    free(p4);
    free(p4); // double free
 
    return 0;
 
}

检测出两个问题，一次内存泄漏 p3，一次double free p4。结果OK。

方案三

使用malloc.h中提供的hook: __malloc_hook, __free_hook.

这两个hook，默认是malloc，free。

参考mtrace的做法，通过改变这两个值来进行检测。

#include <stdlib.h>
#include <stdio.h>
#include <unistd.h>
#include <malloc.h>
 
typedef void *(*malloc_hoot_t)(size_t size, const void *caller);
malloc_hoot_t malloc_f;
 
typedef void (*free_hook_t)(void *p, const void *caller);
free_hook_t free_f;
 
void mem_trace(void);
void mem_untrace(void);
 
void *malloc_hook_f(size_t size, const void *caller) {
 
    mem_untrace();
    void *ptr = malloc(size);
    // printf("+%p: addr[%p]\n", caller, ptr);
    char buff[128] = {0};
    sprintf(buff, "./mem/%p.mem", ptr);
 
    FILE *fp = fopen(buff, "w");
    fprintf(fp, "[+%p]malloc --> addr:%p size:%lu\n", caller, ptr, size);
    fflush(fp);
 
    fclose(fp);
    
    mem_trace();
    return ptr;
 
}
 
void free_hook_f(void *p, const void *caller) {
    mem_untrace();
    // printf("-%p: addr[%p]\n", caller, p);
 
    char buff[128] = {0};
    sprintf(buff, "./mem/%p.mem", p);
 
    if (unlink(buff) < 0) {
        printf("double free: %p\n", p);
    }
    
    free(p);
    mem_trace();
 
}
 
void mem_trace(void) {
 
    malloc_f = __malloc_hook;
    free_f = __free_hook;
 
    __malloc_hook = malloc_hook_f;
    __free_hook = free_hook_f;
}
 
void mem_untrace(void) {
 
    __malloc_hook = malloc_f;
    __free_hook = free_f;
 
}
 
 
// gcc -o memleak_0 memleak_0.c -g
// addr2line -f -e  memleak_0  -a 0x4006d8
int main() {
 
    mem_trace();
    void *p1 = malloc(10);
    void *p2 = malloc(20);
 
    free(p1);
 
    void *p3 = malloc(30);
    void *p4 = malloc(40);
 
    free(p2);
    free(p4);
    mem_untrace();
 
    return 0;
 
}

方案四

使用mtrace

#include <stdlib.h>
#include <stdio.h>
#include <unistd.h>
#include <malloc.h>
#include <mcheck.h>
 
// gcc -o memleak_0 memleak_0.c -g
// addr2line -f -e  memleak_0  -a 0x4006d8
int main() {
 
// export MALLOC_TRACE=./test.log
    mtrace();
    void *p1 = malloc(10);
    void *p2 = malloc(20);
 
    free(p1);
 
    void *p3 = malloc(30);
    void *p4 = malloc(40);
 
    free(p2);
    free(p4);
    muntrace();
 
#endif
    return 0;
 
}

方案五

使用dlsym对malloc，free进行hook。

#define _GNU_SOURCE
#include <dlfcn.h>
 
#include <stdlib.h>
#include <stdio.h>
#include <unistd.h>
 
typedef void *(*malloc_t)(size_t size);
malloc_t malloc_f;
 
typedef void (*free_t)(void *p);
free_t free_f;
 
 
int enable_malloc_hook = 1;
 
int enable_free_hook = 1;
 
void *malloc(size_t size) {
 
    if (enable_malloc_hook) {
        enable_malloc_hook = 0;
 
        void *p = malloc_f(size);
 
        void *caller = __builtin_return_address(0);
 
        char buff[128] = {0};
        sprintf(buff, "./mem/%p.mem", p);
 
        FILE *fp = fopen(buff, "w");
        fprintf(fp, "[+%p]malloc --> addr:%p size:%lu\n", caller, p, size);
        fflush(fp);
 
        enable_malloc_hook = 1;
        return p;
    } else {
 
        return malloc_f(size);
 
    }
    return NULL;
}
 
void free(void *p) {
 
    if (enable_free_hook) {
        enable_free_hook = 0;
        char buff[128] = {0};
        sprintf(buff, "./mem/%p.mem", p);
 
        if (unlink(buff) < 0) {
            printf("double free: %p\n", p);
        }
 
        free_f(p);
 
 
        enable_free_hook = 1;
    } else {
        free_f(p);
    }
 
}
 
static int init_hook() {
 
    malloc_f = dlsym(RTLD_NEXT, "malloc");
 
    free_f = dlsym(RTLD_NEXT, "free");
 
}
 
// gcc -o memleak_0 memleak_0.c -ldl -g
// addr2line -f -e  memleak_0  -a 0x4006d8
int main() {
 
    init_hook();
 
    void *p1 = malloc(10);
    void *p2 = malloc(20);
 
    free(p1);
 
    void *p3 = malloc(30);
    void *p4 = malloc(40);
 
    free(p2);
    free(p4);
 
    return 0;
 
}

共享内存

mmap方法1

匿名mmap

#include <stdio.h>
#include <sys/mman.h>
#include <unistd.h>
 
 
 
void *shm_mmap_alloc(int size) {
 
    void *addr = mmap(NULL, size, PROT_READ|PROT_WRITE, 
        MAP_ANON | MAP_SHARED, -1, 0);
    if (addr == MAP_FAILED) {
        return NULL;
    }
 
    return addr;
 
}
 
int shm_mmap_free(void *addr, int size) {
 
    return munmap(addr, size);
 
}
 
 
int main() {
 
    char *addr = (char *)shm_mmap_alloc(1024);
 
    pid_t pid = fork();
    if (pid == 0) {
        // child
        int i = 0;
 
        while(i < 26) {
            addr[i] = 'a' + i++;
            addr[i] = '\0';
            sleep(1);
        }
    } else if (pid > 0) {
        int i = 0;
        while (i++ < 26) {
            printf("parent: %s\n", addr);
            sleep(1);
        }
    }
 
    shm_mmap_free(addr, 1024);
 
}

mmap方法2

/dev/zero

#include <stdio.h>
#include <sys/mman.h>
#include <unistd.h>
 
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
 
 
void *shm_mmap_alloc(int size) {
    int fd = open("/dev/zero", O_RDWR);
 
    void *addr = mmap(NULL, size, PROT_READ|PROT_WRITE, 
        MAP_SHARED, fd, 0);
    close(fd);
 
    if (addr == MAP_FAILED) {
        return NULL;
    }
 
    return addr;
 
}
 
int shm_mmap_free(void *addr, int size) {
 
    return munmap(addr, size);
 
}
 
 
int main() {
 
    char *addr = (char *)shm_mmap_alloc(1024);
 
    pid_t pid = fork();
    if (pid == 0) {
        // child
        int i = 0;
 
        while(i < 26) {
            addr[i] = 'a' + i++;
            addr[i] = '\0';
            sleep(1);
        }
    } else if (pid > 0) {
        int i = 0;
        while (i++ < 26) {
            printf("parent: %s\n", addr);
            sleep(1);
        }
    }
 
    shm_mmap_free(addr, 1024);
 
}

shmget方法

#include <stdio.h>
#include <sys/mman.h>
#include <unistd.h>
 
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
 
#include <sys/types.h>
#include <sys/shm.h>
 
 
void *shm_alloc(int size) {
  
    int segment_id = shmget(IPC_PRIVATE, size,
                        IPC_CREAT | IPC_EXCL | S_IRUSR | S_IWUSR);
    char *addr = (char *)shmat(segment_id, NULL, 0);
 
    return addr;
 
}
 
int shm_free(void *addr) {
 
    return shmdt(addr);
 
}
 
 
int main() {
 
    char *addr = (char *)shm_alloc(1024);
 
    pid_t pid = fork();
    if (pid == 0) {
        // child
        int i = 0;
 
        while(i < 26) {
            addr[i] = 'a' + i++;
            addr[i] = '\0';
            sleep(1);
        }
    } else if (pid > 0) {
        int i = 0;
        while (i++ < 26) {
            printf("parent: %s\n", addr);
            sleep(1);
        }
    }
 
    shm_free(addr);
 
}

相关推荐

当Frida来“敲”门（frida是什么）

0x1渗透测试瓶颈目前，碰到越来越多的大客户都会将核心资产业务集中在统一的APP上，或者对自己比较重要的APP，如自己的主业务，办公APP进行加壳，流量加密，投入了很多精力在移动端的防护上。而现在挖...

服务端性能测试实战3-性能测试脚本开发

前言在前面的两篇文章中，我们分别介绍了性能测试的理论知识以及性能测试计划制定，本篇文章将重点介绍性能测试脚本开发。脚本开发将分为两个阶段：阶段一：了解各个接口的入参、出参，使用Python代码模拟前端...

Springboot整合Apache Ftpserver拓展功能及业务讲解(三)

今日分享每天分享技术实战干货，技术在于积累和收藏，希望可以帮助到您，同时也希望获得您的支持和关注。架构开源地址：https://gitee.com/msxyspringboot整合Ftpserver参...

Linux和Windows下:Python Crypto模块安装方式区别

一、Linux环境下：fromCrypto.SignatureimportPKCS1_v1_5如果导包报错：ImportError:Nomodulenamed'Crypt...

Python 3 加密简介（python des加密解密）

Python3的标准库中是没多少用来解决加密的，不过却有用于处理哈希的库。在这里我们会对其进行一个简单的介绍，但重点会放在两个第三方的软件包：PyCrypto和cryptography上，我...

怎样从零开始编译一个魔兽世界开源服务端Windows

第二章：编译和安装我是艾西，上期我们讲述到编译一个魔兽世界开源服务端环境准备，那么今天跟大家聊聊怎么编译和安装我们直接进入正题（上一章没有看到的小伙伴可以点我主页查看）编译服务端：在D盘新建一个文件夹...

附1-Conda部署安装及基本使用（conda安装教程）

Windows环境安装安装介质下载下载地址：https://www.anaconda.com/products/individual安装Anaconda安装时，选择自定义安装，选择自定义安装路径：配置...

如何配置全世界最小的 MySQL 服务器

配置全世界最小的MySQL服务器——如何在一块IntelEdison为控制板上安装一个MySQL服务器。介绍在我最近的一篇博文中，物联网，消息以及MySQL，我展示了如果Partic...

如何使用Github Action来自动化编译PolarDB-PG数据库

随着PolarDB在国产数据库领域荣膺桂冠并持续获得广泛认可，越来越多的学生和技术爱好者开始关注并涉足这款由阿里巴巴集团倾力打造且性能卓越的关系型云原生数据库。有很多同学想要上手尝试，却卡在了编译数据...

面向NDK开发者的Android 7.0变更（ndk android.mk）

订阅Google官方微信公众号：谷歌开发者。与谷歌一起创造未来！受Android平台其他改进的影响，为了方便加载本机代码，AndroidM和N中的动态链接器对编写整洁且跨平台兼容的本机...

信创改造--人大金仓(Kingbase)数据库安装、备份恢复的问题纪要

问题一：在安装KingbaseES时，安装用户对于安装路径需有“读”、“写”、“执行”的权限。在Linux系统中，需要以非root用户执行安装程序，且该用户要有标准的home目录，您可...

OpenSSH 安全漏洞，修补操作一手掌握

1.漏洞概述近日，国家信息安全漏洞库（CNNVD）收到关于OpenSSH安全漏洞（CNNVD-202407-017、CVE-2024-6387）情况的报送。攻击者可以利用该漏洞在无需认证的情况下，通...

Linux:lsof命令详解（linux lsof命令详解）

介绍欢迎来到这篇博客。在这篇博客中，我们将学习Unix/Linux系统上的lsof命令行工具。命令行工具是您使用CLI（命令行界面）而不是GUI（图形用户界面）运行的程序或工具。lsoflsof代表&...

幻隐说固态第一期:固态硬盘接口类别

前排声明所有信息来源于网络收集，如有错误请评论区指出更正。废话不多说，目前固态硬盘接口按速度由慢到快分有这几类：SATA、mSATA、SATAExpress、PCI-E、m.2、u.2。下面我们来...

新品轰炸 影驰SSD多款产品登Computex

分享泡泡网SSD固态硬盘频道6月6日台北电脑展作为全球第二、亚洲最大的3C/IT产业链专业展，吸引了众多IT厂商和全球各地媒体的热烈关注，全球存储新势力—影驰，也积极参与其中，为广大玩家朋友带来了...

一周热门
最近发表
标签列表