83浏览

0评论

python 删除空值且合并excel的操作

适用条件1：excel表比较多2：excel的数据量比较大，不然的话excel筛选&手动合并还是很舒服滴~需求取出【电话】列中不为空所对应的行的值并且将几张表给合并起来来来来，放代码了！！imp...

• 2021-03-06

130浏览

0评论

python 根据excel中颜色区分读取的操作

要求：读取以下表格中所有字体为大红色或者单元格颜色为黄色的信息利用到的模块是：openpyxlimport openpyxlfilename="colortest.xlsx"#读取excelworkbook=openpyxl.load_workb...

• 2021-03-06

114浏览

0评论

pandas之query方法和sample随机抽样操作

query方法在 pandas 中，支持把字符串形式的查询表达式传入 query 方法来查询数据，其表达式的执行结果必须返回布尔列表。在进行复杂索引时，由于这种检索方式无需像普通方法一样...

• 2021-03-06

107浏览

0评论

pytorch 数据加载性能对比分析

传统方式需要10s，dat方式需要0.6simport osimport timeimport torchimport randomfrom common.coco_dataset import COCODatasetdef gen_data(batch_size,data_path,target_p...

• 2021-03-06

130浏览

0评论

pytorch从csv加载自定义数据模板的操作

整理了一套模板，全注释了，这个难点终于克服了from PIL import Imageimport pandas as pdimport numpy as npimport torchvision.transforms as transformsfrom torch.utils.da...

• 2021-03-06

158浏览

0评论

使用python模块plotdigitizer抠取论文图片中的数据实例详解

技术背景对于各行各业的研究人员来说，经常会面临这样的一个问题：有一篇不错的文章里面有很好的数据，但是这个数据在文章中仅以图片的形式出现。而假如我们希望可以从该图片中提...

• 2021-03-06

187浏览

0评论

使用pycallgraph分析python代码函数调用流程以及框架解析

技术背景在上一篇博客中，我们介绍了使用量子计算模拟器ProjectQ去生成一个随机数，也介绍了随机数的应用场景等。但是有些时候我们希望可以打开这里面实现的原理，去看看在产生随...

• 2021-03-06

215浏览

0评论

python docx的超链接网址和链接文本操作

我就废话不多说了，大家还是直接看代码吧~from docx import Documentfrom docx import RTimport red=Document("./liu2.docx")for p in d.paragraphs: rels = d.part.rels for...

• 2021-03-06

102浏览

0评论

pyinstaller封装exe的操作

我使用的是anaconda。我推荐大家使用anaconda，对环境依赖关系处理的比较好。不用浪费太多时间在安装模块上。首先安装pyinstaller.命令：pip install pyinstaller需要封装的代...

• 2021-03-06

401浏览

0评论

解决pip install 卡住不动的问题

啥也不说了，眼泪哗哗的 –来自怨念深重的不灵狗。【运行环境】1、在ubuntu下使用pip安装flask-mongoengine;2、pip已经升到最高版本，你妹，旧版本ctrl + c后还能知道断在哪，新的...

• 2021-03-06

125浏览

0评论

基于pyinstaller超级加密操作(加壳和转c)

1.首先安装上必须的包pip install Cythonpip install pyinstaller2.最好是安装vs 版本的话我安装的是最新的2019，选择安装界面的时候选如下图这个和python的python应该是可选...

• 2021-03-06

258浏览

0评论

解决python 出现unknown encoding: idna 的问题

这个问题是编码的问题在开头导入个包就行了，简答粗暴import encodings.idna补充：执行Python出现LookupError: unknown encoding: cp65001解决办法在执行fetch v8时出现E:\GitP...

• 2021-03-06

138浏览

0评论

基于python goto的正确用法说明

首先是安装，python没有这个，需要安装别的pip install goto-statement看了一篇文章，都是直接官网的列子，根本不能用，所以自己搜集了资料，接下来介绍这三个包是要用的，而不是只有最后...

• 2021-03-06

171浏览

0评论

Python中docx2txt库的使用说明

docx2txt的Github地址docx2txt是基于python的从docx文件中提取文本和图片的库。代码是从python-docx中获取的。它也可以从页眉，页脚和超链接中提取文本。它现在也可以提取图...

• 2021-03-06

118浏览

0评论

pandas groupby + unstack的使用说明

概述groupby（）可以根据DataFrame中的某一列或者多列内容进行分组聚合，当DataFrame聚合后为两列索引时，可以使用unstack()将聚合的两列中一列值调整为行索引，另一列的值调整为列索...

• 2021-03-06

154浏览

0评论

Python3 pandas.concat的用法说明

前面给大家分享了pandas.merge用法详解，这节分享pandas数据合并处理的姊妹篇，pandas.concat用法详解，参考利用Python进行数据分析与pandas官网进行整理。pandas.merge参数列表...

• 2021-03-06

165浏览

0评论

Python pandas轴旋转stack和unstack的使用说明

摘要前面给大家分享了pandas做数据合并的两篇[pandas.merge]和[pandas.cancat]的用法。今天这篇主要讲的是pandas的DataFrame的轴旋转操作，stack和unstack的用法。首先，要知道...

• 2021-03-06

98浏览

0评论

pytest基本用法简介

1、安装pytest,打开dos窗口输入：
pip install pytest2、通过pycharm工具下载3、创建pytest测试用例步骤# 定义测试类class TestDivide: # 定义测试方法 def test_divide_01(s...

• 2021-03-06

143浏览

0评论

Pandas 如何筛选包含特定字符的列

问题提出：比如有一个三百多列的数据集，想要快速找到包含xxx的列，这里有三种方法if判断+列表解析式[x for x in df.columns if 'xxx' in x]str.contain()+列表解析式[x for x in...

• 2021-03-06

121浏览

0评论

Python对Excel进行处理的实操指南

xlrd、xlwt和openpyxl模块的比较：
区别： 模块 Excel格式支持 xls xlsx xlrd √ √ xlwt √...

• 2021-03-06

157浏览

0评论

Python批量获取基金数据的方法步骤

20年初准备投资基金，想爬取基金的业绩数据。20年基金迎来了爆发式增长，现把代码开源以供参考。本代码只能实现初步汇总，输出csv文件来保存基金的单位&累计净值，后期仍需要结合统...

• 2021-03-06

125浏览

0评论

python中的bool数组取反案例

python中bool数组取反操作由于Python中使用数字0,1 代表Flase,Ture 。所以bool数组不能像matlab一样直接进行取反操作。a=np.array([False,True,False,True,False])要想对a...

• 2021-03-06

141浏览

0评论

python jieba库的基本使用

一、jieba库概述
jieba是优秀的中文分词第三方库 中文文本需要通过分词获得单个的词语 jieba是优秀的中文分词第三方库，需要额外安装 jieba库提供三种分词模式，最简单只需...

• 2021-03-06

120浏览

0评论

Python多进程与多线程的使用场景详解

前言Python多进程适用的场景：计算密集型（CPU密集型）任务Python多线程适用的场景：IO密集型任务计算密集型任务一般指需要做大量的逻辑运算，比如上亿次的加减乘除，使用多核CPU可以并...

• 2021-03-06

88浏览

0评论

Python接入MySQL实现增删改查的实战记录

前言我们经常需要将大量数据保存起来以备后续使用，数据库是一个很好的解决方案。在众多数据库中，MySQL数据库算是入门比较简单、语法比较简单，同时也比较实用的一个。本文主要...

• 2021-03-06

152浏览

0评论

python re模块和正则表达式

一、re模块和正则表达式先来看一个例子：https://reg.jd.com/reg/person?ReturnUrl=https%3A//www.jd.com/这是京东的注册页面，打开页面我们就看到这些要求输入个人信息的...

• 2021-03-06

154浏览

0评论

解决PyCharm 中写 Turtle代码没提示以及标黄的问题

PyCharm 中在使用Turtle（海龟）库绘图体系时，代码明明是正确可以运行的，但是没有提示 ，代码出现黄色标记以及红色波浪线 ，经验不足的人还以为自己的书写方法错误，毕竟出现了红色波浪...

• 2021-03-06

231浏览

0评论

python多进程执行方法apply_async使用说明

apply_async简介python在同一个线程中多次执行同一方法时，该方法执行耗时较长且每次执行过程及结果互不影响，如果只在主进程中执行，效率会很低，因此使用multiprocessing.Pool(pr...

• 2021-03-06

119浏览

0评论

解决Python 进程池Pool中一些坑

1 from multiprocessing import Pool，Queue。其中Queue在Pool中不起作用，具体原因未明。解决方案：如果要用Pool创建进程，就需要使用multiprocessing.Manager()中的Queue,与multi...

• 2021-03-06

156浏览

0评论

pandas is in和not in的使用说明

简介pandas按条件筛选数据时，除了使用query()方法，还可以使用isin和对isin取反进行条件筛选.代码 import pandas as pd df = pd.DataFrame({'a':[1, 2, 3, 4, 5, 6], 'b':[1...

• 2021-03-06

167浏览

0评论

pandas 查询函数query的用法说明

query() 函数简介pandas的query()方法是基于DataFrame列的计算代数式，对于按照某列的规则进行过滤的操作，可以使用query方法。代码示例import pandas as pddf = pd.DataFrame(...

• 2021-03-06

218浏览

0评论

Pandas 模糊查询与替换的操作

主要用到的工具：Pandas 、fuzzywuzzyPandas:是基于numpy的一种工具，专门为分析大量数据而生，它包含大量的处理数据的函数和方法，以下为pandas中文API：缩写和包导入在这个速查手册...

• 2021-03-06

125浏览

0评论

python中判断集合范围的方法小结

我们在比较数值大小的时候，会使用一些比较符号来进行判断。在python集合中也有这样的比较，但有一点要注意的是，我们比较的是集合之间的包容性，而不是简单数值之间的大小比较，这点...

• 2021-03-06

158浏览

0评论

解决一个pandas执行模糊查询sql的坑

查询引擎使用了presto，在sql中使用了模糊查询。engine = create_engine(presto_url,encoding='utf-8')sql_exe ="""select id,title,tags from source.base.table where tags...

• 2021-03-06

161浏览

0评论

python pandas模糊匹配 读取Excel后 获取指定指标的操作

1.首先读取Excel文件数据代表了各个城市店铺的装修和配置费用，要统计出装修和配置项的总费用并进行加和计算；2.pandas实现过程import pandas as pd#1.读取数据df = pd.read_ex...

• 2021-03-06

195浏览

0评论

pandas pd.read_csv()函数中parse_dates()参数的用法说明

parse_dates : boolean or list of ints or names or list of lists or dict, default Falseboolean. If True -> try parsing the index.list of ints or names. e.g. If [...

• 2021-03-06

343浏览

0评论

Postman安装与使用详细教程 附postman离线安装包

Postman一款非常流行的API调试工具。其实，开发人员用的更多。因为测试人员做接口测试会有更多选择，例如Jmeter、soapUI等。不过，对于开发过程中去调试接口，Postman确实足够的简...

• 2021-03-06

120浏览

0评论

Opencv判断颜色相似的图片示例代码

问题描述
有一个项目，大体是要判断一下一篇文章内的配图突不突兀。素材准备
所以就从网上随便找了4张图：
可以看出，前3张图片从颜色上、从阅读感受上，应该是相似的，而最后一张应...

• 2021-03-06

147浏览

0评论

基于PyTorch中view的用法说明

相当于numpy中resize（）的功能，但是用法可能不太一样。我的理解是：把原先tensor中的数据按照行优先的顺序排成一个一维的数据（这里应该是因为要求地址是连续存储的），然后按照参数组...

• 2021-03-03

101浏览

0评论

Flask中jinja2的继承实现方法及实例

在继承的使用上，我们最早接触的是父类和子类的继承。不过Flask框架中的继承要简单一些，只要有一个原文件，便可以对其进行继承和修改的操作了。在修改的内容方面，可以通过关键字...

• 2021-03-03

174浏览

0评论

对Pytorch 中的contiguous理解说明

最近遇到这个函数，但查的中文博客里的解释貌似不是很到位，这里翻译一下stackoverflow上的回答并加上自己的理解。在pytorch中，只有很少几个操作是不改变tensor的内容本身，而只是...

• 2021-03-03

516浏览

0评论

聊聊Python pandas 中loc函数的使用,及跟iloc的区别说明

loc和iloc的意思首先，loc是location的意思，和iloc中i的意思是指integer，所以它只接受整数作为参数，详情见下面。loc和iloc的区别及用法展示1.区别loc works on labels in the in...

• 2021-03-03

236浏览

0评论

详解python第三方库的安装、PyInstaller库、random库

python第三方库的安装PyInstaller库PyInstaller库能够在不同操作系统下将python源文件打包，变成直接可运行的可执行文件。
可以通过—F参数对python源文件生成一个独立的可执...

• 2021-03-03

187浏览

0评论

Python解析m3u8拼接下载mp4视频文件的示例代码

一、关于m3u8：m3u8是苹果公司推出一种视频播放标准，是m3u的一种，不过编码方式是utf-8，是一种文件检索格式，将视频切割成一小段一小段的ts格式的视频文件，然后存在服务器中（现在为了...

• 2021-03-03

145浏览

0评论

python和opencv构建运动检测器的实现

照着一个示例跑，目标本是捕获进入摄像头的第一帧然后会一直追踪这一个物体，如果出现的话会框出来，但是不知道什么原因，第一个框出来之后移动到别的地方还是会框别的东西，然后摄像...

• 2021-03-03

231浏览

0评论

Python3自带工具2to3.py 转换 Python2.x 代码到Python3的操作

几乎所有的Python 2程序都需要一些修改才能正常地运行在Python 3的环境下。为了简化这个转换过程，Python 3自带了一个叫做2to3的实用脚本(Utility Script)，这个脚本会将你的Py...

• 2021-03-03

164浏览

0评论

Pytorch模型迁移和迁移学习,导入部分模型参数的操作

1. 利用resnet18做迁移学习import torchfrom torchvision import models if __name__ == "__main__": # device = torch.device("cuda" if torch.cuda.is_available() else...

• 2021-03-03

310浏览

0评论

解决pytorch 模型复制的一些问题

直接使用model2=model1会出现当更新model2时，model1的权重也会更新，这和自己的初始目的不同。经评论指出可以使用：model2=copy.deepcopy(model1)来实现深拷贝，手上没有pytorch环...

• 2021-03-03

140浏览

0评论

解决pytorch 保存模型遇到的问题

今天用pytorch保存模型时遇到bugCan't pickle <class 'torch._C._VariableFunctions'>在google上查找原因，发现是保存时保存了整个模型的原因，而模型中有一些自定义的参数将 t...

• 2021-03-03

152浏览

0评论

解决pytorch 的state_dict()拷贝问题

先说结论model.state_dict()是浅拷贝，返回的参数仍然会随着网络的训练而变化。应该使用deepcopy(model.state_dict())，或将参数及时序列化到硬盘。再讲故事，前几天在做一个模型...

• 2021-03-03