您好 李 Read More »

python基础 pytyon与数据分析 Python 已经成为发展最快的主流编程语言，从众多开发语言中脱颖而出，深受开发者喜爱。其次，在数据分析领域中，使用 Python 的开发者是最多的，远超其他语言之和。最后，Python 语言简洁，有大量的第三方库，功能强大，能解决数据分析的大部分问题。 Python 语言最大的优点是简洁，它虽然是 C 语言写的，但是摒弃了 C 语言的指针，这就让代码非常简洁明了。 Python 还有强大的开发者工具。在数据科学领域，Python 有许多非常著名的工具库：比如科学计算工具 NumPy 和 Pandas 库，深度学习工具 Keras 和 TensorFlow，以及机器学习工具 Scikit-learn，使用率都非常高。 如果想在数据分析、机器学习等数据科学领域有所作为，那么掌握Python 语言的使用是非常有必要的，熟练掌握相关工具会让你事半功倍。 python版本选择 Python 主要有两个版本： 2.7.x 和 3.x。两个版本之间存在一些差异，但并不大，它们语法不一样的地方不到 10%。 另一个事实就是：大部分 Python 库都同时支持 Python 2.7.x 和 3.x 版本。虽然官方称 Python2.7 只维护到 2020 年，但它的寿命远不止到 2020 年，一份调查显示：在 2017 年的商业项目中 2.7 版本依然是主流，占到了 63.7%，即使这两年 Python3.x 版本使用的增速较快，但实际上 Python3.x 在 2008 年就已经有了。 版本选择的标准就是看你的项目是否会依赖于 Python2.7 的包，如果有依赖的就只能使用 Python2.7，否则你可以用 Python 3.x 开始全新的项目。 python ide PyCharm 这是一个跨平台的 Python 开发工具，可以帮助用户在使用 Python 时提升效率，比如：调试、语法高亮、代码跳转、自动完成、智能提示等。 Sublime Text SublimeText 是个著名的编辑器，Sublime Text3 基本上可以 1 秒即启动，反应速度很快。同时它对 Python 的支持也很到位，具有代码高亮、语法提示、自动完成等功能。 Vim Vim 是一个简洁、高效的工具，速度很快，可以做任何事，从来不崩溃。不过 Vim 相比于 Sublime Text 上手有一定难度，配置起来有些麻烦。 Eclipse+PyDev 习惯使用 Java 的人一定对 Eclipse 这个 IDE 不陌生，那么使用 Eclipse+PyDev 插件会是一个很好的选择，这样熟悉 Eclipse 的开发者可以轻易上手。 如果上面这些 IDE 你之前都没有怎么用过，那么推荐你使用 Sublime Text，上手简单，反应速度快。 Read More »

一：概要 1.1.参考 1.2 基础概念 为什么要数据挖掘 我们生活在数据驱动一切的时代，数据挖掘和数据分析就是这个时代的“淘金”，从国家、企业、组织到个人，都一定会关注各种数据，从这些数据中得到价值。通过数据挖掘学会如何从海量的数据中找到关联关系，以及如何进行价值挖掘。 通过数据分析，我们可以更好地了解用户画像，为企业做留存率、流失率等指标分析，进而精细化产品运营。 如果你关注比特币，数据分析可以帮助你预测比特币的走势。 面对生活中遇到的种种麻烦，数据分析也可以提供解决方案，比如信用卡反欺诈，自动屏蔽垃圾邮件等 MAS 方法 Multi-Dimension：想要掌握一个事物，就要从多个角度去认识它。 Ask：不懂就问，突破这一点，不懂就问最重要。 Sharing：最好的学习就是分享。用自己的语言讲出来，是对知识的进一步梳理。 怎么和数据分析建立多维度连接呢？ 与数据分析建立多维度连接的过程，也是我们从“思维”到“工具”再到“实践”的一个突破过程。学习数据分析的核心就是培养数据思维，掌握挖掘工具，熟练实践并积累经验。 第一类是基础概念。这是我们学习的基础，一定不能落下。 第二类是工具。这个部分可以很好地锻炼你的实操能力。 第三类是题库。题库的作用是帮你查漏补缺，在这个过程中，你会情不自禁地进行思考。 第一模块：数据分析基础篇 01丨数据分析全景图及修炼指南 掌握数据，就是掌握规律。当你了解了市场数据，对它进行分析，就可以得到市场规律。当你掌握了产品自身的数据，对它进行分析，就可以了解产品的用户来源、用户画像等等。所以说数据是个全新的视角。数据分析如此重要，它不仅是新时代的“数据结构 + 算法”，也更是企业争夺人才的高地。数据分析分成三个重要的组成部分。 数据采集。它是我们的原材料，也是最“接地气”的部分，因为任何分析都要有数据源。 数据挖掘。它可以说是最“高大上”的部分，也是整个商业价值所在。之所以要进行数据分析，就是要找到其中的规律，来指导我们的业务。因此数据挖掘的核心是挖掘数据的商业价值，也就是我们所谈的商业智能 BI。 数据可视化。它可以说是数据领域中万金油的技能，可以让我们直观地了解到数据分析的结果。 数据采集 数据挖掘 数据可视化 数据往往是隐性的，尤其是当数据量大的时候很难感知，可视化可以帮我们很好地理解这些数据的结构，以及分析结果的呈现。 修炼指南 借用傅盛的话来说，人与人最大的差别在于“认知”，所谓成长就是认知的升级。 我们只有把知识转化为自己的语言，它才真正变成了我们自己的东西。这个转换的过程，就是认知的过程。 通过“知行合一”提升自己的学习吸收能力。 如果说认知是大脑，那么工具就好比我们的双手，数据工程师和算法科学家每天打交道最多的就是工具。 如果你开始做数据分析的项目，你脑海中已经思考好了数据挖掘的算法模型，请牢记下面这两点原则。 不重复造轮子 工具决定效率 “不要重复造轮子”意味着首先需要找到一个可以用的轮子，也就是工具。工具没有好坏之分，只有适合与否。 工具没有好坏之分，只有适合与否。工程师会选择使用者最多的工具。因为：Bug 少、文档全、案例多 最后就是积累 “资产”了。我们很难记住大段的知识点，也背不下来工具的指令，但是我们通常能记住故事、做过的项目、做过的题目。这些题目和项目是你最先行的“资产”。 通过熟练度快速积累这些“资产”，当熟练度增加的时候，你的思考认知模型也在逐渐提升 02丨学习数据挖掘的最佳路径是什么？ 举个例子，对于普通人来说，大海是很难感知的，就更不用说找到宝藏了。但对于熟练的石油开采人员来说，大海是有坐标的。他们对地质做勘探，分析地质构造，从而发现哪些地方更可能有石油。然后用开采工具，进行深度挖掘，直到打到石油为止。 大海、地质信息、石油对开采人员来说就是数据源、地理位置、以及分析得到的结果。 我们要做的数据挖掘工作，就好像这个钻井一样，通过分析这些数据，从庞大的数据中发现规律，找到宝藏。只有对知识有全面的认知，才能确保在以后的工作中即使遇到了问题，也可以快速定位问题所在，然后找方法去对应和解决。 数据挖掘的基本流程 商业理解：数据挖掘不是我们的目的，我们的目的是更好地帮助业务，所以第一步我们要从商业的角度理解项目需求，在这个基础上，再对数据挖掘的目标进行定义。 数据理解：尝试收集部分数据，然后对数据进行探索，包括数据描述、数据质量验证等。这有助于你对收集的数据有个初步的认知。 数据准备：开始收集数据，并对数据进行清洗、数据集成等操作，完成数据挖掘前的准备工作。 模型建立：选择和应用各种数据挖掘模型，并进行优化，以便得到更好的分类结果。 模型评估：对模型进行评价，并检查构建模型的每个步骤，确认模型是否实现了预定的商业目标。 上线发布：模型的作用是从数据中找到金矿，也就是我们所说的“知识”，获得的知识需要转化成用户可以使用的方式，呈现的形式可以是一份报告，也可以是实现一个比较复杂的、可重复的数据挖掘过程。数据挖掘结果如果是日常运营的一部分，那么后续的监控和维护就会变得重要。 数据挖掘的十大算法 为了进行数据挖掘任务，数据科学家们提出了各种模型，在众多的数据挖掘模型中，国际权威的学术组织 ICDM （the IEEE International Conference on Data Mining）评选出了十大经典的算法。 按照不同的目的，我可以将这些算法分成四类 分类算法：C4.5，朴素贝叶斯（Naive Bayes），SVM，KNN，Adaboost，CART C4. Read More »

英语自然拼读 国际音标 音素是语音中最小的单位，记录音素的符号叫做音标。英语有48个音素，其中辅音28个、元音音素20个。国际音标(International Phonetic Alphabet => IPA)是国际语音协会制定的记录语音的符号体系，它严格规定“一符一音”为原则，这使得国际音标能够比较科学、精准地记录和区分语音。 音标书写 Your browser does not support the video tag. 自然拼读发音 发音练习视频 26个英文字母读音 Your browser does not support the video tag. 26个字母自然拼读发音 Your browser does not support the video tag. 48个音标的标准读音 Your browser does not support the video tag. 字母及组合发音 当元音字母被辅音字母关起来 发短音(short vowel) Read More »

划分音节的五个步骤 音节分类 音节简介 开音节是以发音的元音a，e，i，o，u结尾的单词，或辅音+不发音e音节。r除外。开音节在和后面有辅音连续时很容易犯错，如，I like Bob，这句如果不懂得E是不发音的那句子就会读错。 以一个或几个辅音字母（r除外）结尾而中间只有一个元音音素的音节，称为闭音节。例：map，desk，dog，pig 注：在闭音节中，元音字母不发“字母”本身的音。重读的闭音节中元音字母读作短元音。 重读闭音节是指在一个音节中，以辅音因素结尾的而且是重读音节的音节。重读闭音节中元音字母不是发它本身的字母音，而是发短元音，要注意其三要素 （1）一个元音字母后跟一个或几个辅音字母，他们组成的音节必须是重读音节，如：apple。 （2）以一个辅音字母结尾，如：fish。 （3）元音字母发短元音。 1.一个单词中有几个发音的元音字母，就有几个音节。 2.两个元音间有两个辅音，则辅音分开，一边一个。 3.两个元音间只有一个辅音，该辅音划分到后一个音节。 4.字母组合要划分到同一个音节。 5.词尾不发音的e不构成音节。 6.两个元音字母在一起，一般为字母组合，发一个元音、构成一个音节。 1音节划分步骤 1、找到元音：单词中有多个元音时，方法都一样。 2、元音往前找辅音。 3、元音找到辅音，形成拼音，算一个音节。 4、元音找不到辅音，自行发音，形成一个音节。 5、辅音分配给念起来顺的音节；元音的前后最多三个辅音str-ai-ght。 2音节划分口诀 一靠后，二分手，多个中间偏左右， 组合字母算一个，常见组合要遵守。 词尾看e加音节，发音不发分两种， 双字相连不连手，听音验证最后头。 3判断开音节还是闭音节 （1）两元音字母之间如有两个辅音字母，则中间分开，一边一个。如mat－ter，mem－ber，win-dow，doc－tor，sup-per，lit－tle等。这样一分，第一个音节是以辅音字母结尾的，它就是重读闭音节，元音字母读短元音。 （2）两元音字母中间有一辅音字母，该辅音字母划归后一音节。如basic，region，open，human等。这样一分，头一个音节是以元音字母结尾的，它是重读开音节，元音字母读其字母音。但是，双音节词中，重读开音节中的元音字母有不少仍读短元音。如second，present，ever，hover，modern，proper等。第二音节中有／i／时，第一音节中的a，e，i，o大多读短元音。如spanish，habit，mes-sage，city，system，profit等。 （3）第一音节如是r音节或其他元音字母组合，其读音方法和单音节词基本一样，如army，merit，circle，order，purple，awful，autumn等。但也有读短元音的，如knowledge，nourish等。 （4）非重读音节中的元音字母a，e，o，u，及字母组合ar，er，or，ure等一般读为／+／，如about，silent，atom，supply，radar，supper，doctor等。i，y及字母组合ay，ey一般读作／i／，如acid，thirty，Sunday，valley。a，e也可读作人／i／，如comrade，before等。o在词尾时仍读字母音。如hero，Negro等。 Read More »

一：概要 1.1.参考 【GO编程语言规范】https://golang.google.cn/ref/spec 【GO命令】https://golang.google.cn/cmd/ 【环境设置】https://www.liwenzhou.com/posts/Go/install_go_dev_old/ 【Unicode】https://home.unicode.org/ 二：Go语言基础知识 理解Go语言的开发环境配置、常用源码文件写法，以及程序实体（尤其是变量）及其相关的各种概念和编程技巧（比如类型推断、变量重声明、可重名变量、类型断言、类型转换、别名类型和潜在类型等）。 1.工作区和GOPATH GOROOT：Go语言安装根目录的路径，也就是GO语言的安装路径。 GOPATH：若干工作区目录的路径。是我们自己定义的工作空间。 你可以把GOPATH简单理解成Go语言的工作目录，它的值是一个目录的路径，也可以是多个目录路径，每个目录都代表Go语言的一个工作区（workspace） go mod init qiaomingzi.github.io/m/v1 GOBIN：GO程序生成的可执行文件（executable file）的路径。 2.源码文件 2.1 运行程序 使用 go run 命令执行go源码main文件 $ go run hello.go Hello, World! 此外我们还可以使用 go build 命令来生成二进制文件： $ go build hello.go $ ls hello hello.go $ ./hello Hello, World! 2.2 程序实体 是变量、常量、函数、结构体和接口的统称；程序实体的名字被统称为标识符。标识符可以是任何Unicode编码可以表示的字母字符、数字以及下划线“_”，但是其首字母不能是数字。 如：var name string 2.3 源文件包名 package xxx 同目录下的源码文件的代码包声明语句要一致。也就是说，它们要同属于一个代码包。这对于所有源码文件都是适用的。 源码文件声明的代码包的名称可以与其所在的目录的名称不同。在针对代码包进行构建时，生成的结果文件的主名称与其父目录的名称一致。 为了不让该代码包的使用者产生困惑，我们总是应该让声明的包名与其父目录的名称一致 名称的首字母为大写的程序实体才可以被当前包外的代码引用，否则它就只能被当前包内的其他代码引用。 Go 1.5及后续版本中，我们可以通过创建internal代码包让一些程序实体仅仅能被当前模块中的其他代码引用。这被称为Go程序实体的第三种访问权限：模块级私有 3.程序实体的那些事儿 3.1 变量声明 Go语言是静态类型的编程语言，所以我们在声明变量或常量的时候，都需要指定它们的类型，或者给予足够的信息，这样才可以让Go语言能够推导出它们的类型。Go语言是静态类型的，所以一旦在初始化变量时确定了它的类型，之后就不可能再改变。这就避免了在后面维护程序时的一些问题。另外，请记住，这种类型的确定是在编译期完成的，因此不会对程序的运行效率产生任何影响。 在Go语言中，变量的类型可以是其预定义的那些类型，也可以是程序自定义的函数、结构体或接口。 3.2 重构 我们通常把不改变某个程序与外界的任何交互方式和规则，而只改变其内部实现”的代码修改方式，叫做对该程序的重构。重构的对象可以是一行代码、一个函数、一个功能模块，甚至一个软件系统。 Read More »

一：概要 本文用于解决 1.1.参考 https://www.bilibili.com/read/cv11117891 https://zhuanlan.zhihu.com/p/350530697 二：关于声卡 声卡 (Sound Card)也叫音频卡、声效卡，是计算机多媒体系统中最基本的组成部分，是实现声波/数字信号相互转换的一种硬件。可在计算机程序的控制下向计算机提供音频信号的输入和输出。 声卡从话筒中获取声音模拟信号，通过模数转换器(ADC)，将声波振幅信号采样转换成一串数字信号，存储到计算机中。播放音频文件时，这些数字信号送到数模转换器(DAC)，以同样的采样速度还原为模拟波形，放大后送到扬声器发声，这一技术称为脉冲编码调制技术(PCM)， 声卡发展至今，主要分为板卡式、集成式和外置式三种接口类型 2.1 相关名词 ASIO EQ WDM DSP DAC 声卡使用数模转换器,它将记录或生成的数字信号数据转换为模拟格式。输出信号使用标准互连连接到放大器、耳机或外部设备 HDMI High-Definition Multimedia Interface 高清多媒体接口 是一种专有的音频/视频接口，用于将未压缩的视频数据和压缩或未压缩的数字音频数据从兼容 HDMI 的源设备（例如显示控制器）传输到兼容的计算机显示器、视频投影仪、数字电视或数字音频设备 驱动程序 驱动程序一般指的是设备驱动程序（Device Driver），是一种可以使计算机和设备进行相互通信的特殊程序。相当于硬件的接口，操作系统只有通过这个接口，才能控制硬件设备的工作。 2.2 声卡功能 数字信号处理芯片 数字信号处理芯片可以完成各种信号的记录和播放任务，还可以完成许多处理工作，如音频压缩与解压缩运算、改变采样频率、解释MIDI指令或符号以及控制和协调直接存储器访问（DMA）工作 。 A/D和D/A转换器 声音原本以模拟波形的形式出现，必须转换成数字形式才能在计算机中使用。为实现这种转换，声音卡含有把模拟信号转成数字信号的A/D转换器，使数据可存入磁盘中 。 为了把声音输出信号送给喇叭或其他设备播出，声卡必须使用D/A转换器，把计算机中以数字形式表示的声音转变成模拟信号播出 。 总线接口芯片 总线接口芯片在声卡与系统总线之间传输命令与数据。 音乐合成器 音乐合成器负责将数字音频波形数据或MIDI消息合成为声音 。 混音器 混音器可以将不同途径，如话筒或线路输入、CD输入的声音信号进行混合。此外，混音器还为用户提供软件控制音量的功能。 五：附录 Read More »

all.bat all.rc archive bootstrap.bash bufio buildall.bash builtin bytes clean.bash clean.bat clean.rc cmd cmp.bash compress container context crypto database debug embed encoding errors expvar flag fmt 格 式 描 述 %v 按值的本来值输出 %+v 在 %v 基础上，对结构体字段名和值进行展开 %#v 输出 Go 语言语法格式的值 %T 输出 Go 语言语法格式的类型和值 %% 输出 % 本体 %b 整型以二进制方式显示 %o 整型以八进制方式显示 %d 整型以十进制方式显示 %x 整型以十六进制方式显示 %X 整型以十六进制、字母大写方式显示 %U Unicode 字符 %f 浮点数 %p 指针，十六进制方式显示 go go.mod go.sum hash html image index internal io log make. Read More »

一：参考 [jemeter] https://jmeter.apache.org/ 二：概要 三：jemeter使用 3.1 启动 1）配置 jemeter/bin/setenv.bat set JVM_ARGS=-Xms1024m -Xmx1024m -Dpropname=value 2)启动方式 jmeter.bat run JMeter (in GUI mode by default) jmeterw.cmd run JMeter without the windows shell console (in GUI mode by default) jmeter-n.cmd drop a JMX file on this to run a CLI mode test jmeter-n-r.cmd drop a JMX file on this to run a CLI mode test remotely jmeter-t.cmd drop a JMX file on this to load it in GUI mode jmeter-server. Read More »

«大风歌»王立群 大风歌 歌手: 极泷 望华车 市井夺未央 尘沙起 鸿门巧对王 纳贤良 无畏得天下 三章法 垓下定汉疆 大风起兮云飞扬 威加海内兮归故乡 安得猛士兮守四方 大风起兮云飞扬 威加海内兮归故乡 安得猛士兮守四方 守四方 55期：传奇皇帝 公元前202年从山东定陶的一个土台上，一位五十五岁的中年男子，在群臣的欢呼声中，戴上了皇帝冠冕，他就是大汉王朝的开国皇帝刘邦，一个开创了从布衣到皇帝的神话，三年鏖战 摧毁强秦，四载奋斗 战胜项羽，创建了延续400多年的大汉王朝，然而这位不读书的皇帝,却写下了一首大气蓬勃的«大风歌»。 传奇在几个方面 1）出生传奇，2）好喝酒，4）婚姻传奇，50面相，6)经历 刘邦和吕雉是在泗水亭中的任上，刘邦假“贺钱万“乘酒喝，吕公看中刘邦面相，并许配儿女给刘邦。 在从江苏押送刑徒到江西骊山过程出现丰西泽纵徒，此后就藏匿芒砀山。 «史记»神话刘邦，就为了体现刘邦不是一般人，通过感生说的人有炎帝、皇帝、颛顼、尧、舜、禹、刘邦，者几个都是大人物。 刘邦通过三年反秦，四年刘项战争，后面就当了皇帝。 故事 1：刘邦母亲刘媪,大湖旁边，做了一场梦—与神仙相遇，后面就怀孕生下刘邦，面相像蛟龙«史记.高祖本纪»，胡子很长，大腿上有72个黑痣。 2：经常到人家賖酒喝，醉了之后睡觉，两个女老板在刘邦身上隐隐约约现出一条龙， 3：老先生：相者夫人 因而皆似君 君相贵不可言，回曰：诚如父言 不敢望德 4：刘邦挥剑斩蛇，白帝子化成一条白蛇被赤弟子斩了， 5：刘邦藏匿芒砀山，吕雉每次都能找到他，因为刘邦头上有一股运气。 56期：时代玉成 由于发生丰西泽事件，刘邦只能潜伏莽荡山，此时时代正巧赶上陈胜吴广起义 ”等死 死国可乎“，各地纷纷杀县令、郡守起义， 萧何 曹参让樊哙找刘邦起兵反秦，刘邦取代沛公后，派雍齿守丰邑，后面雍齿叛变，三夺奉邑才夺回；此时陈胜已经开始走下坡路(周文起义军一路凯歌，然后败于章邯，最后节节败退，最后兵败被杀)。 各地反秦人走了三条路，一：自立为王，树大招风最后都被杀，二：立六国王族后人为王(项梁立了楚国的后裔熊心为王),三：加盟别人刘邦加盟项梁,借兵收复丰邑。 项梁战死，楚王熊心到彭城就夺了项羽、吕臣兵权并立盟约，“先入关折，王之” 57期：西入秦关 此时有两件事情一个是救赵，另一个是灭秦，目前形势是秦军势力很强，楚怀王让宋义当主帅,项羽为副帅北伐；让刘邦为主帅西征。 刘邦西征： 1.偷袭陈留 陈留县囤积大量军粮，陈留县令与郦食其是朋友，刘邦与郦食其(li yi ji)内外结合攻下陈留。 2.智取南阳，由于在洛阳打了败仗，就南下洛阳通过南阳进武关，接收张良、陈恢的建议约降南阳郡 故事： 刘项战争时候，项羽抓住王陵母亲，为了不让其儿子背叛刘邦，在使者的面自杀了，并表示刘邦是个长者。 高阳酒徒郦食其(60多岁) 、刘邦(40多岁)，郦食其问刘邦：你是帮天下灭秦，还是帮助秦来没诸侯， 张良本想加盟景驹，在途中与刘邦巧遇，张良熟悉太公兵法，与刘邦交谈后，只有刘邦听懂张良的兵法。 58期：率先入关 刘邦轻松过了武关，入了陕西，此时赵高杀了秦二世，后面秦王子婴被扶上台后杀了赵高，子婴收集军队在峣关进行拦截。 刘邦采纳张良建议,通过贿赂秦军守将诱降、虚张声势、攻其不备拿下了峣关；后来秦王又收集最后军队在蓝田决战，最后刘邦战胜，在公元前206年10月纳降秦王子婴，就这样刘邦就进入了咸阳。 刘邦入咸阳后，接受樊哙、张良等建议 ”忠言逆耳利于行，毒药苦口利于病“等建议，约法三章，还军坝上，争取民心；秦军在三年内灭亡是因为完全失去民心。 最后刘邦做了间错事就是封堵函谷关，暗喻与项羽作对。此时北上救赵的项羽，杀主帅宋义，后在巨鹿破釜沉舟，战胜了秦军的章邯军团、长城军团，最后到函谷关的时候才知道刘邦把住了函谷关。 59期：在劫可逃 项羽三次大怒，一是刘邦把住函谷关想做关中王，项羽一怒之下功进入关，二是左司马曹无伤告密,沛公欲望关中，使子婴为相，珍宝尽有之。三是范增的建议，«史记.项羽本纪» 沛公居山东时 贪于财货 好美姬 今入关 财物无所取 妇女无所幸 此其志不在小 急击勿失；项羽在巨鹿之战之后奠定了地位，诸侯对项羽都是诚服的，而刘邦没有。 Read More »

一：参考 [算法心得] http://graphics.stanford.edu/~seander/bithacks.html#IntegerLogIEEE64Float [运算符优先级] https://tool.oschina.net/commons?type=6 [位运算技巧] https://www.zhihu.com/question/38206659 [思考题解法] https://www.iteye.com/blog/yacare-1969931 二：概要 通过本文可以让我们温习下位运算、进制转换，为写出更精良的代码奠定理论基础。现在我们从一个题目说开去： 问：如何载预计有10亿个int的数据中，剔除其中重复的数据并排序输出? 分析：首先要进行排序、排重必须得把相关数据加载到内存中，那么要用哪种数据结构来存储呢? 10 0000 0000 = 10^9 int[10^9] 需要内存 10^9 * 4(B) => ((10^9 * 4)/1000 * 1000)(M) => 4000M => 4GB 对于普通32位最大理论内存为4G的PC来说，这个计算资源是无法实现需求的，那么有没有更好的解决方法呢？在此之前先做些知识点温故。 三：知识点回顾 1.java基本类型 Data Type Default Value Default size range range value boolean false 1 bit char ‘\u0000’ 2 byte ‘\u0000’~’\uFFFF’ byte 0 1 byte -2^7~2^7-1 -128~127 short 0 2 byte -2^15~2^15-1 -32768~32767 int 0 4 byte -2^31~2^31-1 0x80000000~0x7fffffff long 0L 8 byte -2^63~2^63-1 float 0. Read More »

1.参考 【alibaba canal】https://github.com/alibaba/canal 【mysql binlog】https://dev.mysql.com/doc/refman/8.0/en/binary-log.html 【mysql event】https://dev.mysql.com/doc/internals/en/event-meanings.html 【mysqlbinlog 命令】https://dev.mysql.com/doc/refman/8.0/en/mysqlbinlog.html 2.基本简介 canal [kə’næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费 2.1 mysql主备复制实现 master将改变记录到二进制日志(binary log)中（这些记录叫做二进制日志事件，binary log events，可以通过show binlog events进行查看）； slave将master的binary log events拷贝到它的中继日志(relay log)； slave重做中继日志中的事件，将改变反映它自己的数据。 2.2 mysql binglog 数据包格式 mysql 事件体目前有一下版本 v1：在 MySQL 3.23 中使用 +=====================================+ | event | timestamp 0 : 4 | | header +----------------------------+ | | type_code 4 : 1 | | +----------------------------+ | | server_id 5 : 4 | | +----------------------------+ | | event_length 9 : 4 | +=====================================+ | event | fixed part 13 : y | | data +----------------------------+ | | variable part | +=====================================+ 标头长度 = 13 字节 数据长度 = (event_length - 13) 字节 y 特定于事件类型。 v3：在 MySQL 4. Read More »

一：概要 1.1.参考 二：附录 log pod https://kubernetes.io/docs/concepts/cluster-administration/logging/ apiVersion: v1 kind: Pod metadata: name: counter spec: containers: - name: count image: busybox:1.28 args: [/bin/sh, -c, 'i=0; while true; do echo "$i: $(date)"; i=$((i+1)); sleep 1; done'] Read More »

1.maven-wrapper安装使用 安装 在项目中使用命令安装mvn -N io.takari:maven:0.7.7:wrapper，参考官网 ,如果需要指定maven版本则使用mvn -N io.takari:maven:0.7.7:wrapper -Dmaven=3.5.4,安装完成后，目录如下 my-project ├── .mvn │ └── wrapper │ ├── MavenWrapperDownloader.java │ ├── maven-wrapper.jar │ └── maven-wrapper.properties ├── mvnw ├── mvnw.cmd ├── pom.xml └── src ├── main │ ├── java │ └── resources └── test ├── java └── resources 使用 参考mvn命令, 指令切换成mvnw如: linux下 ./mvnw clean install windown下 mvnw.cmd clean install Read More »

1.参考 【mysql8.0手册】https://dev.mysql.com/doc/refman/8.0/en/ 【mysql doc】https://dev.mysql.com/doc/ 【alibaba canal】https://github.com/alibaba/canal 2.概要 通过本文可以了解主从同步原理，快速搭建一个主从环境,实现复制场景，并且利用canal实现订阅binglog日志，实现跨实例同步。 中间件版本: mysql-8.0.27 canal 1.1.5 3.主从同步 创建容错系统的最常见方法就是冗余，复制模式分普通复制、组复制，普通复制即传统的 MySQL复制 提供了一种简单的源(mater)到副本复制方法,。 master-slave syn MySQL 复制功能允许服务器 -主服务器 - 将所有更改发送到另一台服务器 -从服务器 -从服务器尝试应用所有更改以与主服务器保持同步。复制工作如下： 每当 master 的数据库被修改时，更改都会写入一个文件，即所谓的二进制日志或binlog。这是由执行修改数据库的查询的客户端线程完成的。 master 有一个线程，称为dump thread，它不断读取 master 的 binlog 并将其发送给 slave。 slave有一个线程，称为IO线程，它接收master的dump线程发送的binlog，并将其写入一个文件： relay log，show variables like ‘%relay%’。 从服务器有另一个线程，称为 SQL 线程，它不断读取中继日志并将更改应用到从服务器。 MySQL 复制功能使用三个主线程实现，一个在源服务器上，两个在副本上： 二进制日志转储线程。 当副本连接时，源创建一个线程将二进制日志内容发送到副本。该线程可以SHOW PROCESSLIST在源上的输出中标识为Binlog Dump线程。 二进制日志转储线程获取源二进制日志的锁，用于读取要发送到副本的每个事件。一旦事件被读取，锁就会被释放，甚至在事件被发送到副本之前。 复制 I/O 接收器线程。 当START REPLICA在副本服务器上发出一条语句时，副本会创建一个 I/O（接收器）线程，该线程连接到源并要求它发送记录在其二进制日志中的更新。 复制接收者线程读取源Binlog Dump线程发送的更新（参见上一项）并将它们复制到包含副本中继日志的本地文件。 该线程的状态显示 Slave_IO_running在 的输出中 SHOW SLAVE STATUS。 复制 SQL 应用程序线程。 副本创建一个 SQL（应用程序）线程来读取由复制接收器线程写入的中继日志并执行其中包含的事务。 Read More »

this is sonarqbe Read More »

1.概述 Yarn是您的代码的包管理器，yarn和npm的对比 速度 npm 是按照队列执行每个 package，也就是说必须要等到当前 package 安装完成之后，才能继续后面的安装。而 Yarn 是同步执行所有任务，提高了性能。 安装版本统一 更简洁的输出 参考： https://classic.yarnpkg.com yarn官网 2.基础配置 使用安装包安装 https://github.com/yarnpkg/yarn/releases 下载路径 使用npm安装 npm install --g yarn window下 配置文件路径 C:\Users\Administrator\.yarnrc 2.1.修改缓存路径 #修改yarn 缓存位置 yarn config set cache-folder “你的磁盘路径” #这里是我的路径 yarn config set cache-folder “D:\Software\yarn\cache” 2.2.修改包源 yarn config set registry https://registry.npm.taobao.org/ 2.3.yarn 全局安装位置 yarn config set global-folder "D:\yarnData\global" 2.4.改变yarn bin位置 yarn config set prefix D:\yarnData\global\bin 3.yarn版本号 yarn的包遵守 semver，即语义化版本。 SemVer 是一套语义化版本控制的约定，定义的格式为 X.Y.Z（主版本号.次版本号.修订号）： X.主版本号：进行不向下兼容的修改时，递增主版本号 Y.次版本号: 做了向下兼容的新增功能或修改 Z. Read More »

相关链接 https://github.com/golang 源码 https://golang.org/ref/mod 官方文档 https://golang.org/doc/code.html#Workspaces http://www.flysnow.org/categories/Golang/ go专栏 https://golanglibs.com/top 流行的GO应用和GO库 https://gitee.com/pengzhile/ide-eval-resetterv GoLand试用更新插件 一：前言 为什么需要GO语言 Go设计者认为C语言更值得学习，希望让它成为互联网时代的C语言。多数系统级语言（包括Java和C#）的根本编程哲学来源于C++，将C++的面向对象进一步发扬光大。C语言经久不衰的根源是它足够简单，Go语言也要足够简单。 那么GO需要关注哪些问题 与分布式支持 并发执行体：多核化和集群化是互联网时代的典型特征，操作系统自己掌管的进程（process）、进程内的线程（thread）以及进程内的协程（goroutine，也叫轻量级线程）。Go语言在语言级别支持协程，叫goroutine。Go语言准库提供的所有系统调用（syscall）操作，当然也包括所有同步IO操作，都会出让CPU给其他goroutine 执行体间的通信： 1）执行体之间的互斥与同步，互斥与同步是执行体间最基础 的交互方式。多数语言在库层面提供了线程间的互斥与同步支持，并没有提供协程之间的互斥与同步。 2）执行体之间的消息传递，在并发编程模型的选择上，一个是共享内存模型，一个是消息传递模型。多数传统语言选择了前者；Go语言推荐采用“Erlang风格的并发模型”的编程范式，尽管传统的“共享内存模型”仍然 被保留，在Go语言中内置了通道（channel）支持。两个goroutine之间可以通过通道来进行交互。 软件工程支持 随着工程规模的不断扩大,人们需要建立统一的交互语言来降低沟通的成本。规范化体现在多 个层面， 1)代码风格规范 Go语言要求public的变量必须以大写字母开头，private变量则以小写字母开头，这种做法不仅免除public、private关键字，更重要的是统一了命名风格。 Go语言对{ }应该怎么写进行了强制，Go代码的花括号位置肯定是非常统一的。 正例: if expression { ... } 反例: if expression { ... } 2)错误处理规范 Go语言的函数允许返回多个值。大多数函数的最后一个返回值会为error类型，以在错误情况下返回详细信息。 Go 语言首创的错误处理规范： f, err := os.Open(filename) if err != nil { log.Println("Open file failed:", err) return } defer f.Close() ... // 操作已经打开的f文件 在Java中： try { Statement stmt = . Read More »

概要： 了解hugo基本使用，通过hugo搭建个人blog 参考 【hugo 】https://gohugo.io/ -https://gohugo.io/functions/ -https://gohugo.io/variables/ 【GO模板语法】https://www.topgoer.com 【github集成】https://github.com/peaceiris/actions-gh-pages 【hugo theme】 https://themes.gohugo.io/ https://github.com/CaiJimmy/hugo-theme-stack https://github.com/dillonzq/LoveIt https://github.com/hugo-fixit/FixIt https://github.com/henriksommerfeld/blog-hugo 1.hugo结构说明 # 站点结构 ├── archetypes # 原型 ├── config.toml # 站点配置 ├── content # 站点内容目录 ├── data # 数据模板 ├── layouts # 站点布局模板 ├── static # 静态内容 └── themes # 内容目录 content └── post ├── first-post │ ├── images │ │ ├── a.jpg │ │ ├── b.jpg │ │ └── c.jpg │ ├── index.md (root of page bundle) │ ├── latest. Read More »

本文目标 30分钟内让你明白正则表达式是什么，并对它有一些基本的了解，让你可以在自己的程序或网页里使用它。 如何使用本教程 最重要的是——请给我30分钟，如果你没有使用正则表达式的经验，请不要试图在30秒内入门——除非你是超人 :) 别被下面那些复杂的表达式吓倒，只要跟着我一步一步来，你会发现正则表达式其实并没有你想像中的那么困难。当然，如果你看完了这篇教程之后，发现自己明白了很多，却又几乎什么都记不得，那也是很正常的——我认为，没接触过正则表达式的人在看完这篇教程后，能把提到过的语法记住80%以上的可能性为零。这里只是让你明白基本的原理，以后你还需要多练习，多使用，才能熟练掌握正则表达式。 除了作为入门教程之外，本文还试图成为可以在日常工作中使用的正则表达式语法参考手册。就作者本人的经历来说，这个目标还是完成得不错的——你看，我自己也没能把所有的东西记下来，不是吗？ 清除格式 文本格式约定：专业术语 元字符/语法格式 正则表达式 正则表达式中的一部分(用于分析) 对其进行匹配的源字符串 对正则表达式或其中一部分的说明 隐藏边注 本文右边有一些注释，主要是用来提供一些相关信息，或者给没有程序员背景的读者解释一些基本概念，通常可以忽略。 正则表达式到底是什么东西？ 字符是计算机软件处理文字时最基本的单位，可能是字母，数字，标点符号，空格，换行符，汉字等等。字符串是0个或更多个字符的序列。文本也就是文字，字符串。说某个字符串匹配某个正则表达式，通常是指这个字符串里有一部分（或几部分分别）能满足表达式给出的条件。 在编写处理字符串的程序或网页时，经常会有查找符合某些复杂规则的字符串的需要。正则表达式就是用于描述这些规则的工具。换句话说，正则表达式就是记录文本规则的代码。 很可能你使用过Windows/Dos下用于文件查找的通配符(wildcard)，也就是和?。如果你想查找某个目录下的所有的Word文档的话，你会搜索.doc。在这里，*会被解释成任意的字符串。和通配符类似，正则表达式也是用来进行文本匹配的工具，只不过比起通配符，它能更精确地描述你的需求——当然，代价就是更复杂——比如你可以编写一个正则表达式，用来查找所有以0开头，后面跟着2-3个数字，然后是一个连字号“-”，最后是7或8位数字的字符串(像010-12345678或0376-7654321)。 入门 学习正则表达式的最好方法是从例子开始，理解例子之后再自己对例子进行修改，实验。下面给出了不少简单的例子，并对它们作了详细的说明。 假设你在一篇英文小说里查找hi，你可以使用正则表达式hi。 这几乎是最简单的正则表达式了，它可以精确匹配这样的字符串：由两个字符组成，前一个字符是h,后一个是i。通常，处理正则表达式的工具会提供一个忽略大小写的选项，如果选中了这个选项，它可以匹配hi,HI,Hi,hI这四种情况中的任意一种。 不幸的是，很多单词里包含hi这两个连续的字符，比如him,history,high等等。用hi来查找的话，这里边的hi也会被找出来。如果要精确地查找hi这个单词的话，我们应该使用\bhi\b。 \b是正则表达式规定的一个特殊代码（好吧，某些人叫它元字符，metacharacter），代表着单词的开头或结尾，也就是单词的分界处。虽然通常英文的单词是由空格，标点符号或者换行来分隔的，但是\b并不匹配这些单词分隔字符中的任何一个，它只匹配一个位置。 如果需要更精确的说法，\b匹配这样的位置：它的前一个字符和后一个字符不全是(一个是,一个不是或不存在)\w。 假如你要找的是hi后面不远处跟着一个Lucy，你应该用\bhi\b.*\bLucy\b。 这里，.是另一个元字符，匹配除了换行符以外的任意字符。同样是元字符，不过它代表的不是字符，也不是位置，而是数量——它指定前边的内容可以连续重复使用任意次以使整个表达式得到匹配。因此，.连在一起就意味着任意数量的不包含换行的字符。现在\bhi\b.\bLucy\b的意思就很明显了：先是一个单词hi,然后是任意个任意字符(但不能是换行)，最后是Lucy这个单词。 换行符就是’\n’,ASCII编码为10(十六进制0x0A)的字符。 如果同时使用其它元字符，我们就能构造出功能更强大的正则表达式。比如下面这个例子： 0\d\d-\d\d\d\d\d\d\d\d匹配这样的字符串：以0开头，然后是两个数字，然后是一个连字号“-”，最后是8个数字(也就是中国的电话号码。当然，这个例子只能匹配区号为3位的情形)。 这里的\d是个新的元字符，匹配一位数字(0，或1，或2，或……)。-不是元字符，只匹配它本身——连字符(或者减号，或者中横线，或者随你怎么称呼它)。 为了避免那么多烦人的重复，我们也可以这样写这个表达式：0\d{2}-\d{8}。 这里\d后面的{2}({8})的意思是前面\d必须连续重复匹配2次(8次)。 测试正则表达式 其它可用的测试工具: RegexBuddy Javascript正则表达式在线测试工具 如果你不觉得正则表达式很难读写的话，要么你是一个天才，要么，你不是地球人。正则表达式的语法很令人头疼，即使对经常使用它的人来说也是如此。由于难于读写，容易出错，所以找一种工具对正则表达式进行测试是很有必要的。 不同的环境下正则表达式的一些细节是不相同的，本教程介绍的是微软 .Net Framework 4.0 下正则表达式的行为，所以，我向你推荐我编写的.Net下的工具 正则表达式测试器。请参考该页面的说明来安装和运行该软件。 下面是Regex Tester运行时的截图： 元字符 现在你已经知道几个很有用的元字符了，如\b,.,*，还有\d.正则表达式里还有更多的元字符，比如\s匹配任意的空白符，包括空格，制表符(Tab)，换行符，中文全角空格等。\w匹配字母或数字或下划线或汉字等。 对中文/汉字的特殊处理是由.Net提供的正则表达式引擎支持的，其它环境下的具体情况请查看相关文档。 下面来看看更多的例子： \ba\w*\b匹配以字母a开头的单词——先是某个单词开始处(\b)，然后是字母a,然后是任意数量的字母或数字(\w*)，最后是单词结束处(\b)。 好吧，现在我们说说正则表达式里的单词是什么意思吧：就是不少于一个的连续的\w。不错，这与学习英文时要背的成千上万个同名的东西的确关系不大 :) \d+匹配1个或更多连续的数字。这里的+是和类似的元字符，不同的是匹配重复任意次(可能是0次)，而+则匹配重复1次或更多次。 \b\w{6}\b 匹配刚好6个字符的单词。 代码 说明 . 匹配除换行符以外的任意字符 \w 匹配字母或数字或下划线或汉字 \s 匹配任意的空白符 \d 匹配数字 \b 匹配单词的开始或结束 ^ 匹配字符串的开始 $ 匹配字符串的结束 正则表达式引擎通常会提供一个“测试指定的字符串是否匹配一个正则表达式”的方法，如JavaScript里的RegExp. Read More »

图片嵌入 使用URL链接的形式插入图片： ![image][url_to_image]1 这样做一个明显的麻烦之处在于处理图片与Markdown文档的一致性上。如果我们要拷贝文档，或者图片遭到误删/云端链接失效，就会变得不便。最让我们省心的方法便是将图片直接放到文档内部。 一个将图片嵌入文档中的方法是使用base64编码。步骤比较简单： 将图片或截图保存在本地； 使用在线工具将图片转码至base64编码；(link1, link2)； 在文档中插入编码： ![image][data:image/png;base64, ......]1 当然base64编码一般很长，直接将编码放入段落内部会影响正常编辑。通常的做法是将base64编码定义到一个中间变量中，将编码本体放到文档末： ![image][tmp] your document here ... [tmp]:data:image/png;base64, ......1234 使用该技巧的时候需要注意，并不是所有的Markdown编辑器都支持这种方法。而且一些Markdown编辑器只支持特定的图片格式。如有道云笔记只支持png格式的图片编码。需要在保存图片文件的时候加以注意。 视频嵌入 layouts\shortcodes\html.html {{.Inner}} hugo通过shortcodes前入Html 1.html中的video标签 2.html中的iframe标签 Read More »

开源监控软件对比 Cacti**（英文含义仙人掌）** 是一套基于PHP、MySQL、SNMP和RRDtool开发的网络流量监测图形分析工具，它通过snmpget来获取数据使用RRDtool绘图，简化RRDtool使用。提供了非常强大的数据和用户管理功能，可以指定每一个用户能查看树状结构、主机设备以及任何一张图，还可以与LDAP结合进行用户认证，同时也能自定义模板。在历史数据展示监控方面，其功能相当不错。 Cacti通过添加模板，使不同设备的监控添加具有可复用性，并且具备可自定义绘图的功能，具有强大的运算能力（数据的叠加功能） nagios Nagios是一款开源的免费网络监视工具，能有效监控Windows、Linux和Unix的主机状态，交换机路由器等网络设置，打印机等。 Nagios 可以监控的功能有： 1、监控网络服务（SMTP、POP3、HTTP、NNTP、PING等）； 2、监控主机资源（处理器负荷、磁盘利用率等）； 3、简单地插件设计使得用户可以方便地扩展自己服务的检测方法； 4、并行服务检查机制； 5、具备定义网络分层结构的能力，用"parent"主机定义来表达网络主机间的关系，这种关系可被用来发现和明晰主机宕机或不可达状态； 6、当服务或主机问题产生与解决时将告警发送给联系人（通过EMail、短信、用户定义方式）； 7、具备定义事件句柄功能，它可以在主机或服务的事件发生时获取更多问题定位； 8、自动的日志回滚； 9、可以支持并实现对主机的冗余监控； 10、可选的WEB界面用于查看当前的网络状态、通知和故障历史、日志文件等； Ganglia 是一个跨平台的、可扩展的、高性能的分布式监控系统，如集群和网格。它基于分层设计，使用广泛的技术，用RRDtool存储数据。具有可视化界面，适合对集群系统的自动化监控。其精心设计的数据结构和算法使得监控端到被监控端的连接开销非常低。目前已经有成千上万的集群正在使用这个监控系统，可以轻松的处理2000个节点的集群环境。 Ganglia的强大在于：ganglia服务端能够通过一台客户端收集到同一个网段的所有客户端的数据，ganglia集群服务端能够通过一台服务端收集到它下属的所有客户端数据。 Zabbix 是一个基于web界面的分布式监控系统，支持多种采集方式采集客户端，有专用的Agent代理，也支持SNMP、IPMI、JMX、Telnet、SSH等多种协议，它将采集到的数据存放到数据库，然后对其进行分析整理，达到条件触发告警。其灵活的扩展性和丰富的功能是其他监控系统所不能比的。 结论： 从以上各种监控系统的对比来看，Zabbix都是具有优势的，其丰富的功能、可扩展的能力、二次开发的能力和简单易用的特点，读者只要稍加学习，即可构建自己的监控系统。 Zabbix 选择zabbix的理由： - 安装与配置简单，学习成本低 - 支持多语言（包括中文） - 免费开源 - 数据采集到数据库，可二次分析监控数据的。 - 自动发现服务器与网络设备 - 分布式监视以及WEB集中管理功能 - 可以无agent监视 - 用户安全认证和柔软的授权方式 - 通过WEB界面设置或查看监视结果 - email等通知功能 等等 组成： zabbix server：可以通过SNMP、zabbixagent、ping、端口监视等方法提供对远程服务器/网络状态的监视，数据收集等功能，它可以运行在Linux, Solaris, HP-UX, AIX, Free BSD, Open BSD, OS X等平台之上。 zabbix agent（可选组件）：安装在被监视的目标服务器上，它主要完成对硬件信息或与操作系统有关的内存，CPU等信息的收集。 生命周期 目前推荐使用Zabbix2.2 安装 准备： epel源、mysql已安装(yum install mysql-server)、zabbix官方仓库（http://repo.zabbix.com/） 安装epel源 # wget –O /etc/yum. Read More »

博客工具 概述 Hugo Hexo Jekyll 博客工具 Hexo Hexo 是一个快速、简洁且高效的博客框架。Hexo 使用 Markdown（或其他渲染引擎）解析文章，在几秒内，即可利用靓丽的主题生成静态网页。 安装hexo 安装 Hexo 相当简单。然而在安装前，您必须检查电脑中是否已安装下列应用程序： Node.js Git 如果您的电脑中已经安装上述必备程序，那么恭喜您！接下来只需要使用 npm 即可完成 Hexo 的安装。 $ npm install -g hexo-cli 如果您的电脑中尚未安装所需要的程序，请根据以下安装指示完成安装。 Mac 用户 您在编译时可能会遇到问题，请先到 App Store 安装 Xcode，Xcode 完成后，启动并进入 Preferences -> Download -> Command Line Tools -> Install 安装命令行工具。 安装 Git Windows：下载并安装 git. Mac：使用 Homebrew, MacPorts ：brew install git;或下载 安装程序 安装。 Linux (Ubuntu, Debian)：sudo apt-get install git-core Linux (Fedora, Red Hat, CentOS)：sudo yum install git-core Windows 用户 Read More »

1.alibaba 1.1.https://github.com/alibaba/canal.git canal [kə’næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费 工作原理 canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送 dump 协议 MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal ) canal 解析 binary log 对象(原始为 byte 流) 谷歌的TensorFlow可以说是当今最受欢迎的开源深度学习框架，可用于各类深度学习相关的任务中。TensorFlow = Tensor + Flow，Tensor就是张量，代表N维数组；Flow即流，代表基于数据流图的计算。 2.google 2.1 https://github.com/rstudio/tensorflow TensorFlow是目前深度学习的主流框架，其主要特性如下所述。 TensorFlow支持Python、JavaScript、C ++、Java、Go、C＃、Julia和R等多种编程语言。 TensorFlow不仅拥有强大的计算集群，还可以在iOS和Android等移动平台上运行模型。 TensorFlow编程入门难度较大。初学者需要仔细考虑神经网络的架构，正确评估输入和输出数据的维度和数量。 TensorFlow使用静态计算图进行操作。也就是说，我们需要先定义图形，然后运行计算，如果我们需要对架构进行更改，则需要重新训练模型。选择这样的方法是为了提高效率，但是许多现代神经网络工具已经能够在学习过程中改进，并且不会显著降低学习速度。在这方面，TensorFlow的主要竞争对手是PyTorch。 其他深度学习项目参考 https://github.com/keras-team/keras https://github.com/BVLC/caffe https://github.com/pytorch/pytorch https://github.com/Theano/Theano https://github.com/Microsoft/CNTK https://github.com/apache/incubator-mxnet https://github.com/PaddlePaddle/Paddle/ https://github.com/eclipse/deeplearning4j https://github.com/onnx/onnx 3.linkedin 3.1 https://github.com/linkedin onecall 4.OpenJS Foundation https://github.com/electron 使用 JavaScript，HTML 和 CSS 构建跨平台的桌面应用程序 Read More »

数学基础概念 初等函数 初等函数是由幂函数（power function）、指数函数（exponential function）、对数函数（logarithmic function）、三角函数（trigonometric function）、反三角函数（inverse trigonometric function）与常数经过有限次的有理运算（加、减、乘、除、有理数次乘方、有理数次开方）及有限次函数复合所产生，并且能用一个解析式表示的函数。 高等数学将基本初等函数归为五类：幂函数、指数函数、对数函数、三角函数、反三角函数 。 数学分析将基本初等函数归为六类：幂函数、指数函数、对数函数、三角函数、反三角函数、常数函数 1.幂函数 定义 y=xα(α∈R) 特点 2.指数函数 定义 3.对数函数 定义 4.三角函数 定义 特点 正弦函数y=sinx 余弦函数y=cosx 正切函数y=tanx 余切函数y=cotx 5.反三角函数 定义 特点 Read More »

Read More »

Read More »

Read More »

Read More »

Read More »

Read More »

Read More »

title: 职业道德规范 date: 2024-05-29 09:42:33 categories: [] tags: [] toc: true 18.1基本概念 主要内容：爱岗敬业、诚实守信、办事公道、服务群众和奉献社会。 七个特征：职业性、普遍性、自律性、他律性、鲜明的行业性和多样性、继承性和相对稳定性、很强的实践性。 18.2 项目管理工程师职业道德规范 爱岗敬业、遵纪守法、诚实守信、办事公道、与时俱进。 梳理流程、建立体系、量化管理、优化改进、不断积累 对项目负管理责任，计划指挥有方，全面全程监控，善于解决问题，沟通及时到位。 为客户创造价值，为雇主创造利润，为组员创建机会，合作多赢。 积极进行团队建设，公平、公正、无私地对待每位项目团队成员。 平等与客户相处；与客户协同工作时，注重礼仪；公务消费应合理并遵守有关标准。 18.3 项目管理工程师岗位职责 项目管理工程师的职责 不断提高个人地项目管理能力 贯彻执行国家和项目所在地政府的有关法律、法规和政策，执行所在单位的各项管理制度和有关技术规范标准。 对信息系统项目的全生命期进行有效控制，确保项目质量和工期，努力提高经理效益 严格执行财务制度，加强财务管理、严格控制项目成本 执行所在单位规定的应由项目管理工程师负责履行的格项条款。 项目管理工程师的权力 1）组织项目团队； 2）组织制定信息系统项目计划，协调管理信息系统项目相关人力、设备等资源； 3）协调信息系统项目内外部关系，受委托签署相关合同、协议或其他文件。 18.4项目管理工程师对项目团队的责任 主要职责之一就是建设高效项目团队，该团队特征： (1) 建立了明确的项目目标 (2) 建立清晰的团队规章制度 (3)建立了学习型团队 (4)培养团队成员养成严谨细致的工作作风。 (5)团队成员分工明确 (6)建立和培养了勇于承担责任、和谐协作的团队文化。 (7)善于利用项目团队中的非正式组织来提高团队凝聚力。 18.5 提升个人道德修养水平 根据职业道德原则和规范的要求，在职业活动过程中自我教育、自我锻炼和自我改造。 项目管理工程师应该在项目中以身作则，公平、公正、乐观、自信，为团队成员起到表率和榜样的作用，为所属公司梳理良好的企业形象。 Read More »

title: 监理基础知识 date: 2024-05-29 09:42:33 categories: [] tags: [] toc: true Read More »

Read More »

Read More »

Read More »

Read More »

title: 项目管理概论 date: 2024-05-29 09:42:33 categories: [] tags: [] toc: true Read More »

title: 项目立项管理 date: 2024-05-29 09:42:33 categories: [] tags: [] toc: true 项目立项管理 项目立项管理是对拟规划和实施的项目技术上的先进性、适用性，经济上的合理性、效益性，实施上的可能性、风险性以及社会价值的有效性、可持续性等进行全面科学的综合分析，为项目决策提供客观依据的一种经济研究活动。一般包括项目建议与立项申请、项目可行性研究、项目评估与决策。 项目建议与立项申请、初步可行性研究、详细可行性研究、评估与决策是项目投资前时期的四各阶段。实际工作中，初步可行性研究和详细可行性研究可以依据项目规模和繁简程度合二为一，但详细可行性是不可缺少的。升级改造项目只做初步和详细可研，小项目一般只进行详细可行性研究。 7.1项目建议与立项申请 立项申请又称为项目建议书，是项目建设单位向上级主管部门提交项目申请时所必须的文件，是该项目建设单位或者法人，根据各种情况，提出的某一具体项目的的建议文件，是对拟建设项目的提出的框架性总体设想。项目建议书是国家或上级主管部门选择项目的依据，也是可行性研究的依据。涉及利用外资的项目，在项目建议书获得批准后，方可开展后续工作。 项目建议书核心内容 1）项目的必要性。2）项目的市场预测。3）产品方案或者服务的市场预测。4）项目建设的必要条件。 7.2项目可行性研究 可行性研究是在项目建议书被批准后，从技术、经济、社会和人员等方面的条件和情况进行调查研究，对可能的技术方案进行论证，以最终确定整个项目是否可行。可行性研究是为项目决策提供依据的一种综合性的分析方法，可行性研究具有预见性、公正性、可靠性、科学性的特点。 7.2.1可行性研究的内容 技术可行性分析、经济可行性分析、社会效益可行性分析、运行环境可行性分析以及其他方面的可行性分析等。 1.技术可行性分析 技术可行性分析是指在当前的技术、产品条件限制下，能否利用现在拥有的以及可能拥有的技术能力、产品功能、人力资源来实现项目的目标、功能、性能，能否在规定的时间期限内完整整个项目。 技术可行性分析往往决定了项目的方向，一旦技术人员在评估技术可行性分析时估计错误，将会出现严重的后果，造成项目根本上的失败。 考虑的因素： （1）进行项目开发的风险： （2）人力资源的有效性 （3）技术能力的可行性 （4）物资（产品）的可用性 2.经济可行性分析 经济可行性分析主要是对整个项目的投资及所产生的经济效益进行分析，具体包括支出分析、收益分析、收益投资比、投资回报分析以及敏感性分析等。 （1）支出分析： 一次性支出：包括开发费用、培训费、差旅费、初始数据录入、设备购置等费用。 非一次性支出：包括软、硬件租金、人工工资及福利、水电等公用设施使用费，以及其他消耗品支出等。 （2）收益分析 直接收益：通过项目实施获得的直接经济效益，如销售项目产品的收入。 间接收益：通过项目实施，通过间接方式获得的收益，如成本的降低。 其他收益：如知识产权、软件著作权等。 （1）收益投资比、投资回收期分析：对投入产出进行对比分析，以确定项目的收益率和投资回收期等经济指标。 （2）敏感性分析：诸如设备和软件配置、处理速度要求、系统的工作负荷类型和负荷量等关键性因素变化时，对支出和收益产品影响的估计。 3.社会效益可行性分析 尤其针对面向公共服务领域的项目，其社会效益往往时可行性分析的关注重点。 （1）对组织内部：信息系统项目往往都能为组织的发展带来一定的知识和经验沉淀，这些沉淀会夯实组织进一步发展的基础。 品牌效益：通过项目建设、服务等为组织的知名度提升及正向特征带来效益。 竞争力效益：通过项目预期成果能够为组织在行业或领域中，获得更好竞争优势的收益。 技术创新效益：通过项目的建设过程中技术矛盾或难点的攻克，为组织技术能力积累，以及产品与服务创新等方面带来的收益。 人员提升收益：通过项目锻炼和人员知识、技能和经验的应用，为组织人员额能力提升或骨干人员培育等方面收益。 管理提升效益：通过项目过程管控以及项目管理与组织管理的实践融合等，为组织的管理水平提升带来收益。 （2）对社会的发展：信息系统项目也可能成为组织履行社会责任的关键举措，这些举措可以为局部或区域社会发展带来各种进步。 公共效益：针对广大社会群众增加信息惠民、美好生活、理念创造、知识普及、居民健康等方面带来的各种收益。 文化效益：在社会精神文明建设中所发挥的积极作用，也包括网络文明。 环境效益：保护自然资源和生态环境方面的作用和价值。 社会责任感效益：组织在履行社会责任与义务方面的收益。 其他收益：提高国防能力，保障国家和社会安全等。 4.运营环境可行性分析 运行环境时制约信息系统发挥效益的关键，需要从用户的管理体制、管理方法、规章制度、工作习惯、人员素质、数据资源积累、基础软硬件平台等多方面进行评估，以确定软件系统在交付以话，是否能够在用户现场顺利运行。 在进行运行环境可行性分析时，可以重点评估是否可以建立系统顺利运行所需的环境以及建立这个环境所需要进行的工作。 5.其他方面的可行性分析 法律可行性(合同责任、知识产权)、政策可行性等。 7.2.2初步可行性研究 初步可行性研究一般是在对市场或者客户情况进行调查后，对项目进行的初步评估。可以从以下几个方面进行衡量，以便决定是否开始详细可行性研究： （1）分析项目的前途 （2）初步估计和确定项目中的关键技术及核心问题，以确定是否需要解决 （1）初步估计必须进行的辅助研究：以解决项目的核心问题，判断是否具备必要的技术、实验、人力条件作为支持等。 辅助研究的目的和作用 辅助（功能）研究包括项目的一个或几个方面，但不是所有方面，并且只能作为初步可行性研究、详细可行性研究和大规模投资建议的前提或辅助。辅助研究的费用必须和项目可行性研究的费用一起考虑，因为这种研究的目的之一就是要在项目可行性研究阶段节省费用。 辅助研究的分类： （1）对要设计开发的产品进行的市场研究。 （2）配件和投入物资的研究 Read More »

title: 项目整合管理 date: 2024-05-29 09:42:33 categories: [] tags: [] toc: true 项目整合管理 自1987年以来，PMBOK一直是基于过程的项目管理标准的重要代表，项目管理从业人员一直坚持基于过程的项目管理方法；从2021年开始第7版PMBOK采用了基于原则的标准，这些原则为有效的项目管理提供支持，并更多地关注项目的预期成果；基于过程的方法是项目管理的基石，直至今天人们依然需要考虑10大项目管理知识领域的支撑。 项目整合管理包括识别、定义、组合、统一和协调项目管理过程组的各个过程和项目管理活动。项目整合管理贯穿项目始终。 项目整合管理目标： 资源分配 平衡竞争性需求 研究各种备选方法 剪裁过程以实现项目目标 管理各个项目知识领域之间的依赖关系。 8.1管理基础 执行整合 项目整合管理由项目经理负责，项目经理负责整合所有其他知识领域的成果，并掌握项目总体情况。项目整合管理的责任不能授权或转移，项目经理必须对整个项目承担最终的责任。 执行项目整合时项目承担双重角色： 组织层面上：与项目发起人携手合作，了解战略目标并确保项目目标和成果与项目组合、项目集以及业务领域保持一致。 项目层面上：项目经理负责指导团队关注真正重要的事务并协同工作，需要整合过程、知识和人员。 在三个层面执行整合 过程层面执行整合： 有些过程发生一次，有些过程反复发生，项目经理需要协调这些过程的关系；在整个项目期间实施整体变更控制过程是为了整合变更请求。 认知层面执行整合：熟练运用人际关系技能和个人能力，掌握所有项目管理知识领域。 背景层面执行整合：项目经理要能认识项目背景和新因素，利用这些新环境因素，以获得项目成功。 整合的复杂性 项目的复杂性来源组织的系统行为、人类行为以及组织或环境中的不确定性。复杂性作为项目的一种特征或属性，其含义为： 1）包含多个部分 2）不同部分之间存在一系列的关联 3）不同部分之间的动态交互作用 4）这些交互作用所产生的行为远远大于各部分简单的相加。 管理新实践 整合管理过程相关的新趋势和新兴实践包括： 使用信息化工具：项目经理需要整合大量的的数据和信息 使用可视化管理工具：有效促进知识转移，识别和提高解决问题的能力 项目知识管理：防止知识流失，将项目生命周期中积累的知识进行传达。 项目经理在项目以外的职责：项目经理需要参与管理层和PMO负责的立项前、结项后的可行性研究与评估和效益管理；更全面的识别干系人，并引导他们参与项目。 混合型方法：经实践检验的新方法会不断地融入项目管理中。 项目管理计划和项目文件 项目管理过程中会产生项目管理计划、项目文件两大类文件 8.2项目整合管理过程 过程概述 项目整合管理过程包括： 1）制定项目章程：编写一份正式批准项目并授权项目经理在项目活动中使用组织资源的文件。 本过程的主要作用： 明确项目与组织战略目标之间的直接联系； 确立项目的正式地位； 展示组织对项目的承诺 本过程仅开展一次或仅在项目的预定义时开展。 2）制订项目管理计划：定义、准备和协调项目计划的所有组成部分，并把它们整合为一份综合项目管理计划。 本过程的主要作用：生成一份综合文件，用千确定所有项目工作的基础及其执行方式 3）指导与管理项目工作：为实现项目目标而领导和执行项目管理计划中所确定的工作，并实施已批准变更。 本过程的主要作用是：对项目工作和可交付成果开展综合管理，以提高项目成功的可能性。 本过程需要在整个项目期间开展 4）管理项目知识：使用现有知识并生成新知识，以实现项目目标，帮助组织学习。 管理项目过程的主要作用： 利用已有的组织知识来创造或改进项目成果； 使当前项目创造的知识可用千支持组织运营和未来的项目或阶段。 本过程需要在整个项目期间开展。 5）监控项目工作：跟踪、审查和报告整体项目进展，以实现项目管理计划中确定的绩效目标。 本过程的主要作用： 让干系人了解项目的当前状态并认可为处理绩效问题而采取的行动 通过成本和进度预测，让干系人了解项目的未来状态 本过程需要在整个项目期间开展 Read More »

Read More »

gpt代理 Read More »