Learning Theory

基于经验数据最小化风险泛函的问题

摘要

描述最小化风险泛函问题的几个特殊的例子，包括模式识别、回归估计和密度估计问题。

Learning Theory

学习问题表示

摘要

描述机器学习需要解决的学习问题的模型。

Learning Theory

学习原理

文档说明

文档整体结构采用摘要+主题的形式编写。由于要阐述一个问题以及其解决方式会有很深的问题，一层套一层，导致文章结构不好组织，结构树太深。因此将抽象描述和具体内容描述进行剥离。

文档第一部分进行抽象的整体描述，说明问题是什么，解决思路是什么，解决过程中会碰到什么新的问题，又是如何解决的。问题的抽象是如何的，问题的推广是如何的等等这一系列内容，并且整体以良好的组织结构描述。

文档第二部分按照主题进行具体阐述，主题的规模根据具体主题内容进行调整。

Machine Learning

Python 机器学习类库 Scikit-Learn Tutorial

摘要

Scikit-Learn 是机器学习领域中非常著名的一个类库，其中封装了很多机器学习中需要使用到的算法工具。Scikit-Learn 构建在 NumPy 和 SciPy 等常见的数据科学类库之上。其核心算法使用更底层的语言实现，通过 Python 进行调用。

Python

交互式数据可视化 Plotly Tutorial

摘要

Plotly 类库提供了一个可交互的，出版级别的在线图形库。Plotly 绘制的图形是以 HTML 页面的形式提供的，基于 JavaScript 提供交互功能。

下面提供了一些图形的示例，包括折线图、散点图、区域图、柱状图、箱线图、直方图等。

Python

数据可视化 Matplotlib Tutorial

摘要

Matplotlib 是一个 Python 的可视化类库，用于开发二维和三维图表。最近几年，它被广泛的应用于科学和工程领域。

Python

Pandas Tutorial

摘要

Pandas 是 Python 语言下的一个用于数据分析的工具类库。使用 Pandas 可以方便的对数据进行处理和分析。

Python

Numpy Tutorial

摘要

NumPy 是 Numeric Python，是 Python 中很重要的一个科学计算类库，在机器学习、数据分析中应用广泛，也是很多相关领域类库的基础。

Machine Learning

基于Kaggle的泰坦尼克生存预测介绍一种数据分析框架

摘要

本文通过一个 Kaggle 的入门级项目泰坦尼克生存预测，介绍一个一般性的数据科学项目工程框架。该框架涵盖一般数据科学问题解决方案的几个主要过程。包括定义问题、收集数据、准备数据、探索性分析、处理模型、验证和优化。

Java

基于生产者消费者模式实现数据从 MongoDB 导入 HBase

摘要

目前有数千万的数据存储在 MongoDB 中，单台机器、单库单表。要使用 Spark 处理，所以打算先转到 HBase 中。使用生产者消费者模式，利用多线程实现该功能。

Nodejs

npm install Error EACCES permission denied

摘要

使用 npm install 安装项目时，遇到的一个错误 Error: EACCES: permission denied。记录一下解决方法。

Scala

基于 Scala 编写的 Spark 程序操作 HBase

摘要

使用 Scala 编写 Spark 程序操作 HBase 中的数据。

Spark

Spark 关键概念备忘

摘要

学习 Spark 过程中记录的一些比较重要的概念。填充了一部分内容，另有一部分留空的，后续理解逐步加深后进一步补全和拓展。

Scala

配置 Intellij Idea 和 Sbt 开发、打包、运行 Spark 程序

摘要

使用 Idea 集成 Sbt 配置 Scala 开发环境，开发 Spark 程序。

Spark

基于 Hadoop 和 Yarn 集群部署 Spark 集群

摘要

基于 Hadoop 和 Yarn 集群部署 Spark 集群。

Linux

CentOS 7 常用配置 - 禁止系统休眠

摘要

CentOS 常用配置

Scala

Scala 语法之走马观花

摘要

走马观花的学习了一下 Scala 的基本语法，以下示例基于 Scala 2.11.12 版本编写。

Linux

CentOS7 安装 GeForce RTX 2080 Ti 驱动

摘要

CentOS7 采用手动方式安装 RTX 2080 ti 驱动。

Scrapy

基于 Scrapyd 部署、管理 Scrapy 爬虫

摘要

Scrapy 是 Python 下一款非常好的爬虫框架，使用帮助快速实现爬虫。当爬虫数量较少时可以直接通过命令行的方式进行管理。但随着爬虫数量越来越多，版本不断更新，这时候就需要一些工具帮助我们进行爬虫管理了。而 Scrapyd 就是这样一个工具，其提供了一些基于 HTTP 的接口，帮助我们管理爬虫项目以及查看任务情况。

Hadoop

基于 Hadoop 集群部署 ZooKeeper 和 HBase 集群

摘要

之前的环境中配置了 Hadoop 集群以及 Yarm。现在基于 HDFS 部署 ZooKeeper 集群和 HBase 集群。

三台机器中，将 131 作为 Master、其余两台作为 Region。另外设置 132 为 backup-master。
三台机器都部署 zookeeper。

Hadoop

Hadoop集群部署方案

摘要

记录一下 Hadoop 集群部署过程，简单的一拖三，包括 Hadoop 和 Yarn。

Linux

CentOS 7 设置防火墙开放指定端口

摘要

记录一下 Linux 常用的关于防火墙端口操作的命令。

Linux

CentOS 7 网络配置之初始配置、静态IP以及网桥

摘要

记录一下 CentOS 7 的网络配置，一开始是安装完的初始化配置，动态分配IP；然后改成了静态IP；之后又修改为配置网桥。

Java

使用MAT对Java程序进行内存分析之小试牛刀

摘要

今天在写爬虫的时候发现数据抓到五十万左右时候，进程占用内存1.5G左右，程序完全卡死了。爬虫是用 WebMagic 框架写的，逻辑也不复杂，看不出什么问题；阅读了 WebMagic 的源码，看着也没有什么问题。就尝试通过内存分析的方式看看能否找出问题的原因。

Windows

无法启动此程序，因为计算机中丢失 api-ms-win-crt-runtime-l1-1-0.dll

摘要

我这边碰到的错误是在安装 MySQL Workbench 时出现的，这个文件是 Visual C++ Redistributable 下的一个文件。我按照其官网上标注的安装前提，安装了 Visual C++ 2015 Redistributable for Visual Studio 2015，重新安装 Workbench 仍然报该错误。

MySQL

MySQL启动错误：在本地计算机上的MySQL57服务启动后停止。某些服务在未由其他服务或程序使用时将自动停止

摘要

在 MySQL 服务启动时，出现错误“在本地计算机上的MySQL57服务启动后停止。某些服务在未由其他服务或程序使用时将自动停止”，服务无法正常启动。

Idea

Configure Maven Java Project in Idea on CentOS 7

摘要

介绍如何在 CentOS 7 环境下安装配置 JDK、Maven、Idea。以及如何创建一个可以运行的 Maven Java 项目。

KVM

基于 KickStart 无人值守的全命令行 KVM 虚拟机安装过程

摘要

考虑到服务器没有配置界面，而需要在服务器上配置一些虚拟机，可以使用基于 KickStart 无人值守的方式，基于命令行来安装配置和使用虚拟机。安装完成的虚拟机直接可以使用SSH在局域网内连接。

饭团的小日子

DIY饭团的烘干机——全环绕立体暖风

摘要

日常给饭团洗澡后，吹干饭团的毛发实在是一个痛苦的过程，一个小吹风机两三个小时，实在伤不起，本打算买个烘干箱，但价格勉强可以接受的，箱子实在看不上，看得上的，价格实在是不美丽，因此打算自己DIY一个，先做个设计和预算再说。

Linux

CentOS 7.4 配置SSH免密登录

摘要

目前局域网中参与配置的有三台机器，要配置这三台机器免密登录。

KVM

Config virtual network connection with bridge mode

摘要

在宿主机为 CentOS 7 的环境中通过KVM配置CentOS 7 虚拟机，使用 Bridge 模式配置网络连接，使虚拟机与宿主机处于同一网络环境中。

Docker

Docker容器基于OVS跨主机网络连接

摘要

利用OVS技术将位于不同物理主机中的docker容器的网络连通，使之能够相互访问。

kernel

加载nbd模块失败 modprobe nbd Module nbd not found

摘要

解决加载 nbd 模块时报错的问题，modprobe nbd Module nbd not found。

基于Github结合Hexo搭建个人博客

摘要

本文介绍如何使用Hexo构建自己的个人博客，同时利用 GitHub 的仓库将内容发布到公网上。