相比较MLP和CNN，RNN结构仿佛尤其的神秘。相比较更加直观的可视化，实现端到端的输出，包含隐藏状态（Hidden state）的时序建模方式对于RNN代码的理解真是尤其的困难。虽然Torch为我们提供封装好函数，但是我更加希望去探索其封装借口背后的结构，来提高自己的理解能力。 0x01 缘起相比较MLP和CNN，RNN结构仿佛尤其的神秘。相比较更加直观的可视化，实现端到端的输出，包含隐藏状态（

openAI的gym中提供了很多封装好的环境，在此基础上我们可以使用其来跑通深度强化学习的代码，但是更多的时候我们希望调用算法来解决一个实际问题，因此尝试为定制化的问题转换成为MDP六元组《变量、状态、动作、奖励、状态转移、终止条件》后编程为可以交互的环境即可。本文介绍学习gymnasium和stable- baseline3的学习思路并手动实现一个MyCar的环境。 0x01 巨人的肩膀 ：调库

行为流派01_智能体与搜索blog.tjdata.site/posts/9c6b1465.html 根据CS188《Intro to AI》来对搜索策略进行一定的总结 0x01 智能体在人工智能中，核心问题是创建一个理性的智能体(Rational agent)，是一个实体通过一些系列的动作(Actions)来实现目标或者是喜好(Goal or perferences),它存在于

在研究生使用半年的Macbook Air（2020M1）之后由于存储、屏幕等原因，转向具有诸多优点的MacbookPro14（2021），在深度磨合半年之后介绍这台设备的优点。从工业设计、外部接口、硬件配置、屏幕素质介绍使用感受，并从文件处理、知识管理、系统工具、娱乐角度介绍软件资源，最后给出文件管理和待办管理的工作流。 本文主要介绍2021款MacBook Pro 14inch, 具体的参数规格

本文主要介绍EM算法，作为统计学习中可以通过迭代的方式估计含有隐变量模型的方法。同时给出两个典型的例子作为注释并给出相关代码的分析作为注解。 0x01 摘要（个人感悟）对于人工智能三大流派的分析，统计学习、神经网络和行为学习的一些新的感悟。首先统计学习依靠概率统计的知识建立起的模型和神经网络的范式并不完全一样，可能在模型、推理、优化等方面有名称的雷同但两者是完全不同的概念。同时以约束编程或者强化学

Torch文档阅读blog.tjdata.site/posts/5ef17af5.html Torch官方文档中最关键的类torch.tensor，最重要的机制autograd，这里对常见的API进行总结 Pytorch 基本教程从组成元素上来看学习Torch主要需要熟悉以下几个概念，个人总结以下几个概念 1. 什么是Tensor？这个是深度学习框架计算的源泉，参考NumPy的

https://blog.tjdata.site/posts/d49191c7.htmlblog.tjdata.site/posts/d49191c7.html 作为一枚INFJ，经常会对效率工具进行反思。今天看了一本和知识管理联系不大的《如何有效阅读一本书》，然后对自己现有的知识管理系统中备忘录+日历+提醒事项，配合ShortCut快速输入、Cubox聚集、Notion整理的一套系统进行整理和反

将RL嵌入到现有的框架当中来保证效率和完全性，非常Fancy！ https://arxiv.org/abs/2006.01610AbstractCombinatorial Optimization 应用广泛：从航空领域、交通规划甚至到经济学中，它的目标是在有限的解空间中找到最优解（find an optimal solution among a finite set of possibilitie

关于流程图的绘制中有很多工具，比如微软的visio 或者 PowerPoint、贝尔的Graphviz、Lucidchart、OmniGraffle、Draw.io、processOn、Latex的tikZ；但是这种基于图形界面的操作往往会受限于人本身的不精确导致不好看。所以希望借助代码生成流程图来尽可能保持协调一致的美观。 0x01 使用教程可以直接在Typora中使用，只需要输入即可 1```

从Git - Branches in a Nutshell中看Git的一些常见操作，主要是设计理念和本地的操作。更复杂的远程协作和项目管理后续给出。 Git PRO What is git分布式版本控制系统（具有很多优点巴拉巴拉） 几个显著的技术上的特点： snapshot，not differences，no delta- based system Git thinks of tis data