⏱️Archives

2024  4

July  1

PPO and Its Implementation

2024-07-05    2025 words    5 min    Jun    RL

June  1

Diffusion Probabilistic Models

2024-06-18    404 words    1 min    Jun    ML

April  2

Python Pipe in Multiprocessing

2024-04-09    1169 words    3 min    Jun   

Monte Carlo Tree Search

2024-04-05    907 words    2 min    Jun    ML

2023  13

December  2

Coder Training

2023-12-18    411 words    1 min    Jun    LLM  ML

All Gather and Gradients

2023-12-11    384 words    1 min    Jun    Blog

October  3

Model Evaluation

2023-10-18    102 words    1 min    Jun    ML

MoE Models

2023-10-18    468 words    1 min    Jun    ML

Retrieval Augmented Generation

2023-10-18    1561 words    4 min    Jun    ML

June  1

Flash Attention

2023-06-18    603 words    2 min    Jun    LLM  ML

May  5

Data Processing in Distributed Training

2023-05-05    468 words    1 min    Jun    Distributed Training

Distributed Optimizer

2023-05-05    496 words    1 min    Jun    ML

LoRA Model Fine-tuning

2023-05-05    211 words    1 min    Jun    ML

How to Manager Your Career

2023-05-05    4032 words    9 min    Jun    Read

保守主义

2023-05-05    662 words    2 min    Jun    Read

March  1

ML System

2023-03-05    47 words    1 min    Jun    Blog

January  1

InstructGPT and ChatGPT

2023-01-18    574 words    2 min    Jun    LLM  ML

2022  14

December  2

Large Scale Pretraining

2022-12-18    2201 words    5 min    Jun    LLM  ML

Kubernetes

2022-12-08    641 words    2 min    Jun   

August  1

ANTLR Parser Generator

2022-08-08    428 words    1 min    Jun    Parsing

July  1

Parallelism in LLM Training

2022-07-08    1043 words    3 min    Jun   

June  1

Pytorch Multiple-GPU Training

2022-06-11    1046 words    3 min    Jun    Blog

May  7

Distributed Training Infra

2022-05-05    668 words    2 min    Jun    Blog

Ally – 论朋党

2022-05-05    524 words    2 min    Jun    Read

History and Reputation

2022-05-05    342 words    1 min    Jun    Read

Quotes

2022-05-05    1309 words    3 min    Jun    Read

Tolerence and Freedom

2022-05-05    213 words    1 min    Jun    Read

A Walk in the Cloud

2022-05-05    1104 words    3 min    Jun    Tech

Tech & Talents

2022-05-05    330 words    1 min    Jun    Tech

February  1

LLM Playground

2022-02-08    202 words    1 min    Jun   

January  1

SSH Connection

2022-01-11    165 words    1 min    Jun    Blog

2021  5

November  1

Redis scan命令学习

2021-11-30    770 words    2 min    Jun    Redis  Tech

June  4

Add Math Equation in Blog

2021-06-18    103 words    1 min    Jun    Web

Docker Commands

2021-06-18    390 words    1 min    Jun    Docker

EM Algorithm

2021-06-18    78 words    1 min    Jun    ML

Transformer

2021-06-18    347 words    1 min    Jun    LLM  ML

2020  3

July  1

RL Basics

2020-07-18    420 words    1 min    Jun    ML

February  1

Remote Development with VSCode

2020-02-08    765 words    2 min    Jun   

January  1

Makefile

2020-01-11    103 words    1 min    Jun    Blog

2019  1

June  1

Loss in ML

2019-06-18    914 words    2 min    Jun    ML

2018  3

February  3

Git

2018-02-11    793 words    2 min    Jun    Blog

Shell Commands

2018-02-11    2798 words    6 min    Jun    Blog

Using Git to Create a Private Fork

2018-02-11    196 words    1 min    Jun    Tool

2016  1

May  1

Basics of Web

2016-05-05    467 words    1 min    Jun    Web

2015  1

April  1

Python

2015-04-09    966 words    2 min    Jun