diff --git a/.gitignore b/.gitignore index 057dcb0..7a88626 100644 --- a/.gitignore +++ b/.gitignore @@ -2,9 +2,6 @@ node_modules npm-debug.log -wtfpython-pypi/build/ -wtfpython-pypi/dist/ -wtfpython-pypi/wtfpython.egg-info # Python-specific byte-compiled files should be ignored __pycache__/ @@ -16,3 +13,8 @@ irrelevant/.ipynb_checkpoints/ irrelevant/.python-version .idea/ +.vscode/ + +# Virtual envitonments +venv/ +.venv/ diff --git a/CONTRIBUTING.md b/CONTRIBUTING.md index f774370..dd9049d 100644 --- a/CONTRIBUTING.md +++ b/CONTRIBUTING.md @@ -40,3 +40,24 @@ Few things that you can consider while writing an example, - Try to be consistent with the namings and the values you use with the variables. For instance, most variable names in the project are along the lines of `some_string`, `some_list`, `some_dict`, etc. You'd see a lot of `x`s for single letter variable names, and `"wtf"` as values for strings. There's no strictly enforced scheme in the project as such, but you can take a glance at other examples to get a gist. - Try to be as creative as possible to add that element of "surprise" in the setting up part of an example. Sometimes this may mean writing a snippet a sane programmer would never write. - Also, feel free to add your name to the [contributors list](/CONTRIBUTORS.md). + +**Some FAQs** + + What is is this after every snippet title (###) in the README: ? Should it be added manually or can it be ignored when creating new snippets? + +That's a random UUID, it is used to keep identify the examples across multiple translations of the project. As a contributor, you don't have to worry about behind the scenes of how it is used, you just have to add a new random UUID to new examples in that format. + + Where should new snippets be added? Top/bottom of the section, doesn't ? + +There are multiple things that are considered to decide the order (the dependency on the other examples, difficulty level, category, etc). I'd suggest simply adding the new example at the bottom of a section you find more fitting (or just add it to the Miscellaneous section). Its order will be taken care of in future revisions. + + What's the difference between the sections (the first two feel very similar)? + +The section "Strain your brain" contains more contrived examples that you may not really encounter in real life, whereas the section "Slippery Slopes" contains examples that have the potential to be encountered more frequently while programming. + + Before the table of contents it says that markdown-toc -i README.md --maxdepth 3 was used to create it. The pip package markdown-toc does not contain either -i or --maxdepth flags. Which package is meant, or what version of that package? + Should the new table of contents entry for the snippet be created with the above command or created manually (in case the above command does more than only add the entry)? + +We use the [markdown-toc](https://www.npmjs.com/package/markdown-toc) npm package to generate ToC. It has some issues with special characters though (I'm not sure if it's fixed yet). More often than not, I just end up inserting the toc link manually at the right place. The tool is handy when I have to big reordering, otherwise just updating toc manually is more convenient imo. + +If you have any questions feel free to ask on [this issue](https://github.com/satwikkansal/wtfpython/issues/269) (thanks to [@LiquidFun](https://github.com/LiquidFun) for starting it). diff --git a/CONTRIBUTORS.md b/CONTRIBUTORS.md index 659a382..40526d9 100644 --- a/CONTRIBUTORS.md +++ b/CONTRIBUTORS.md @@ -18,11 +18,13 @@ Following are the wonderful people (in no specific order) who have contributed t | leisurelicht | [leisurelicht](https://github.com/leisurelicht) | [#112](https://github.com/satwikkansal/wtfpython/issues/112) | | mishaturnbull | [mishaturnbull](https://github.com/mishaturnbull) | [#108](https://github.com/satwikkansal/wtfpython/issues/108) | | MuseBoy | [MuseBoy](https://github.com/MuseBoy) | [#101](https://github.com/satwikkansal/wtfpython/issues/101) | -| Ghost account | N/A | [#96](https://github.com/satwikkansal/wtfpython/issues/96) +| Ghost account | N/A | [#96](https://github.com/satwikkansal/wtfpython/issues/96) | | koddo | [koddo](https://github.com/koddo) | [#80](https://github.com/satwikkansal/wtfpython/issues/80), [#73](https://github.com/satwikkansal/wtfpython/issues/73) | | jab | [jab](https://github.com/jab) | [#77](https://github.com/satwikkansal/wtfpython/issues/77) | | Jongy | [Jongy](https://github.com/Jongy) | [#208](https://github.com/satwikkansal/wtfpython/issues/208), [#210](https://github.com/satwikkansal/wtfpython/issues/210), [#233](https://github.com/satwikkansal/wtfpython/issues/233) | | Diptangsu Goswami | [diptangsu](https://github.com/diptangsu) | [#193](https://github.com/satwikkansal/wtfpython/issues/193) | +| Charles | [charles-l](https://github.com/charles-l) | [#245](https://github.com/satwikkansal/wtfpython/issues/245) | +| LiquidFun | [LiquidFun](https://github.com/LiquidFun) | [#267](https://github.com/satwikkansal/wtfpython/issues/267) | --- @@ -32,7 +34,8 @@ Following are the wonderful people (in no specific order) who have contributed t |-------------|--------|--------| | leisurelicht | [leisurelicht](https://github.com/leisurelicht) | [Chinese](https://github.com/leisurelicht/wtfpython-cn) | | vuduclyunitn | [vuduclyunitn](https://github.com/vuduclyunitn) | [Vietnamese](https://github.com/vuduclyunitn/wtfptyhon-vi) | - +| José De Freitas | [JoseDeFreitas](https://github.com/JoseDeFreitas) | [Spanish](https://github.com/JoseDeFreitas/wtfpython-es) | +| Vadim Nifadev | [nifadyev](https://github.com/nifadyev) | [Russian](https://github.com/satwikkansal/wtfpython/tree/master/translations/ru-russian) | Thank you all for your time and making wtfpython more awesome! :smile: diff --git a/README.md b/README.md index f12c475..61df081 100644 --- a/README.md +++ b/README.md @@ -1,10 +1,17 @@ -

+

+ + + + Shows a wtfpython logo. + +

What the f*ck Python! 😱

Exploring and understanding Python through surprising snippets.

-Translations: [Chinese 中文](https://github.com/leisurelicht/wtfpython-cn) | [Vietnamese Tiếng Việt](https://github.com/vuduclyunitn/wtfptyhon-vi) | [Add translation](https://github.com/satwikkansal/wtfpython/issues/new?title=Add%20translation%20for%20[LANGUAGE]&body=Expected%20time%20to%20finish:%20[X]%20weeks.%20I%27ll%20start%20working%20on%20it%20from%20[Y].) -Other modes: [Interactive](https://colab.research.google.com/github/satwikkansal/wtfpython/blob/master/irrelevant/wtf.ipynb) | [CLI](https://pypi.python.org/pypi/wtfpython) +Translations: [Chinese 中文](https://github.com/leisurelicht/wtfpython-cn) | [Vietnamese Tiếng Việt](https://github.com/vuduclyunitn/wtfptyhon-vi) | [Spanish Español](https://web.archive.org/web/20220511161045/https://github.com/JoseDeFreitas/wtfpython-es) | [Korean 한국어](https://github.com/buttercrab/wtfpython-ko) | [Russian Русский](https://github.com/satwikkansal/wtfpython/tree/master/translations/ru-russian) | [German Deutsch](https://github.com/BenSt099/wtfpython) | [Add translation](https://github.com/satwikkansal/wtfpython/issues/new?title=Add%20translation%20for%20[LANGUAGE]&body=Expected%20time%20to%20finish:%20[X]%20weeks.%20I%27ll%20start%20working%20on%20it%20from%20[Y].) + +Other modes: [Interactive Website](https://wtfpython-interactive.vercel.app) | [Interactive Notebook](https://colab.research.google.com/github/satwikkansal/wtfpython/blob/master/irrelevant/wtf.ipynb) Python, being a beautifully designed high-level and interpreter-based programming language, provides us with many features for the programmer's comfort. But sometimes, the outcomes of a Python snippet may not seem obvious at first sight. @@ -41,7 +48,7 @@ So, here we go... + [▶ Evaluation time discrepancy](#-evaluation-time-discrepancy) + [▶ `is not ...` is not `is (not ...)`](#-is-not--is-not-is-not-) + [▶ A tic-tac-toe where X wins in the first attempt!](#-a-tic-tac-toe-where-x-wins-in-the-first-attempt) - + [▶ The sticky output function](#-the-sticky-output-function) + + [▶ Schrödinger's variable](#-schrödingers-variable-) + [▶ The chicken-egg problem *](#-the-chicken-egg-problem-) + [▶ Subclass relationships](#-subclass-relationships) + [▶ Methods equality and identity](#-methods-equality-and-identity) @@ -59,6 +66,7 @@ So, here we go... + [▶ The disappearing variable from outer scope](#-the-disappearing-variable-from-outer-scope) + [▶ The mysterious key type conversion](#-the-mysterious-key-type-conversion) + [▶ Let's see if you can guess this?](#-lets-see-if-you-can-guess-this) + + [▶ Exceeds the limit for integer string conversion](#-exceeds-the-limit-for-integer-string-conversion) * [Section: Slippery Slopes](#section-slippery-slopes) + [▶ Modifying a dictionary while iterating over it](#-modifying-a-dictionary-while-iterating-over-it) + [▶ Stubborn `del` operation](#-stubborn-del-operation) @@ -70,6 +78,7 @@ So, here we go... + [▶ Catching the Exceptions](#-catching-the-exceptions) + [▶ Same operands, different story!](#-same-operands-different-story) + [▶ Name resolution ignoring class scope](#-name-resolution-ignoring-class-scope) + + [▶ Rounding like a banker *](#-rounding-like-a-banker-) + [▶ Needles in a Haystack *](#-needles-in-a-haystack-) + [▶ Splitsies *](#-splitsies-) + [▶ Wild imports *](#-wild-imports-) @@ -141,7 +150,7 @@ All the examples are structured like below: # Usage -A nice way to get the most out of these examples, in my opinion, is to read them chronologically, and for every example: +A nice way to get the most out of these examples, in my opinion, is to read them in sequential order, and for every example: - Carefully read the initial code for setting up the example. If you're an experienced Python programmer, you'll successfully anticipate what's going to happen next most of the time. - Read the output snippets and, + Check if the outputs are the same as you'd expect. @@ -149,11 +158,6 @@ A nice way to get the most out of these examples, in my opinion, is to read them - If the answer is no (which is perfectly okay), take a deep breath, and read the explanation (and if you still don't understand, shout out! and create an issue [here](https://github.com/satwikkansal/wtfpython/issues/new)). - If yes, give a gentle pat on your back, and you may skip to the next example. -PS: You can also read WTFPython at the command line using the [pypi package](https://pypi.python.org/pypi/wtfpython), -```sh -$ pip install wtfpython -U -$ wtfpython -``` --- # 👀 Examples @@ -207,7 +211,7 @@ SyntaxError: invalid syntax (6, 9) >>> (a, b = 16, 19) # Oops File "", line 1 - (a, b = 6, 9) + (a, b = 16, 19) ^ SyntaxError: invalid syntax @@ -349,7 +353,14 @@ Makes sense, right? * All length 0 and length 1 strings are interned. * Strings are interned at compile time (`'wtf'` will be interned but `''.join(['w', 't', 'f'])` will not be interned) * Strings that are not composed of ASCII letters, digits or underscores, are not interned. This explains why `'wtf!'` was not interned due to `!`. CPython implementation of this rule can be found [here](https://github.com/python/cpython/blob/3.6/Objects/codeobject.c#L19) - ![image](/images/string-intern/string_intern.png) +

+ + + + Shows a string interning process. + +

+ + When `a` and `b` are set to `"wtf!"` in the same line, the Python interpreter creates a new object, then references the second variable at the same time. If you do it on separate lines, it doesn't "know" that there's already `"wtf!"` as an object (because `"wtf!"` is not implicitly interned as per the facts mentioned above). It's a compile-time optimization. This optimization doesn't apply to 3.7.x versions of CPython (check this [issue](https://github.com/satwikkansal/wtfpython/issues/100) for more discussion). + A compile unit in an interactive environment like IPython consists of a single statement, whereas it consists of the entire module in case of modules. `a, b = "wtf!", "wtf!"` is single statement, whereas `a = "wtf!"; b = "wtf!"` are two statements in a single line. This explains why the identities are different in `a = "wtf!"; b = "wtf!"`, and also explain why they are same when invoked in `some_file.py` + The abrupt change in the output of the fourth snippet is due to a [peephole optimization](https://en.wikipedia.org/wiki/Peephole_optimization) technique known as Constant folding. This means the expression `'a'*20` is replaced by `'aaaaaaaaaaaaaaaaaaaa'` during compilation to save a few clock cycles during runtime. Constant folding only occurs for strings having a length of less than 21. (Why? Imagine the size of `.pyc` file generated as a result of the expression `'a'*10**10`). [Here's](https://github.com/python/cpython/blob/3.6/Python/peephole.c#L288) the implementation source for the same. @@ -383,15 +394,15 @@ False #### 💡 Explanation: -As per https://docs.python.org/3/reference/expressions.html#membership-test-operations +As per https://docs.python.org/3/reference/expressions.html#comparisons > Formally, if a, b, c, ..., y, z are expressions and op1, op2, ..., opN are comparison operators, then a op1 b op2 c ... y opN z is equivalent to a op1 b and b op2 c and ... y opN z, except that each expression is evaluated at most once. While such behavior might seem silly to you in the above examples, it's fantastic with stuff like `a == b == c` and `0 <= x <= 100`. * `False is False is False` is equivalent to `(False is False) and (False is False)` -* `True is False == False` is equivalent to `True is False and False == False` and since the first part of the statement (`True is False`) evaluates to `False`, the overall expression evaluates to `False`. -* `1 > 0 < 1` is equivalent to `1 > 0 and 0 < 1` which evaluates to `True`. +* `True is False == False` is equivalent to `(True is False) and (False == False)` and since the first part of the statement (`True is False`) evaluates to `False`, the overall expression evaluates to `False`. +* `1 > 0 < 1` is equivalent to `(1 > 0) and (0 < 1)` which evaluates to `True`. * The expression `(1 > 0) < 1` is equivalent to `True < 1` and ```py >>> int(True) @@ -448,7 +459,7 @@ True ```py >>> a, b = 257, 257 ->> a is b +>>> a is b False ``` @@ -618,7 +629,7 @@ True * When `id` was called, Python created a `WTF` class object and passed it to the `id` function. The `id` function takes its `id` (its memory location), and throws away the object. The object is destroyed. * When we do this twice in succession, Python allocates the same memory location to this second object as well. Since (in CPython) `id` uses the memory location as the object id, the id of the two objects is the same. * So, the object's id is unique only for the lifetime of the object. After the object is destroyed, or before it is created, something else can have the same id. -* But why did the `is` operator evaluated to `False`? Let's see with this snippet. +* But why did the `is` operator evaluate to `False`? Let's see with this snippet. ```py class WTF(object): def __init__(self): print("I") @@ -916,9 +927,9 @@ array_4 = [400, 500, 600] - In a [generator](https://wiki.python.org/moin/Generators) expression, the `in` clause is evaluated at declaration time, but the conditional clause is evaluated at runtime. - So before runtime, `array` is re-assigned to the list `[2, 8, 22]`, and since out of `1`, `8` and `15`, only the count of `8` is greater than `0`, the generator only yields `8`. - The differences in the output of `g1` and `g2` in the second part is due the way variables `array_1` and `array_2` are re-assigned values. -- In the first case, `array_1` is binded to the new object `[1,2,3,4,5]` and since the `in` clause is evaluated at the declaration time it still refers to the old object `[1,2,3,4]` (which is not destroyed). +- In the first case, `array_1` is bound to the new object `[1,2,3,4,5]` and since the `in` clause is evaluated at the declaration time it still refers to the old object `[1,2,3,4]` (which is not destroyed). - In the second case, the slice assignment to `array_2` updates the same old object `[1,2,3,4]` to `[1,2,3,4,5]`. Hence both the `g2` and `array_2` still have reference to the same object (which has now been updated to `[1,2,3,4,5]`). -- Okay, going by the logic discussed so far, shouldn't be the value of `list(g)` in the third snippet be `[11, 21, 31, 12, 22, 32, 13, 23, 33]`? (because `array_3` and `array_4` are going to behave just like `array_1`). The reason why (only) `array_4` values got updated is explained in [PEP-289](https://www.python.org/dev/peps/pep-0289/#the-details) +- Okay, going by the logic discussed so far, shouldn't be the value of `list(gen)` in the third snippet be `[11, 21, 31, 12, 22, 32, 13, 23, 33]`? (because `array_3` and `array_4` are going to behave just like `array_1`). The reason why (only) `array_4` values got updated is explained in [PEP-289](https://www.python.org/dev/peps/pep-0289/#the-details) > Only the outermost for-expression is evaluated immediately, the other expressions are deferred until the generator is run. @@ -972,11 +983,23 @@ We didn't assign three `"X"`s, did we? When we initialize `row` variable, this visualization explains what happens in the memory -![image](/images/tic-tac-toe/after_row_initialized.png) +

+ + + + Shows a memory segment after row is initialized. + +

And when the `board` is initialized by multiplying the `row`, this is what happens inside the memory (each of the elements `board[0]`, `board[1]` and `board[2]` is a reference to the same list referred by `row`) -![image](/images/tic-tac-toe/after_board_initialized.png) +

+ + + + Shows a memory segment after board is initialized. + +

We can avoid this scenario here by not using `row` variable to generate `board`. (Asked in [this](https://github.com/satwikkansal/wtfpython/issues/68) issue). @@ -989,10 +1012,9 @@ We can avoid this scenario here by not using `row` variable to generate `board`. --- -### ▶ The sticky output function +### ▶ Schrödinger's variable * -1\. ```py funcs = [] @@ -1006,17 +1028,17 @@ for x in range(7): funcs_results = [func() for func in funcs] ``` -**Output:** - +**Output (Python version):** ```py >>> results [0, 1, 2, 3, 4, 5, 6] >>> funcs_results [6, 6, 6, 6, 6, 6, 6] ``` -Even when the values of `x` were different in every iteration prior to appending `some_func` to `funcs`, all the functions return 6. -2\. +The values of `x` were different in every iteration prior to appending `some_func` to `funcs`, but all the functions return 6 when they're evaluated after the loop completes. + +2. ```py >>> powers_of_x = [lambda x: x**i for i in range(10)] @@ -1024,27 +1046,45 @@ Even when the values of `x` were different in every iteration prior to appending [512, 512, 512, 512, 512, 512, 512, 512, 512, 512] ``` -#### 💡 Explanation +#### 💡 Explanation: +* When defining a function inside a loop that uses the loop variable in its body, the loop function's closure is bound to the *variable*, not its *value*. The function looks up `x` in the surrounding context, rather than using the value of `x` at the time the function is created. So all of the functions use the latest value assigned to the variable for computation. We can see that it's using the `x` from the surrounding context (i.e. *not* a local variable) with: +```py +>>> import inspect +>>> inspect.getclosurevars(funcs[0]) +ClosureVars(nonlocals={}, globals={'x': 6}, builtins={}, unbound=set()) +``` +Since `x` is a global value, we can change the value that the `funcs` will lookup and return by updating `x`: -- When defining a function inside a loop that uses the loop variable in its body, the loop function's closure is bound to the variable, not its value. So all of the functions use the latest value assigned to the variable for computation. +```py +>>> x = 42 +>>> [func() for func in funcs] +[42, 42, 42, 42, 42, 42, 42] +``` -- To get the desired behavior you can pass in the loop variable as a named variable to the function. **Why does this work?** Because this will define the variable -within the function's scope. +* To get the desired behavior you can pass in the loop variable as a named variable to the function. **Why does this work?** Because this will define the variable *inside* the function's scope. It will no longer go to the surrounding (global) scope to look up the variables value but will create a local variable that stores the value of `x` at that point in time. - ```py - funcs = [] - for x in range(7): - def some_func(x=x): - return x - funcs.append(some_func) - ``` +```py +funcs = [] +for x in range(7): + def some_func(x=x): + return x + funcs.append(some_func) +``` - **Output:** - ```py - >>> funcs_results = [func() for func in funcs] - >>> funcs_results - [0, 1, 2, 3, 4, 5, 6] - ``` +**Output:** + +```py +>>> funcs_results = [func() for func in funcs] +>>> funcs_results +[0, 1, 2, 3, 4, 5, 6] +``` + +It is not longer using the `x` in the global scope: + +```py +>>> inspect.getclosurevars(funcs[0]) +ClosureVars(nonlocals={}, globals={}, builtins={}, unbound=set()) +``` --- @@ -1102,7 +1142,7 @@ False **Output:** ```py ->>> from collections import Hashable +>>> from collections.abc import Hashable >>> issubclass(list, object) True >>> issubclass(object, Hashable) @@ -1177,7 +1217,7 @@ True True ``` -Accessing` classm` or `method` twice, creates equal but not *same* objects for the same instance of `SomeClass`. +Accessing `classm` or `method` twice, creates equal but not *same* objects for the same instance of `SomeClass`. #### 💡 Explanation * Functions are [descriptors](https://docs.python.org/3/howto/descriptor.html). Whenever a function is accessed as an @@ -1256,8 +1296,8 @@ Why's this True-False alteration? ``` - `all([])` returns `True` since the iterable is empty. -- `all([[]])` returns `False` because `not []` is `True` is equivalent to `not False` as the list inside the iterable is empty. -- `all([[[]]])` and higher recursive variants are always `True` since `not [[]]`, `not [[[]]]`, and so on are equivalent to `not True`. +- `all([[]])` returns `False` because the passed array has one element, `[]`, and in python, an empty list is falsy. +- `all([[[]]])` and higher recursive variants are always `True`. This is because the passed array's single element (`[[...]]`) is no longer empty, and lists with values are truthy. --- @@ -1324,7 +1364,7 @@ True ```py >>> r'wt\"f' == 'wt\\"f' True - >>> print(repr(r'wt\"f') + >>> print(repr(r'wt\"f')) 'wt\\"f' >>> print("\n") @@ -1823,9 +1863,9 @@ NameError: name 'e' is not defined **Output:** ```py - >>>f(x) + >>> f(x) UnboundLocalError: local variable 'x' referenced before assignment - >>>f(y) + >>> f(y) UnboundLocalError: local variable 'x' referenced before assignment >>> x 5 @@ -1957,9 +1997,45 @@ a, b = a[b] = {}, 5 True ``` + --- + +### ▶ Exceeds the limit for integer string conversion +```py +>>> # Python 3.10.6 +>>> int("2" * 5432) + +>>> # Python 3.10.8 +>>> int("2" * 5432) +``` + +**Output:** +```py +>>> # Python 3.10.6 +222222222222222222222222222222222222222222222222222222222222222... + +>>> # Python 3.10.8 +Traceback (most recent call last): + ... +ValueError: Exceeds the limit (4300) for integer string conversion: + value has 5432 digits; use sys.set_int_max_str_digits() + to increase the limit. +``` + +#### 💡 Explanation: +This call to `int()` works fine in Python 3.10.6 and raises a ValueError in Python 3.10.8. Note that Python can still work with large integers. The error is only raised when converting between integers and strings. + +Fortunately, you can increase the limit for the allowed number of digits when you expect an operation to exceed it. To do this, you can use one of the following: +- The -X int_max_str_digits command-line flag +- The set_int_max_str_digits() function from the sys module +- The PYTHONINTMAXSTRDIGITS environment variable + +[Check the documentation](https://docs.python.org/3/library/stdtypes.html#int-max-str-digits) for more details on changing the default limit if you expect your code to exceed this value. + + --- + ## Section: Slippery Slopes ### ▶ Modifying a dictionary while iterating over it @@ -2118,7 +2194,7 @@ UnboundLocalError: local variable 'a' referenced before assignment >>> another_func() 2 ``` -* The keywords `global` and `nonlocal` tell the python interpreter to not delcare new variables and look them up in the corresponding outer scopes. +* The keywords `global` and `nonlocal` tell the python interpreter to not declare new variables and look them up in the corresponding outer scopes. * Read [this](https://sebastianraschka.com/Articles/2014_python_scope_and_namespaces.html) short but an awesome guide to learn more about how namespaces and scope resolution works in Python. --- @@ -2515,6 +2591,56 @@ class SomeClass: --- +### ▶ Rounding like a banker * + +Let's implement a naive function to get the middle element of a list: +```py +def get_middle(some_list): + mid_index = round(len(some_list) / 2) + return some_list[mid_index - 1] +``` + +**Python 3.x:** +```py +>>> get_middle([1]) # looks good +1 +>>> get_middle([1,2,3]) # looks good +2 +>>> get_middle([1,2,3,4,5]) # huh? +2 +>>> len([1,2,3,4,5]) / 2 # good +2.5 +>>> round(len([1,2,3,4,5]) / 2) # why? +2 +``` +It seems as though Python rounded 2.5 to 2. + +#### 💡 Explanation: + +- This is not a float precision error, in fact, this behavior is intentional. Since Python 3.0, `round()` uses [banker's rounding](https://en.wikipedia.org/wiki/Rounding#Rounding_half_to_even) where .5 fractions are rounded to the nearest **even** number: + +```py +>>> round(0.5) +0 +>>> round(1.5) +2 +>>> round(2.5) +2 +>>> import numpy # numpy does the same +>>> numpy.round(0.5) +0.0 +>>> numpy.round(1.5) +2.0 +>>> numpy.round(2.5) +2.0 +``` + +- This is the recommended way to round .5 fractions as described in [IEEE 754](https://en.wikipedia.org/wiki/IEEE_754#Rounding_rules). However, the other way (round away from zero) is taught in school most of the time, so banker's rounding is likely not that well known. Furthermore, some of the most popular programming languages (for example: JavaScript, Java, C/C++, Ruby, Rust) do not use banker's rounding either. Therefore, this is still quite special to Python and may result in confusion when rounding fractions. +- See the [round() docs](https://docs.python.org/3/library/functions.html#round) or [this stackoverflow thread](https://stackoverflow.com/questions/10825926/python-3-x-rounding-behavior) for more information. +- Note that `get_middle([1])` only returned 1 because the index was `round(0.5) - 1 = 0 - 1 = -1`, returning the last element in the list. + +--- + ### ▶ Needles in a Haystack * @@ -2685,7 +2811,7 @@ def similar_recursive_func(a): * As for the fifth snippet, most methods that modify the items of sequence/mapping objects like `list.append`, `dict.update`, `list.sort`, etc. modify the objects in-place and return `None`. The rationale behind this is to improve performance by avoiding making a copy of the object if the operation can be done in-place (Referred from [here](https://docs.python.org/3/faq/design.html#why-doesn-t-list-sort-return-the-sorted-list)). -* Last one should be fairly obvious, mutable object (like `list`) can be altered in the function, and the reassignation of an immutable (`a -= 1`) is not an alteration of the value. +* Last one should be fairly obvious, mutable object (like `list`) can be altered in the function, and the reassignment of an immutable (`a -= 1`) is not an alteration of the value. * Being aware of these nitpicks can save you hours of debugging effort in the long run. @@ -3097,7 +3223,7 @@ Ellipsis >>> ... Ellipsis ``` -- Eliipsis can be used for several purposes, +- Ellipsis can be used for several purposes, + As a placeholder for code that hasn't been written yet (just like `pass` statement) + In slicing syntax to represent the full slices in remaining direction ```py @@ -3542,7 +3668,7 @@ What makes those dictionaries become bloated? And why are newly created objects + CPython is able to reuse the same "keys" object in multiple dictionaries. This was added in [PEP 412](https://www.python.org/dev/peps/pep-0412/) with the motivation to reduce memory usage, specifically in dictionaries of instances - where keys (instance attributes) tend to be common to all instances. + This optimization is entirely seamless for instance dictionaries, but it is disabled if certain assumptions are broken. + Key-sharing dictionaries do not support deletion; if an instance attribute is deleted, the dictionary is "unshared", and key-sharing is disabled for all future instances of the same class. -+ Additionaly, if the dictionary keys have be resized (because new keys are inserted), they are kept shared *only* if they are used by a exactly single dictionary (this allows adding many attributes in the `__init__` of the very first created instance, without causing an "unshare"). If multiple instances exist when a resize happens, key-sharing is disabled for all future instances of the same class: CPython can't tell if your instances are using the same set of attributes anymore, and decides to bail out on attempting to share their keys. ++ Additionally, if the dictionary keys have been resized (because new keys are inserted), they are kept shared *only* if they are used by a exactly single dictionary (this allows adding many attributes in the `__init__` of the very first created instance, without causing an "unshare"). If multiple instances exist when a resize happens, key-sharing is disabled for all future instances of the same class: CPython can't tell if your instances are using the same set of attributes anymore, and decides to bail out on attempting to share their keys. + A small tip, if you aim to lower your program's memory footprint: don't delete instance attributes, and make sure to initialize all attributes in your `__init__`! @@ -3554,7 +3680,7 @@ What makes those dictionaries become bloated? And why are newly created objects * Few weird looking but semantically correct statements: + `[] = ()` is a semantically correct statement (unpacking an empty `tuple` into an empty `list`) - + `'a'[0][0][0][0][0]` is also a semantically correct statement as strings are [sequences](https://docs.python.org/3/glossary.html#term-sequence)(iterables supporting element access using integer indices) in Python. + + `'a'[0][0][0][0][0]` is also semantically correct, because Python doesn't have a character data type like other languages branched from C. So selecting a single character from a string returns a single-character string. + `3 --0-- 5 == 8` and `--5 == 5` are both semantically correct statements and evaluate to `True`. * Given that `a` is a number, `++a` and `--a` are both valid Python statements but don't behave the same way as compared with similar statements in languages like C, C++, or Java. @@ -3717,7 +3843,6 @@ The idea and design for this collection were initially inspired by Denys Dovhan' * https://stackoverflow.com/questions/1011431/common-pitfalls-in-python * https://www.python.org/doc/humor/ * https://github.com/cosmologicon/pywat#the-undocumented-converse-implication-operator -* https://www.codementor.io/satwikkansal/python-practices-for-efficient-code-performance-memory-and-usability-aze6oiq65 * https://github.com/wemake-services/wemake-python-styleguide/search?q=wtfpython&type=Issues * WFTPython discussion threads on [Hacker News](https://news.ycombinator.com/item?id=21862073) and [Reddit](https://www.reddit.com/r/programming/comments/edsh3q/what_the_fck_python_30_exploring_and/). @@ -3738,7 +3863,7 @@ If you like wtfpython, you can use these quick links to share it with your frien ## Need a pdf version? -I've received a few requests for the pdf (and epub) version of wtfpython. You can add your details [here](https://satwikkansal.xyz/wtfpython-pdf/) to get them as soon as they are finished. +I've received a few requests for the pdf (and epub) version of wtfpython. You can add your details [here](https://form.jotform.com/221593245656057) to get them as soon as they are finished. -**That's all folks!** For upcoming content like this, you can add your email [here](https://www.satwikkansal.xyz/content-like-wtfpython/). +**That's all folks!** For upcoming content like this, you can add your email [here](https://form.jotform.com/221593598380062). diff --git a/images/expanding-brain-meme.jpg b/images/expanding-brain-meme.jpg deleted file mode 100644 index 9437c2f..0000000 Binary files a/images/expanding-brain-meme.jpg and /dev/null differ diff --git a/images/logo.png b/images/logo.png deleted file mode 100644 index 014a63a..0000000 Binary files a/images/logo.png and /dev/null differ diff --git a/images/logo.svg b/images/logo.svg new file mode 100755 index 0000000..6ec5eda --- /dev/null +++ b/images/logo.svg @@ -0,0 +1,38 @@ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + diff --git a/images/logo_dark_theme.svg b/images/logo_dark_theme.svg new file mode 100755 index 0000000..f89e797 --- /dev/null +++ b/images/logo_dark_theme.svg @@ -0,0 +1,38 @@ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + diff --git a/images/string-intern/string_intern.png b/images/string-intern/string_intern.png deleted file mode 100644 index 6511978..0000000 Binary files a/images/string-intern/string_intern.png and /dev/null differ diff --git a/images/string-intern/string_interning.svg b/images/string-intern/string_interning.svg new file mode 100755 index 0000000..0572a9e --- /dev/null +++ b/images/string-intern/string_interning.svg @@ -0,0 +1,4 @@ + + + +
PyStringObject
PyStringObject
"wtf!"
"wtf!"
a
a
PyStringObject
PyStringObject
"wtf!"
"wtf!"
b
b
PyStringObject
PyStringObject
"wtf!"
"wtf!"
a
a
b
b
Text is not SVG - cannot display
diff --git a/images/string-intern/string_interning_dark_theme.svg b/images/string-intern/string_interning_dark_theme.svg new file mode 100755 index 0000000..69c32e4 --- /dev/null +++ b/images/string-intern/string_interning_dark_theme.svg @@ -0,0 +1,4 @@ + + + +
PyStringObject
PyStringObject
"wtf!"
"wtf!"
a
a
PyStringObject
PyStringObject
"wtf!"
"wtf!"
b
b
PyStringObject
PyStringObject
"wtf!"
"wtf!"
a
a
b
b
Text is not SVG - cannot display
diff --git a/images/tic-tac-toe.png b/images/tic-tac-toe.png deleted file mode 100644 index 9c25117..0000000 Binary files a/images/tic-tac-toe.png and /dev/null differ diff --git a/images/tic-tac-toe/after_board_initialized.png b/images/tic-tac-toe/after_board_initialized.png deleted file mode 100644 index 616747f..0000000 Binary files a/images/tic-tac-toe/after_board_initialized.png and /dev/null differ diff --git a/images/tic-tac-toe/after_board_initialized.svg b/images/tic-tac-toe/after_board_initialized.svg new file mode 100755 index 0000000..02b1dad --- /dev/null +++ b/images/tic-tac-toe/after_board_initialized.svg @@ -0,0 +1,4 @@ + + + +
" "
" "
" "
" "
" "
" "
row
row
board[0]
board[0]
board[1]
board[1]
board[2]
board[2]
Text is not SVG - cannot display
\ No newline at end of file diff --git a/images/tic-tac-toe/after_board_initialized_dark_theme.svg b/images/tic-tac-toe/after_board_initialized_dark_theme.svg new file mode 100755 index 0000000..3218ad0 --- /dev/null +++ b/images/tic-tac-toe/after_board_initialized_dark_theme.svg @@ -0,0 +1,4 @@ + + + +
" "
" "
" "
" "
" "
" "
row
row
board[0]
board[0]
board[1]
board[1]
board[2]
board[2]
Text is not SVG - cannot display
\ No newline at end of file diff --git a/images/tic-tac-toe/after_row_initialized.png b/images/tic-tac-toe/after_row_initialized.png deleted file mode 100644 index 520d700..0000000 Binary files a/images/tic-tac-toe/after_row_initialized.png and /dev/null differ diff --git a/images/tic-tac-toe/after_row_initialized.svg b/images/tic-tac-toe/after_row_initialized.svg new file mode 100755 index 0000000..92eb02c --- /dev/null +++ b/images/tic-tac-toe/after_row_initialized.svg @@ -0,0 +1,4 @@ + + + +
" "
" "
" "
" "
" "
" "
row
row
Text is not SVG - cannot display
\ No newline at end of file diff --git a/images/tic-tac-toe/after_row_initialized_dark_theme.svg b/images/tic-tac-toe/after_row_initialized_dark_theme.svg new file mode 100755 index 0000000..2404958 --- /dev/null +++ b/images/tic-tac-toe/after_row_initialized_dark_theme.svg @@ -0,0 +1,4 @@ + + + +
" "
" "
" "
" "
" "
" "
row
row
Text is not SVG - cannot display
\ No newline at end of file diff --git a/irrelevant/notebook_generator.py b/irrelevant/notebook_generator.py index d275530..50e86d2 100644 --- a/irrelevant/notebook_generator.py +++ b/irrelevant/notebook_generator.py @@ -55,6 +55,12 @@ That being said, most of the examples do work as expected. If you face any troub def generate_code_block(statements, output): + """ + Generates a code block that executes the given statements. + + :param statements: The list of statements to execute. + :type statements: list(str) + """ global sequence_num result = { "type": "code", @@ -67,6 +73,9 @@ def generate_code_block(statements, output): def generate_markdown_block(lines): + """ + Generates a markdown block from a list of lines. + """ global sequence_num result = { "type": "markdown", @@ -85,6 +94,12 @@ def is_interactive_statement(line): def parse_example_parts(lines, title, current_line): + """ + Parse the given lines and return a dictionary with two keys: + build_up, which contains all the text before an H4 (explanation) is encountered, + and + explanation, which contains all the text after build_up until --- or another H3 is encountered. + """ parts = { "build_up": [], "explanation": [] @@ -191,6 +206,14 @@ def remove_from_beginning(tokens, line): def inspect_and_sanitize_code_lines(lines): + """ + Remove lines from the beginning of a code block that are not statements. + + :param lines: A list of strings, each representing a line in the code block. + :returns is_print_present, sanitized_lines: A boolean indicating whether print was present in the original code and a list of strings representing + sanitized lines. The latter may be an empty list if all input lines were removed as comments or whitespace (and thus did not contain any statements). + This function does not remove blank lines at the end of `lines`. + """ tokens_to_remove = STATEMENT_PREFIXES result = [] is_print_present = False @@ -203,6 +226,23 @@ def inspect_and_sanitize_code_lines(lines): def convert_to_cells(cell_contents, read_only): + """ + Converts a list of dictionaries containing markdown and code cells into a Jupyter notebook. + + :param cell_contents: A list of dictionaries, each + dictionary representing either a markdown or code cell. Each dictionary should have the following keys: "type", which is either "markdown" or "code", + and "value". The value for type = 'markdown' is the content as string, whereas the value for type = 'code' is another dictionary with two keys, + statements and output. The statements key contains all lines in between ```py\n``` (including) until ```\n```, while output contains all lines after + ```.output py\n```. + :type cell_contents: List[Dict] + + :param read_only (optional): If True then only print outputs are included in converted + cells. Default False + :type read_only (optional): bool + + :returns A Jupyter notebook containing all cells from input parameter `cell_contents`. + Each converted cell has metadata attribute collapsed set to true if it's code-cell otherwise None if it's markdow-cell. + """ cells = [] for stuff in cell_contents: if stuff["type"] == "markdown": @@ -269,6 +309,9 @@ def convert_to_cells(cell_contents, read_only): def convert_to_notebook(pre_examples_content, parsed_json, post_examples_content): + """ + Convert a JSON file containing the examples to a Jupyter Notebook. + """ result = { "cells": [], "metadata": {}, diff --git a/irrelevant/wtf.ipynb b/irrelevant/wtf.ipynb index de1cba2..c0f3d66 100644 --- a/irrelevant/wtf.ipynb +++ b/irrelevant/wtf.ipynb @@ -4,13 +4,13 @@ "cell_type": "markdown", "metadata": {}, "source": [ - "

\"\"

\n", + "\"wtfpython\n", "

What the f*ck Python! \ud83d\ude31

\n", "

Exploring and understanding Python through surprising snippets.

\n", "\n", - "Translations: [Chinese \u4e2d\u6587](https://github.com/leisurelicht/wtfpython-cn) | [Add translation](https://github.com/satwikkansal/wtfpython/issues/new?title=Add%20translation%20for%20[LANGUAGE]&body=Expected%20time%20to%20finish:%20[X]%20weeks.%20I%27ll%20start%20working%20on%20it%20from%20[Y].)\n", + "Translations: [Chinese \u4e2d\u6587](https://github.com/leisurelicht/wtfpython-cn) | [Vietnamese Ti\u1ebfng Vi\u1ec7t](https://github.com/vuduclyunitn/wtfptyhon-vi) | [Add translation](https://github.com/satwikkansal/wtfpython/issues/new?title=Add%20translation%20for%20[LANGUAGE]&body=Expected%20time%20to%20finish:%20[X]%20weeks.%20I%27ll%20start%20working%20on%20it%20from%20[Y].)\n", "\n", - "Other modes: [Interactive](https://colab.research.google.com/github/satwikkansal/wtfpython/blob/3.0/irrelevant/wtf.ipynb) | [CLI](https://pypi.python.org/pypi/wtfpython)\n", + "Other modes: [Interactive](https://colab.research.google.com/github/satwikkansal/wtfpython/blob/master/irrelevant/wtf.ipynb)\n", "\n", "Python, being a beautifully designed high-level and interpreter-based programming language, provides us with many features for the programmer's comfort. But sometimes, the outcomes of a Python snippet may not seem obvious at first sight.\n", "\n", @@ -20,7 +20,7 @@ "\n", "If you're an experienced Python programmer, you can take it as a challenge to get most of them right in the first attempt. You may have already experienced some of them before, and I might be able to revive sweet old memories of yours! :sweat_smile:\n", "\n", - "PS: If you're a returning reader, you can learn about the new modifications [here](https://github.com/satwikkansal/wtfpython/releases/).\n", + "PS: If you're a returning reader, you can learn about the new modifications [here](https://github.com/satwikkansal/wtfpython/releases/) (the examples marked with asterisk are the ones added in the latest major revision). \n", "\n", "So, here we go...\n", "\n", @@ -68,18 +68,9 @@ "- Read the output snippets and,\n", " + Check if the outputs are the same as you'd expect.\n", " + Make sure if you know the exact reason behind the output being the way it is.\n", - " - If the answer is no (which is perfectly okay), take a deep breath, and read the explanation (and if you still don't understand, shout out! and create an issue [here](https://github.com/satwikkansal/wtfPython)).\n", + " - If the answer is no (which is perfectly okay), take a deep breath, and read the explanation (and if you still don't understand, shout out! and create an issue [here](https://github.com/satwikkansal/wtfpython/issues/new)).\n", " - If yes, give a gentle pat on your back, and you may skip to the next example.\n", "\n", - "PS: You can also read WTFPython at the command line using the [pypi package](https://pypi.python.org/pypi/wtfpython),\n", - "```sh\n", - "$ pip install wtfpython -U\n", - "$ wtfpython\n", - "```\n", - "---\n", - "\n", - "# \ud83d\udc40 Examples\n", - "\n", "\n\n## Hosted notebook instructions\n\nThis is just an experimental attempt of browsing wtfpython through jupyter notebooks. Some examples are read-only because, \n- they either require a version of Python that's not supported in the hosted runtime.\n- or they can't be reproduced in the notebook envrinonment.\n\nThe expected outputs are already present in collapsed cells following the code cells. The Google colab provides Python2 (2.7) and Python3 (3.6, default) runtimes. You can switch among these for Python2 specific examples. For examples specific to other minor versions, you can simply refer to collapsed outputs (it's not possible to control the minor version in hosted notebooks as of now). You can check the active version using\n\n```py\n>>> import sys\n>>> sys.version\n# Prints out Python version here.\n```\n\nThat being said, most of the examples do work as expected. If you face any trouble, feel free to consult the original content on wtfpython and create an issue in the repo. Have fun!\n\n---\n" ] }, @@ -353,13 +344,13 @@ "+ After being \"interned,\" many variables may reference the same string object in memory (saving memory thereby).\n", "+ In the snippets above, strings are implicitly interned. The decision of when to implicitly intern a string is implementation-dependent. There are some rules that can be used to guess if a string will be interned or not:\n", " * All length 0 and length 1 strings are interned.\n", - " * Strings are interned at compile time (`'wtf'` will be interned but `''.join(['w', 't', 'f']` will not be interned)\n", + " * Strings are interned at compile time (`'wtf'` will be interned but `''.join(['w', 't', 'f'])` will not be interned)\n", " * Strings that are not composed of ASCII letters, digits or underscores, are not interned. This explains why `'wtf!'` was not interned due to `!`. CPython implementation of this rule can be found [here](https://github.com/python/cpython/blob/3.6/Objects/codeobject.c#L19)\n", - " ![image](https://raw.githubusercontent.com/satwikkansal/wtfpython/master/images/string-intern/string_intern.png)\n", - "+ When `a` and `b` are set to `\"wtf!\"` in the same line, the Python interpreter creates a new object, then references the second variable at the same time. If you do it on separate lines, it doesn't \"know\" that there's already `wtf!` as an object (because `\"wtf!\"` is not implicitly interned as per the facts mentioned above). It's a compile-time optimization. This optimization doesn't apply to 3.7.x versions of CPython (check this [issue](https://github.com/satwikkansal/wtfpython/issues/100) for more discussion).\n", + "\"Shows\n", + "+ When `a` and `b` are set to `\"wtf!\"` in the same line, the Python interpreter creates a new object, then references the second variable at the same time. If you do it on separate lines, it doesn't \"know\" that there's already `\"wtf!\"` as an object (because `\"wtf!\"` is not implicitly interned as per the facts mentioned above). It's a compile-time optimization. This optimization doesn't apply to 3.7.x versions of CPython (check this [issue](https://github.com/satwikkansal/wtfpython/issues/100) for more discussion).\n", "+ A compile unit in an interactive environment like IPython consists of a single statement, whereas it consists of the entire module in case of modules. `a, b = \"wtf!\", \"wtf!\"` is single statement, whereas `a = \"wtf!\"; b = \"wtf!\"` are two statements in a single line. This explains why the identities are different in `a = \"wtf!\"; b = \"wtf!\"`, and also explain why they are same when invoked in `some_file.py`\n", - "+ The abrupt change in the output of the fourth snippet is due to a [peephole optimization](https://en.wikipedia.org/wiki/Peephole_optimization) technique known as Constant folding. This means the expression `'a'*20` is replaced by `'aaaaaaaaaaaaaaaaaaaa'` during compilation to save a few clock cycles during runtime. Constant folding only occurs for strings having a length of less than 20. (Why? Imagine the size of `.pyc` file generated as a result of the expression `'a'*10**10`). [Here's](https://github.com/python/cpython/blob/3.6/Python/peephole.c#L288) the implementation source for the same.\n", - "+ Note: In Python 3.7, Constant folding was moved out from peephole optimizer to the new AST optimizer with some change in logic as well, so the third snippet doesn't work for Python 3.7. You can read more about the change [here](https://bugs.python.org/issue11549). \n", + "+ The abrupt change in the output of the fourth snippet is due to a [peephole optimization](https://en.wikipedia.org/wiki/Peephole_optimization) technique known as Constant folding. This means the expression `'a'*20` is replaced by `'aaaaaaaaaaaaaaaaaaaa'` during compilation to save a few clock cycles during runtime. Constant folding only occurs for strings having a length of less than 21. (Why? Imagine the size of `.pyc` file generated as a result of the expression `'a'*10**10`). [Here's](https://github.com/python/cpython/blob/3.6/Python/peephole.c#L288) the implementation source for the same.\n", + "+ Note: In Python 3.7, Constant folding was moved out from peephole optimizer to the new AST optimizer with some change in logic as well, so the fourth snippet doesn't work for Python 3.7. You can read more about the change [here](https://bugs.python.org/issue11549). \n", "\n" ] }, @@ -367,262 +358,7 @@ "cell_type": "markdown", "metadata": {}, "source": [ - "### \u25b6 Hash brownies\n", - "1\\.\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - "some_dict = {}\n", - "some_dict[5.5] = \"JavaScript\"\n", - "some_dict[5.0] = \"Ruby\"\n", - "some_dict[5] = \"Python\"\n" - ] - }, - { - "cell_type": "markdown", - "metadata": {}, - "source": [ - "\n", - "**Output:**\n", - "\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [ - "\"JavaScript\"\n" - ] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - "some_dict[5.5]\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [ - "\"Python\"\n" - ] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - "some_dict[5.0] # \"Python\" destroyed the existence of \"Ruby\"?\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [ - "\"Python\"\n", - "\n" - ] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - "some_dict[5] \n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [ - "complex\n" - ] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - "complex_five = 5 + 0j\n", - "type(complex_five)\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [ - "\"Python\"\n" - ] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - "some_dict[complex_five]\n" - ] - }, - { - "cell_type": "markdown", - "metadata": {}, - "source": [ - "\n", - "So, why is Python all over the place?\n", - "\n", - "\n" - ] - }, - { - "cell_type": "markdown", - "metadata": {}, - "source": [ - "#### \ud83d\udca1 Explanation\n", - "\n", - "* Python dictionaries check for equality and compare the hash value to determine if two keys are the same.\n", - "* Immutable objects with the same value always have the same hash in Python.\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [ - " True\n" - ] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - " 5 == 5.0 == 5 + 0j\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [ - " True\n" - ] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - " hash(5) == hash(5.0) == hash(5 + 0j)\n" - ] - }, - { - "cell_type": "markdown", - "metadata": {}, - "source": [ - " **Note:** Objects with different values may also have same hash (known as [hash collision](https://en.wikipedia.org/wiki/Collision_(computer_science))).\n", - "* When the statement `some_dict[5] = \"Python\"` is executed, the existing value \"Ruby\" is overwritten with \"Python\" because Python recognizes `5` and `5.0` as the same keys of the dictionary `some_dict`.\n", - "* This StackOverflow [answer](https://stackoverflow.com/a/32211042/4354153) explains the rationale behind it.\n", - "\n" - ] - }, - { - "cell_type": "markdown", - "metadata": {}, - "source": [ - "### \u25b6 Deep down, we're all the same.\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - "class WTF:\n", - " pass\n" - ] - }, - { - "cell_type": "markdown", - "metadata": {}, - "source": [ - "\n", - "**Output:**\n" + "### \u25b6 Be careful with chained operations\n" ] }, { @@ -644,7 +380,7 @@ } ], "source": [ - "WTF() == WTF() # two different instances can't be equal\n" + "(False == False) in [False] # makes sense\n" ] }, { @@ -666,7 +402,75 @@ } ], "source": [ - "WTF() is WTF() # identities are also different\n" + "False == (False in [False]) # makes sense\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + "True\n", + "\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "False == False in [False] # now what?\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + "False\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "True is False == False\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + "True\n", + "\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "False is False is False\n" ] }, { @@ -688,7 +492,7 @@ } ], "source": [ - "hash(WTF()) == hash(WTF()) # hashes _should_ be different as well\n" + "1 > 0 < 1\n" ] }, { @@ -701,7 +505,7 @@ { "data": { "text/plain": [ - "True\n" + "False\n" ] }, "output_type": "execute_result", @@ -710,7 +514,29 @@ } ], "source": [ - "id(WTF()) == id(WTF())\n" + "(1 > 0) < 1\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + "False\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "1 > (0 < 1)\n" ] }, { @@ -726,40 +552,16 @@ "source": [ "#### \ud83d\udca1 Explanation:\n", "\n", - "* When `id` was called, Python created a `WTF` class object and passed it to the `id` function. The `id` function takes its `id` (its memory location), and throws away the object. The object is destroyed.\n", - "* When we do this twice in succession, Python allocates the same memory location to this second object as well. Since (in CPython) `id` uses the memory location as the object id, the id of the two objects is the same.\n", - "* So, the object's id is unique only for the lifetime of the object. After the object is destroyed, or before it is created, something else can have the same id.\n", - "* But why did the `is` operator evaluated to `False`? Let's see with this snippet.\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - " class WTF(object):\n", - " def __init__(self): print(\"I\")\n", - " def __del__(self): print(\"D\")\n" - ] - }, - { - "cell_type": "markdown", - "metadata": {}, - "source": [ + "As per https://docs.python.org/3/reference/expressions.html#membership-test-operations\n", "\n", - " **Output:**\n" + "> Formally, if a, b, c, ..., y, z are expressions and op1, op2, ..., opN are comparison operators, then a op1 b op2 c ... y opN z is equivalent to a op1 b and b op2 c and ... y opN z, except that each expression is evaluated at most once.\n", + "\n", + "While such behavior might seem silly to you in the above examples, it's fantastic with stuff like `a == b == c` and `0 <= x <= 100`.\n", + "\n", + "* `False is False is False` is equivalent to `(False is False) and (False is False)`\n", + "* `True is False == False` is equivalent to `True is False and False == False` and since the first part of the statement (`True is False`) evaluates to `False`, the overall expression evaluates to `False`.\n", + "* `1 > 0 < 1` is equivalent to `1 > 0 and 0 < 1` which evaluates to `True`.\n", + "* The expression `(1 > 0) < 1` is equivalent to `True < 1` and\n" ] }, { @@ -772,11 +574,7 @@ { "data": { "text/plain": [ - " I\n", - " I\n", - " D\n", - " D\n", - " False\n" + " 1\n" ] }, "output_type": "execute_result", @@ -785,7 +583,7 @@ } ], "source": [ - " WTF() is WTF()\n" + " int(True)\n" ] }, { @@ -798,11 +596,7 @@ { "data": { "text/plain": [ - " I\n", - " D\n", - " I\n", - " D\n", - " True\n" + " 2\n" ] }, "output_type": "execute_result", @@ -811,989 +605,14 @@ } ], "source": [ - " id(WTF()) == id(WTF())\n" + " True + 1 #not relevant for this example, but just for fun\n" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ - " As you may observe, the order in which the objects are destroyed is what made all the difference here.\n", - "\n" - ] - }, - { - "cell_type": "markdown", - "metadata": {}, - "source": [ - "### \u25b6 Disorder within order *\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - "from collections import OrderedDict\n", - "\n", - "dictionary = dict()\n", - "dictionary[1] = 'a'; dictionary[2] = 'b';\n", - "\n", - "ordered_dict = OrderedDict()\n", - "ordered_dict[1] = 'a'; ordered_dict[2] = 'b';\n", - "\n", - "another_ordered_dict = OrderedDict()\n", - "another_ordered_dict[2] = 'b'; another_ordered_dict[1] = 'a';\n", - "\n", - "class DictWithHash(dict):\n", - " \"\"\"\n", - " A dict that also implements __hash__ magic.\n", - " \"\"\"\n", - " __hash__ = lambda self: 0\n", - "\n", - "class OrderedDictWithHash(OrderedDict):\n", - " \"\"\"\n", - " An OrderedDict that also implements __hash__ magic.\n", - " \"\"\"\n", - " __hash__ = lambda self: 0\n" - ] - }, - { - "cell_type": "markdown", - "metadata": {}, - "source": [ - "\n", - "**Output**\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [ - "True\n" - ] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - "dictionary == ordered_dict # If a == b\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [ - "True\n" - ] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - "dictionary == another_ordered_dict # and b == c\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [ - "False\n", - "\n", - "# We all know that a set consists of only unique elements,\n", - "# let's try making a set of these dictionaries and see what happens...\n", - "\n" - ] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - "ordered_dict == another_ordered_dict # the why isn't c == a ??\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [ - "Traceback (most recent call last):\n", - " File \"\", line 1, in \n", - "TypeError: unhashable type: 'dict'\n", - "\n", - "# Makes sense since dict don't have __hash__ implemented, let's use\n", - "# our wrapper classes.\n" - ] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - "len({dictionary, ordered_dict, another_ordered_dict})\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [ - "1\n" - ] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - "dictionary = DictWithHash()\n", - "dictionary[1] = 'a'; dictionary[2] = 'b';\n", - "ordered_dict = OrderedDictWithHash()\n", - "ordered_dict[1] = 'a'; ordered_dict[2] = 'b';\n", - "another_ordered_dict = OrderedDictWithHash()\n", - "another_ordered_dict[2] = 'b'; another_ordered_dict[1] = 'a';\n", - "len({dictionary, ordered_dict, another_ordered_dict})\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [ - "2\n" - ] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - "len({ordered_dict, another_ordered_dict, dictionary}) # changing the order\n" - ] - }, - { - "cell_type": "markdown", - "metadata": {}, - "source": [ - "\n", - "What is going on here?\n", - "\n" - ] - }, - { - "cell_type": "markdown", - "metadata": {}, - "source": [ - "#### \ud83d\udca1 Explanation:\n", - "\n", - "- The reason why intransitive equality didn't hold among `dictionary`, `ordered_dict` and `another_ordered_dict` is because of the way `__eq__` method is implemented in `OrderedDict` class. From the [docs](https://docs.python.org/3/library/collections.html#ordereddict-objects)\n", - " \n", - " > Equality tests between OrderedDict objects are order-sensitive and are implemented as `list(od1.items())==list(od2.items())`. Equality tests between `OrderedDict` objects and other Mapping objects are order-insensitive like regular dictionaries.\n", - "- The reason for this equality is behavior is that it allows `OrderedDict` objects to be directly substituted anywhere a regular dictionary is used.\n", - "- Okay, so why did changing the order affect the length of the generated `set` object? The answer is the lack of intransitive equality only. Since sets are \"unordered\" collections of unique elements, the order in which elements are inserted shouldn't matter. But in this case, it does matter. Let's break it down a bit,\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [ - " True\n" - ] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - " some_set = set()\n", - " some_set.add(dictionary) # these are the mapping objects from the snippets above\n", - " ordered_dict in some_set\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [ - " 1\n" - ] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - " some_set.add(ordered_dict)\n", - " len(some_set)\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [ - " True\n" - ] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - " another_ordered_dict in some_set\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [ - " 1\n", - "\n" - ] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - " some_set.add(another_ordered_dict)\n", - " len(some_set)\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [ - " False\n" - ] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - " another_set = set()\n", - " another_set.add(ordered_dict)\n", - " another_ordered_dict in another_set\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [ - " 2\n" - ] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - " another_set.add(another_ordered_dict)\n", - " len(another_set)\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [ - " True\n" - ] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - " dictionary in another_set\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [ - " 2\n" - ] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - " another_set.add(another_ordered_dict)\n", - " len(another_set)\n" - ] - }, - { - "cell_type": "markdown", - "metadata": {}, - "source": [ - " So the inconsistency is due to `another_ordered_dict in another_set` being `False` because `ordered_dict` was already present in `another_set` and as observed before, `ordered_dict == another_ordered_dict` is `False`.\n", - "\n" - ] - }, - { - "cell_type": "markdown", - "metadata": {}, - "source": [ - "### \u25b6 Keep trying... *\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - "def some_func():\n", - " try:\n", - " return 'from_try'\n", - " finally:\n", - " return 'from_finally'\n", - "\n", - "def another_func(): \n", - " for _ in range(3):\n", - " try:\n", - " continue\n", - " finally:\n", - " print(\"Finally!\")\n", - "\n", - "def one_more_func(): # A gotcha!\n", - " try:\n", - " for i in range(3):\n", - " try:\n", - " 1 / i\n", - " except ZeroDivisionError:\n", - " # Let's throw it here and handle it outside for loop\n", - " raise ZeroDivisionError(\"A trivial divide by zero error\")\n", - " finally:\n", - " print(\"Iteration\", i)\n", - " break\n", - " except ZeroDivisionError as e:\n", - " print(\"Zero division error occurred\", e)\n" - ] - }, - { - "cell_type": "markdown", - "metadata": {}, - "source": [ - "\n", - "**Output:**\n", - "\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [ - "'from_finally'\n", - "\n" - ] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - "some_func()\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [ - "Finally!\n", - "Finally!\n", - "Finally!\n", - "\n" - ] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - "another_func()\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [ - "Traceback (most recent call last):\n", - " File \"\", line 1, in \n", - "ZeroDivisionError: division by zero\n", - "\n" - ] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - "1 / 0\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [ - "Iteration 0\n", - "\n" - ] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - "one_more_func()\n" - ] - }, - { - "cell_type": "markdown", - "metadata": {}, - "source": [ - "\n" - ] - }, - { - "cell_type": "markdown", - "metadata": {}, - "source": [ - "#### \ud83d\udca1 Explanation:\n", - "\n", - "- When a `return`, `break` or `continue` statement is executed in the `try` suite of a \"try\u2026finally\" statement, the `finally` clause is also executed on the way out.\n", - "- The return value of a function is determined by the last `return` statement executed. Since the `finally` clause always executes, a `return` statement executed in the `finally` clause will always be the last one executed.\n", - "- The caveat here is, if the finally clause executes a `return` or `break` statement, the temporarily saved exception is discarded.\n", - "\n" - ] - }, - { - "cell_type": "markdown", - "metadata": {}, - "source": [ - "### \u25b6 For what?\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - "some_string = \"wtf\"\n", - "some_dict = {}\n", - "for i, some_dict[i] in enumerate(some_string):\n", - " i = 10\n" - ] - }, - { - "cell_type": "markdown", - "metadata": {}, - "source": [ - "\n", - "**Output:**\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [ - "{0: 'w', 1: 't', 2: 'f'}\n" - ] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - "some_dict # An indexed dict appears.\n" - ] - }, - { - "cell_type": "markdown", - "metadata": {}, - "source": [ - "\n" - ] - }, - { - "cell_type": "markdown", - "metadata": {}, - "source": [ - "#### \ud83d\udca1 Explanation:\n", - "\n", - "* A `for` statement is defined in the [Python grammar](https://docs.python.org/3/reference/grammar.html) as:\n", - " ```\n", - " for_stmt: 'for' exprlist 'in' testlist ':' suite ['else' ':' suite]\n", - " ```\n", - " Where `exprlist` is the assignment target. This means that the equivalent of `{exprlist} = {next_value}` is **executed for each item** in the iterable.\n", - " An interesting example that illustrates this:\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - " for i in range(4):\n", - " print(i)\n", - " i = 10\n" - ] - }, - { - "cell_type": "markdown", - "metadata": {}, - "source": [ - "\n", - " **Output:**\n", - " ```\n", - " 0\n", - " 1\n", - " 2\n", - " 3\n", - " ```\n", - "\n", - " Did you expect the loop to run just once?\n", - "\n", - " **\ud83d\udca1 Explanation:**\n", - "\n", - " - The assignment statement `i = 10` never affects the iterations of the loop because of the way for loops work in Python. Before the beginning of every iteration, the next item provided by the iterator (`range(4)` this case) is unpacked and assigned the target list variables (`i` in this case).\n", - "\n", - "* The `enumerate(some_string)` function yields a new value `i` (a counter going up) and a character from the `some_string` in each iteration. It then sets the (just assigned) `i` key of the dictionary `some_dict` to that character. The unrolling of the loop can be simplified as:\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - " i, some_dict[i] = (0, 'w')\n", - " i, some_dict[i] = (1, 't')\n", - " i, some_dict[i] = (2, 'f')\n", - " some_dict\n" - ] - }, - { - "cell_type": "markdown", - "metadata": {}, - "source": [ - "\n" - ] - }, - { - "cell_type": "markdown", - "metadata": {}, - "source": [ - "### \u25b6 Evaluation time discrepancy\n", - "1\\.\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - "array = [1, 8, 15]\n", - "# A typical generator expression\n", - "gen = (x for x in array if array.count(x) > 0)\n", - "array = [2, 8, 22]\n" - ] - }, - { - "cell_type": "markdown", - "metadata": {}, - "source": [ - "\n", - "**Output:**\n", - "\n" - ] - }, - { - "cell_type": "code", - "metadata": { - "collapsed": true - }, - "execution_count": null, - "outputs": [ - { - "name": "stdout", - "output_type": "stream", - "text": [ - "[8]\n" - ] - } - ], - "source": [ - "print(list(gen)) # Where did the other values go?\n" - ] - }, - { - "cell_type": "markdown", - "metadata": {}, - "source": [ - "\n", - "2\\.\n", - "\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - "array_1 = [1,2,3,4]\n", - "gen_1 = (x for x in array_1)\n", - "array_1 = [1,2,3,4,5]\n", - "\n", - "array_2 = [1,2,3,4]\n", - "gen_2 = (x for x in array_2)\n", - "array_2[:] = [1,2,3,4,5]\n" - ] - }, - { - "cell_type": "markdown", - "metadata": {}, - "source": [ - "\n", - "**Output:**\n" - ] - }, - { - "cell_type": "code", - "metadata": { - "collapsed": true - }, - "execution_count": null, - "outputs": [ - { - "name": "stdout", - "output_type": "stream", - "text": [ - "[1, 2, 3, 4]\n", - "\n" - ] - } - ], - "source": [ - "print(list(gen_1))\n" - ] - }, - { - "cell_type": "code", - "metadata": { - "collapsed": true - }, - "execution_count": null, - "outputs": [ - { - "name": "stdout", - "output_type": "stream", - "text": [ - "[1, 2, 3, 4, 5]\n" - ] - } - ], - "source": [ - "print(list(gen_2))\n" - ] - }, - { - "cell_type": "markdown", - "metadata": {}, - "source": [ - "\n", - "3\\.\n", - "\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - "array_3 = [1, 2, 3]\n", - "array_4 = [10, 20, 30]\n", - "gen = (i + j for i in array_3 for j in array_4)\n", - "\n", - "array_3 = [4, 5, 6]\n", - "array_4 = [400, 500, 600]\n" - ] - }, - { - "cell_type": "markdown", - "metadata": {}, - "source": [ - "\n", - "**Output:**\n" - ] - }, - { - "cell_type": "code", - "metadata": { - "collapsed": true - }, - "execution_count": null, - "outputs": [ - { - "name": "stdout", - "output_type": "stream", - "text": [ - "[401, 501, 601, 402, 502, 602, 403, 503, 603]\n" - ] - } - ], - "source": [ - "print(list(gen))\n" - ] - }, - { - "cell_type": "markdown", - "metadata": {}, - "source": [ - "\n" - ] - }, - { - "cell_type": "markdown", - "metadata": {}, - "source": [ - "#### \ud83d\udca1 Explanation\n", - "\n", - "- In a [generator](https://wiki.python.org/moin/Generators) expression, the `in` clause is evaluated at declaration time, but the conditional clause is evaluated at runtime.\n", - "- So before runtime, `array` is re-assigned to the list `[2, 8, 22]`, and since out of `1`, `8` and `15`, only the count of `8` is greater than `0`, the generator only yields `8`.\n", - "- The differences in the output of `g1` and `g2` in the second part is due the way variables `array_1` and `array_2` are re-assigned values.\n", - "- In the first case, `array_1` is binded to the new object `[1,2,3,4,5]` and since the `in` clause is evaluated at the declaration time it still refers to the old object `[1,2,3,4]` (which is not destroyed).\n", - "- In the second case, the slice assignment to `array_2` updates the same old object `[1,2,3,4]` to `[1,2,3,4,5]`. Hence both the `g2` and `array_2` still have reference to the same object (which has now been updated to `[1,2,3,4,5]`).\n", - "- Okay, going by the logic discussed so far, shouldn't be the value of `list(g)` in the third snippet be `[11, 21, 31, 12, 22, 32, 13, 23, 33]`? (because `array_3` and `array_4` are going to behave just like `array_1`). The reason why (only) `array_4` values got updated is explained in [PEP-289](https://www.python.org/dev/peps/pep-0289/#the-details)\n", - " \n", - " > Only the outermost for-expression is evaluated immediately, the other expressions are deferred until the generator is run.\n", + " So, `1 < 1` evaluates to `False`\n", "\n" ] }, @@ -2322,6 +1141,1588 @@ "\n" ] }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "### \u25b6 Hash brownies\n", + "1\\.\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "some_dict = {}\n", + "some_dict[5.5] = \"JavaScript\"\n", + "some_dict[5.0] = \"Ruby\"\n", + "some_dict[5] = \"Python\"\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "\n", + "**Output:**\n", + "\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + "\"JavaScript\"\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "some_dict[5.5]\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + "\"Python\"\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "some_dict[5.0] # \"Python\" destroyed the existence of \"Ruby\"?\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + "\"Python\"\n", + "\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "some_dict[5] \n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + "complex\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "complex_five = 5 + 0j\n", + "type(complex_five)\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + "\"Python\"\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "some_dict[complex_five]\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "\n", + "So, why is Python all over the place?\n", + "\n", + "\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "#### \ud83d\udca1 Explanation\n", + "\n", + "* Uniqueness of keys in a Python dictionary is by *equivalence*, not identity. So even though `5`, `5.0`, and `5 + 0j` are distinct objects of different types, since they're equal, they can't both be in the same `dict` (or `set`). As soon as you insert any one of them, attempting to look up any distinct but equivalent key will succeed with the original mapped value (rather than failing with a `KeyError`):\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + " True\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + " 5 == 5.0 == 5 + 0j\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + " True\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + " 5 is not 5.0 is not 5 + 0j\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + " True\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + " some_dict = {}\n", + " some_dict[5.0] = \"Ruby\"\n", + " 5.0 in some_dict\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + " True\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + " (5 in some_dict) and (5 + 0j in some_dict)\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "* This applies when setting an item as well. So when you do `some_dict[5] = \"Python\"`, Python finds the existing item with equivalent key `5.0 -> \"Ruby\"`, overwrites its value in place, and leaves the original key alone.\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + " {5.0: 'Ruby'}\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + " some_dict\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + " {5.0: 'Python'}\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + " some_dict[5] = \"Python\"\n", + " some_dict\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "* So how can we update the key to `5` (instead of `5.0`)? We can't actually do this update in place, but what we can do is first delete the key (`del some_dict[5.0]`), and then set it (`some_dict[5]`) to get the integer `5` as the key instead of floating `5.0`, though this should be needed in rare cases.\n", + "\n", + "* How did Python find `5` in a dictionary containing `5.0`? Python does this in constant time without having to scan through every item by using hash functions. When Python looks up a key `foo` in a dict, it first computes `hash(foo)` (which runs in constant-time). Since in Python it is required that objects that compare equal also have the same hash value ([docs](https://docs.python.org/3/reference/datamodel.html#object.__hash__) here), `5`, `5.0`, and `5 + 0j` have the same hash value.\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + " True\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + " 5 == 5.0 == 5 + 0j\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + " True\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + " hash(5) == hash(5.0) == hash(5 + 0j)\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + " **Note:** The inverse is not necessarily true: Objects with equal hash values may themselves be unequal. (This causes what's known as a [hash collision](https://en.wikipedia.org/wiki/Collision_(computer_science)), and degrades the constant-time performance that hashing usually provides.)\n", + "\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "### \u25b6 Deep down, we're all the same.\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "class WTF:\n", + " pass\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "\n", + "**Output:**\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + "False\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "WTF() == WTF() # two different instances can't be equal\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + "False\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "WTF() is WTF() # identities are also different\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + "True\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "hash(WTF()) == hash(WTF()) # hashes _should_ be different as well\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + "True\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "id(WTF()) == id(WTF())\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "#### \ud83d\udca1 Explanation:\n", + "\n", + "* When `id` was called, Python created a `WTF` class object and passed it to the `id` function. The `id` function takes its `id` (its memory location), and throws away the object. The object is destroyed.\n", + "* When we do this twice in succession, Python allocates the same memory location to this second object as well. Since (in CPython) `id` uses the memory location as the object id, the id of the two objects is the same.\n", + "* So, the object's id is unique only for the lifetime of the object. After the object is destroyed, or before it is created, something else can have the same id.\n", + "* But why did the `is` operator evaluated to `False`? Let's see with this snippet.\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + " class WTF(object):\n", + " def __init__(self): print(\"I\")\n", + " def __del__(self): print(\"D\")\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "\n", + " **Output:**\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + " I\n", + " I\n", + " D\n", + " D\n", + " False\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + " WTF() is WTF()\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + " I\n", + " D\n", + " I\n", + " D\n", + " True\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + " id(WTF()) == id(WTF())\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + " As you may observe, the order in which the objects are destroyed is what made all the difference here.\n", + "\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "### \u25b6 Disorder within order *\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "from collections import OrderedDict\n", + "\n", + "dictionary = dict()\n", + "dictionary[1] = 'a'; dictionary[2] = 'b';\n", + "\n", + "ordered_dict = OrderedDict()\n", + "ordered_dict[1] = 'a'; ordered_dict[2] = 'b';\n", + "\n", + "another_ordered_dict = OrderedDict()\n", + "another_ordered_dict[2] = 'b'; another_ordered_dict[1] = 'a';\n", + "\n", + "class DictWithHash(dict):\n", + " \"\"\"\n", + " A dict that also implements __hash__ magic.\n", + " \"\"\"\n", + " __hash__ = lambda self: 0\n", + "\n", + "class OrderedDictWithHash(OrderedDict):\n", + " \"\"\"\n", + " An OrderedDict that also implements __hash__ magic.\n", + " \"\"\"\n", + " __hash__ = lambda self: 0\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "\n", + "**Output**\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + "True\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "dictionary == ordered_dict # If a == b\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + "True\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "dictionary == another_ordered_dict # and b == c\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + "False\n", + "\n", + "# We all know that a set consists of only unique elements,\n", + "# let's try making a set of these dictionaries and see what happens...\n", + "\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "ordered_dict == another_ordered_dict # then why isn't c == a ??\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + "Traceback (most recent call last):\n", + " File \"\", line 1, in \n", + "TypeError: unhashable type: 'dict'\n", + "\n", + "# Makes sense since dict don't have __hash__ implemented, let's use\n", + "# our wrapper classes.\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "len({dictionary, ordered_dict, another_ordered_dict})\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + "1\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "dictionary = DictWithHash()\n", + "dictionary[1] = 'a'; dictionary[2] = 'b';\n", + "ordered_dict = OrderedDictWithHash()\n", + "ordered_dict[1] = 'a'; ordered_dict[2] = 'b';\n", + "another_ordered_dict = OrderedDictWithHash()\n", + "another_ordered_dict[2] = 'b'; another_ordered_dict[1] = 'a';\n", + "len({dictionary, ordered_dict, another_ordered_dict})\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + "2\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "len({ordered_dict, another_ordered_dict, dictionary}) # changing the order\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "\n", + "What is going on here?\n", + "\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "#### \ud83d\udca1 Explanation:\n", + "\n", + "- The reason why intransitive equality didn't hold among `dictionary`, `ordered_dict` and `another_ordered_dict` is because of the way `__eq__` method is implemented in `OrderedDict` class. From the [docs](https://docs.python.org/3/library/collections.html#ordereddict-objects)\n", + " \n", + " > Equality tests between OrderedDict objects are order-sensitive and are implemented as `list(od1.items())==list(od2.items())`. Equality tests between `OrderedDict` objects and other Mapping objects are order-insensitive like regular dictionaries.\n", + "- The reason for this equality in behavior is that it allows `OrderedDict` objects to be directly substituted anywhere a regular dictionary is used.\n", + "- Okay, so why did changing the order affect the length of the generated `set` object? The answer is the lack of intransitive equality only. Since sets are \"unordered\" collections of unique elements, the order in which elements are inserted shouldn't matter. But in this case, it does matter. Let's break it down a bit,\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + " True\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + " some_set = set()\n", + " some_set.add(dictionary) # these are the mapping objects from the snippets above\n", + " ordered_dict in some_set\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + " 1\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + " some_set.add(ordered_dict)\n", + " len(some_set)\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + " True\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + " another_ordered_dict in some_set\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + " 1\n", + "\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + " some_set.add(another_ordered_dict)\n", + " len(some_set)\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + " False\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + " another_set = set()\n", + " another_set.add(ordered_dict)\n", + " another_ordered_dict in another_set\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + " 2\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + " another_set.add(another_ordered_dict)\n", + " len(another_set)\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + " True\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + " dictionary in another_set\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + " 2\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + " another_set.add(another_ordered_dict)\n", + " len(another_set)\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + " So the inconsistency is due to `another_ordered_dict in another_set` being `False` because `ordered_dict` was already present in `another_set` and as observed before, `ordered_dict == another_ordered_dict` is `False`.\n", + "\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "### \u25b6 Keep trying... *\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "def some_func():\n", + " try:\n", + " return 'from_try'\n", + " finally:\n", + " return 'from_finally'\n", + "\n", + "def another_func(): \n", + " for _ in range(3):\n", + " try:\n", + " continue\n", + " finally:\n", + " print(\"Finally!\")\n", + "\n", + "def one_more_func(): # A gotcha!\n", + " try:\n", + " for i in range(3):\n", + " try:\n", + " 1 / i\n", + " except ZeroDivisionError:\n", + " # Let's throw it here and handle it outside for loop\n", + " raise ZeroDivisionError(\"A trivial divide by zero error\")\n", + " finally:\n", + " print(\"Iteration\", i)\n", + " break\n", + " except ZeroDivisionError as e:\n", + " print(\"Zero division error occurred\", e)\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "\n", + "**Output:**\n", + "\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + "'from_finally'\n", + "\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "some_func()\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + "Finally!\n", + "Finally!\n", + "Finally!\n", + "\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "another_func()\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + "Traceback (most recent call last):\n", + " File \"\", line 1, in \n", + "ZeroDivisionError: division by zero\n", + "\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "1 / 0\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + "Iteration 0\n", + "\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "one_more_func()\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "#### \ud83d\udca1 Explanation:\n", + "\n", + "- When a `return`, `break` or `continue` statement is executed in the `try` suite of a \"try\u2026finally\" statement, the `finally` clause is also executed on the way out.\n", + "- The return value of a function is determined by the last `return` statement executed. Since the `finally` clause always executes, a `return` statement executed in the `finally` clause will always be the last one executed.\n", + "- The caveat here is, if the finally clause executes a `return` or `break` statement, the temporarily saved exception is discarded.\n", + "\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "### \u25b6 For what?\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "some_string = \"wtf\"\n", + "some_dict = {}\n", + "for i, some_dict[i] in enumerate(some_string):\n", + " i = 10\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "\n", + "**Output:**\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + "{0: 'w', 1: 't', 2: 'f'}\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "some_dict # An indexed dict appears.\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "#### \ud83d\udca1 Explanation:\n", + "\n", + "* A `for` statement is defined in the [Python grammar](https://docs.python.org/3/reference/grammar.html) as:\n", + " ```\n", + " for_stmt: 'for' exprlist 'in' testlist ':' suite ['else' ':' suite]\n", + " ```\n", + " Where `exprlist` is the assignment target. This means that the equivalent of `{exprlist} = {next_value}` is **executed for each item** in the iterable.\n", + " An interesting example that illustrates this:\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + " for i in range(4):\n", + " print(i)\n", + " i = 10\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "\n", + " **Output:**\n", + " ```\n", + " 0\n", + " 1\n", + " 2\n", + " 3\n", + " ```\n", + "\n", + " Did you expect the loop to run just once?\n", + "\n", + " **\ud83d\udca1 Explanation:**\n", + "\n", + " - The assignment statement `i = 10` never affects the iterations of the loop because of the way for loops work in Python. Before the beginning of every iteration, the next item provided by the iterator (`range(4)` in this case) is unpacked and assigned the target list variables (`i` in this case).\n", + "\n", + "* The `enumerate(some_string)` function yields a new value `i` (a counter going up) and a character from the `some_string` in each iteration. It then sets the (just assigned) `i` key of the dictionary `some_dict` to that character. The unrolling of the loop can be simplified as:\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + " i, some_dict[i] = (0, 'w')\n", + " i, some_dict[i] = (1, 't')\n", + " i, some_dict[i] = (2, 'f')\n", + " some_dict\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "### \u25b6 Evaluation time discrepancy\n", + "1\\.\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "array = [1, 8, 15]\n", + "# A typical generator expression\n", + "gen = (x for x in array if array.count(x) > 0)\n", + "array = [2, 8, 22]\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "\n", + "**Output:**\n", + "\n" + ] + }, + { + "cell_type": "code", + "metadata": { + "collapsed": true + }, + "execution_count": null, + "outputs": [ + { + "name": "stdout", + "output_type": "stream", + "text": [ + "[8]\n" + ] + } + ], + "source": [ + "print(list(gen)) # Where did the other values go?\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "\n", + "2\\.\n", + "\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "array_1 = [1,2,3,4]\n", + "gen_1 = (x for x in array_1)\n", + "array_1 = [1,2,3,4,5]\n", + "\n", + "array_2 = [1,2,3,4]\n", + "gen_2 = (x for x in array_2)\n", + "array_2[:] = [1,2,3,4,5]\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "\n", + "**Output:**\n" + ] + }, + { + "cell_type": "code", + "metadata": { + "collapsed": true + }, + "execution_count": null, + "outputs": [ + { + "name": "stdout", + "output_type": "stream", + "text": [ + "[1, 2, 3, 4]\n", + "\n" + ] + } + ], + "source": [ + "print(list(gen_1))\n" + ] + }, + { + "cell_type": "code", + "metadata": { + "collapsed": true + }, + "execution_count": null, + "outputs": [ + { + "name": "stdout", + "output_type": "stream", + "text": [ + "[1, 2, 3, 4, 5]\n" + ] + } + ], + "source": [ + "print(list(gen_2))\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "\n", + "3\\.\n", + "\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "array_3 = [1, 2, 3]\n", + "array_4 = [10, 20, 30]\n", + "gen = (i + j for i in array_3 for j in array_4)\n", + "\n", + "array_3 = [4, 5, 6]\n", + "array_4 = [400, 500, 600]\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "\n", + "**Output:**\n" + ] + }, + { + "cell_type": "code", + "metadata": { + "collapsed": true + }, + "execution_count": null, + "outputs": [ + { + "name": "stdout", + "output_type": "stream", + "text": [ + "[401, 501, 601, 402, 502, 602, 403, 503, 603]\n" + ] + } + ], + "source": [ + "print(list(gen))\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "#### \ud83d\udca1 Explanation\n", + "\n", + "- In a [generator](https://wiki.python.org/moin/Generators) expression, the `in` clause is evaluated at declaration time, but the conditional clause is evaluated at runtime.\n", + "- So before runtime, `array` is re-assigned to the list `[2, 8, 22]`, and since out of `1`, `8` and `15`, only the count of `8` is greater than `0`, the generator only yields `8`.\n", + "- The differences in the output of `g1` and `g2` in the second part is due the way variables `array_1` and `array_2` are re-assigned values.\n", + "- In the first case, `array_1` is binded to the new object `[1,2,3,4,5]` and since the `in` clause is evaluated at the declaration time it still refers to the old object `[1,2,3,4]` (which is not destroyed).\n", + "- In the second case, the slice assignment to `array_2` updates the same old object `[1,2,3,4]` to `[1,2,3,4,5]`. Hence both the `g2` and `array_2` still have reference to the same object (which has now been updated to `[1,2,3,4,5]`).\n", + "- Okay, going by the logic discussed so far, shouldn't be the value of `list(g)` in the third snippet be `[11, 21, 31, 12, 22, 32, 13, 23, 33]`? (because `array_3` and `array_4` are going to behave just like `array_1`). The reason why (only) `array_4` values got updated is explained in [PEP-289](https://www.python.org/dev/peps/pep-0289/#the-details)\n", + " \n", + " > Only the outermost for-expression is evaluated immediately, the other expressions are deferred until the generator is run.\n", + "\n" + ] + }, { "cell_type": "markdown", "metadata": {}, @@ -2387,7 +2788,8 @@ "#### \ud83d\udca1 Explanation\n", "\n", "- `is not` is a single binary operator, and has behavior different than using `is` and `not` separated.\n", - "- `is not` evaluates to `False` if the variables on either side of the operator point to the same object and `True` otherwise.\n", + "- `is not` evaluates to `False` if the variables on either side of the operator point to the same object and `True` otherwise. \n", + "- In the example, `(not None)` evaluates to `True` since the value `None` is `False` in a boolean context, so the expression becomes `'something' is True`.\n", "\n" ] }, @@ -2536,11 +2938,11 @@ "\n", "When we initialize `row` variable, this visualization explains what happens in the memory\n", "\n", - "![image](https://raw.githubusercontent.com/satwikkansal/wtfpython/master/images/tic-tac-toe/after_row_initialized.png)\n", + "\"Shows\n", "\n", "And when the `board` is initialized by multiplying the `row`, this is what happens inside the memory (each of the elements `board[0]`, `board[1]` and `board[2]` is a reference to the same list referred by `row`)\n", "\n", - "![image](https://raw.githubusercontent.com/satwikkansal/wtfpython/master/images/tic-tac-toe/after_board_initialized.png)\n", + "\"Shows\n", "\n", "We can avoid this scenario here by not using `row` variable to generate `board`. (Asked in [this](https://github.com/satwikkansal/wtfpython/issues/68) issue).\n", "\n" @@ -2581,9 +2983,7 @@ "cell_type": "markdown", "metadata": {}, "source": [ - "### \u25b6 The sticky output function\n", - "1\\.\n", - "\n" + "### \u25b6 Schr\u00f6dinger's variable *\n" ] }, { @@ -2619,8 +3019,7 @@ "metadata": {}, "source": [ "\n", - "**Output:**\n", - "\n" + "**Output (Python version):**\n" ] }, { @@ -2671,9 +3070,10 @@ "cell_type": "markdown", "metadata": {}, "source": [ - "Even when the values of `x` were different in every iteration prior to appending `some_func` to `funcs`, all the functions return 6.\n", "\n", - "2\\.\n", + "The values of `x` were different in every iteration prior to appending `some_func` to `funcs`, but all the functions return 6 when they're evaluated after the loop completes.\n", + "\n", + "2.\n", "\n" ] }, @@ -2711,11 +3111,70 @@ "cell_type": "markdown", "metadata": {}, "source": [ - "#### \ud83d\udca1 Explanation\n", + "#### \ud83d\udca1 Explanation:\n", + "* When defining a function inside a loop that uses the loop variable in its body, the loop function's closure is bound to the *variable*, not its *value*. The function looks up `x` in the surrounding context, rather than using the value of `x` at the time the function is created. So all of the functions use the latest value assigned to the variable for computation. We can see that it's using the `x` from the surrounding context (i.e. *not* a local variable) with:\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + "ClosureVars(nonlocals={}, globals={'x': 6}, builtins={}, unbound=set())\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "import inspect\n", + "inspect.getclosurevals(funcs[0])\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "Since `x` is a global value, we can change the value that the `funcs` will lookup and return by updating `x`:\n", + "\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + "[42, 42, 42, 42, 42, 42, 42]\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "x = 42\n", + "[func() for func in funcs]\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ "\n", - "- When defining a function inside a loop that uses the loop variable in its body, the loop function's closure is bound to the variable, not its value. So all of the functions use the latest value assigned to the variable for computation.\n", - "\n", - "- To get the desired behavior you can pass in the loop variable as a named variable to the function. **Why this works?** Because this will define the variable again within the function's scope.\n", + "* To get the desired behavior you can pass in the loop variable as a named variable to the function. **Why does this work?** Because this will define the variable *inside* the function's scope. It will no longer go to the surrounding (global) scope to look up the variables value but will create a local variable that stores the value of `x` at that point in time.\n", "\n" ] }, @@ -2736,11 +3195,11 @@ } ], "source": [ - " funcs = []\n", - " for x in range(7):\n", - " def some_func(x=x):\n", - " return x\n", - " funcs.append(some_func)\n" + "funcs = []\n", + "for x in range(7):\n", + " def some_func(x=x):\n", + " return x\n", + " funcs.append(some_func)\n" ] }, { @@ -2748,7 +3207,8 @@ "metadata": {}, "source": [ "\n", - " **Output:**\n" + "**Output:**\n", + "\n" ] }, { @@ -2761,7 +3221,7 @@ { "data": { "text/plain": [ - " [0, 1, 2, 3, 4, 5, 6]\n" + "[0, 1, 2, 3, 4, 5, 6]\n" ] }, "output_type": "execute_result", @@ -2770,8 +3230,39 @@ } ], "source": [ - " funcs_results = [func() for func in funcs]\n", - " funcs_results\n" + "funcs_results = [func() for func in funcs]\n", + "funcs_results\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "\n", + "It is not longer using the `x` in the global scope:\n", + "\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + "ClosureVars(nonlocals={}, globals={}, builtins={}, unbound=set())\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "inspect.getclosurevars(funcs[0])\n" ] }, { @@ -3129,6 +3620,481 @@ "\n" ] }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "### \u25b6 Methods equality and identity\n", + "1.\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "class SomeClass:\n", + " def method(self):\n", + " pass\n", + "\n", + " @classmethod\n", + " def classm(cls):\n", + " pass\n", + "\n", + " @staticmethod\n", + " def staticm():\n", + " pass\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "\n", + "**Output:**\n" + ] + }, + { + "cell_type": "code", + "metadata": { + "collapsed": true + }, + "execution_count": null, + "outputs": [ + { + "name": "stdout", + "output_type": "stream", + "text": [ + "True\n" + ] + } + ], + "source": [ + "print(SomeClass.method is SomeClass.method)\n" + ] + }, + { + "cell_type": "code", + "metadata": { + "collapsed": true + }, + "execution_count": null, + "outputs": [ + { + "name": "stdout", + "output_type": "stream", + "text": [ + "False\n" + ] + } + ], + "source": [ + "print(SomeClass.classm is SomeClass.classm)\n" + ] + }, + { + "cell_type": "code", + "metadata": { + "collapsed": true + }, + "execution_count": null, + "outputs": [ + { + "name": "stdout", + "output_type": "stream", + "text": [ + "True\n" + ] + } + ], + "source": [ + "print(SomeClass.classm == SomeClass.classm)\n" + ] + }, + { + "cell_type": "code", + "metadata": { + "collapsed": true + }, + "execution_count": null, + "outputs": [ + { + "name": "stdout", + "output_type": "stream", + "text": [ + "True\n" + ] + } + ], + "source": [ + "print(SomeClass.staticm is SomeClass.staticm)\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "\n", + "Accessing `classm` twice, we get an equal object, but not the *same* one? Let's see what happens\n", + "with instances of `SomeClass`:\n", + "\n", + "2.\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "o1 = SomeClass()\n", + "o2 = SomeClass()\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "\n", + "**Output:**\n" + ] + }, + { + "cell_type": "code", + "metadata": { + "collapsed": true + }, + "execution_count": null, + "outputs": [ + { + "name": "stdout", + "output_type": "stream", + "text": [ + "False\n" + ] + } + ], + "source": [ + "print(o1.method == o2.method)\n" + ] + }, + { + "cell_type": "code", + "metadata": { + "collapsed": true + }, + "execution_count": null, + "outputs": [ + { + "name": "stdout", + "output_type": "stream", + "text": [ + "True\n" + ] + } + ], + "source": [ + "print(o1.method == o1.method)\n" + ] + }, + { + "cell_type": "code", + "metadata": { + "collapsed": true + }, + "execution_count": null, + "outputs": [ + { + "name": "stdout", + "output_type": "stream", + "text": [ + "False\n" + ] + } + ], + "source": [ + "print(o1.method is o1.method)\n" + ] + }, + { + "cell_type": "code", + "metadata": { + "collapsed": true + }, + "execution_count": null, + "outputs": [ + { + "name": "stdout", + "output_type": "stream", + "text": [ + "False\n" + ] + } + ], + "source": [ + "print(o1.classm is o1.classm)\n" + ] + }, + { + "cell_type": "code", + "metadata": { + "collapsed": true + }, + "execution_count": null, + "outputs": [ + { + "name": "stdout", + "output_type": "stream", + "text": [ + "True\n" + ] + } + ], + "source": [ + "print(o1.classm == o1.classm == o2.classm == SomeClass.classm)\n" + ] + }, + { + "cell_type": "code", + "metadata": { + "collapsed": true + }, + "execution_count": null, + "outputs": [ + { + "name": "stdout", + "output_type": "stream", + "text": [ + "True\n" + ] + } + ], + "source": [ + "print(o1.staticm is o1.staticm is o2.staticm is SomeClass.staticm)\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "\n", + "Accessing` classm` or `method` twice, creates equal but not *same* objects for the same instance of `SomeClass`.\n", + "\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "#### \ud83d\udca1 Explanation\n", + "* Functions are [descriptors](https://docs.python.org/3/howto/descriptor.html). Whenever a function is accessed as an\n", + "attribute, the descriptor is invoked, creating a method object which \"binds\" the function with the object owning the\n", + "attribute. If called, the method calls the function, implicitly passing the bound object as the first argument\n", + "(this is how we get `self` as the first argument, despite not passing it explicitly).\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + ">\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "o1.method\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "* Accessing the attribute multiple times creates a method object every time! Therefore `o1.method is o1.method` is\n", + "never truthy. Accessing functions as class attributes (as opposed to instance) does not create methods, however; so\n", + "`SomeClass.method is SomeClass.method` is truthy.\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + "\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "SomeClass.method\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "* `classmethod` transforms functions into class methods. Class methods are descriptors that, when accessed, create\n", + "a method object which binds the *class* (type) of the object, instead of the object itself.\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + ">\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "o1.classm\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "* Unlike functions, `classmethod`s will create a method also when accessed as class attributes (in which case they\n", + "bind the class, not to the type of it). So `SomeClass.classm is SomeClass.classm` is falsy.\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + ">\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "SomeClass.classm\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "* A method object compares equal when both the functions are equal, and the bound objects are the same. So\n", + "`o1.method == o1.method` is truthy, although not the same object in memory.\n", + "* `staticmethod` transforms functions into a \"no-op\" descriptor, which returns the function as-is. No method\n", + "objects are ever created, so comparison with `is` is truthy.\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + "\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "o1.staticm\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + "\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "SomeClass.staticm\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "* Having to create new \"method\" objects every time Python calls instance methods and having to modify the arguments\n", + "every time in order to insert `self` affected performance badly.\n", + "CPython 3.7 [solved it](https://bugs.python.org/issue26110) by introducing new opcodes that deal with calling methods\n", + "without creating the temporary method objects. This is used only when the accessed function is actually called, so the\n", + "snippets here are not affected, and still generate methods :)\n", + "\n" + ] + }, { "cell_type": "markdown", "metadata": {}, @@ -3491,7 +4457,7 @@ } ], "source": [ - " 'wt\\\"f'\n" + " \"wt\\\"f\"\n" ] }, { @@ -3578,7 +4544,7 @@ { "data": { "text/plain": [ - " '\\\\\\\\n'\n" + " '\\\\n'\n" ] }, "output_type": "execute_result", @@ -3786,7 +4752,7 @@ "metadata": {}, "source": [ "#### \ud83d\udca1 Explanation:\n", - "+ Python supports implicit [string literal concatenation](https://docs.python.org/2/reference/lexical_analysis.html#string-literal-concatenation), Example,\n", + "+ Python supports implicit [string literal concatenation](https://docs.python.org/3/reference/lexical_analysis.html#string-literal-concatenation), Example,\n", " ```\n", " >>> print(\"wtf\" \"python\")\n", " wtfpython\n", @@ -4539,186 +5505,6 @@ "\n" ] }, - { - "cell_type": "markdown", - "metadata": {}, - "source": [ - "### \u25b6 Non-reflexive class method *\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - "class SomeClass:\n", - " def instance_method(self):\n", - " pass\n", - " \n", - " @classmethod\n", - " def class_method(cls):\n", - " pass\n" - ] - }, - { - "cell_type": "markdown", - "metadata": {}, - "source": [ - "\n", - "**Output:**\n", - "\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [ - "True\n" - ] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - "SomeClass.instance_method is SomeClass.instance_method\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [ - "False\n" - ] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - "SomeClass.class_method is SomeClass.class_method\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [ - "True\n" - ] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - "id(SomeClass.class_method) == id(SomeClass.class_method)\n" - ] - }, - { - "cell_type": "markdown", - "metadata": {}, - "source": [ - "\n" - ] - }, - { - "cell_type": "markdown", - "metadata": {}, - "source": [ - "#### \ud83d\udca1 Explanation:\n", - "\n", - "- The reason `SomeClass.class_method is SomeClass.class_method` is `False` is due to the `@classmethod` decorator. \n", - "\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [ - " \n" - ] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - " SomeClass.instance_method\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [ - " \n" - ] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - " SomeClass.class_method\n" - ] - }, - { - "cell_type": "markdown", - "metadata": {}, - "source": [ - "\n", - " A new bound method every time `SomeClass.class_method` is accessed.\n", - "\n", - "- `id(SomeClass.class_method) == id(SomeClass.class_method)` returned `True` because the second allocation of memory for `class_method` happened at the same location of first deallocation (See Deep Down, we're all the same example for more detailed explanation). \n", - "\n" - ] - }, { "cell_type": "markdown", "metadata": {}, @@ -4882,7 +5668,7 @@ "#### \ud83d\udca1 Explanation:\n", "- This is a bug in CPython's handling of `yield` in generators and comprehensions.\n", "- Source and explanation can be found here: https://stackoverflow.com/questions/32139885/yield-in-list-comprehensions-and-generator-expressions\n", - "- Related bug report: http://bugs.python.org/issue10544\n", + "- Related bug report: https://bugs.python.org/issue10544\n", "- Python 3.8+ no longer allows `yield` inside list comprehension and will throw a `SyntaxError`.\n", "\n" ] @@ -5682,12 +6468,13 @@ "source": [ "#### \ud83d\udca1 Explanation:\n", "\n", - "* Quoting from https://docs.python.org/2/reference/datamodel.html\n", + "* Quoting from https://docs.python.org/3/reference/datamodel.html\n", "\n", " > Immutable sequences\n", " An object of an immutable sequence type cannot change once it is created. (If the object contains references to other objects, these other objects may be mutable and may be modified; however, the collection of objects directly referenced by an immutable object cannot change.)\n", "\n", "* `+=` operator changes the list in-place. The item assignment doesn't work, but when the exception occurs, the item has already been changed in place.\n", + "* There's also an explanation in [official Python FAQ](https://docs.python.org/3/faq/programming.html#why-does-a-tuple-i-item-raise-an-exception-when-the-addition-works).\n", "\n" ] }, @@ -6291,7 +7078,7 @@ "source": [ "#### \ud83d\udca1 Explanation:\n", "\n", - "* According to [Python language reference](https://docs.python.org/2/reference/simple_stmts.html#assignment-statements), assignment statements have the form\n", + "* According to [Python language reference](https://docs.python.org/3/reference/simple_stmts.html#assignment-statements), assignment statements have the form\n", " ```\n", " (target_list \"=\")+ (expression_list | yield_expression)\n", " ```\n", @@ -6529,7 +7316,7 @@ "* It runs eight times because that's the point at which the dictionary resizes to hold more keys (we have eight deletion entries, so a resize is needed). This is actually an implementation detail.\n", "* How deleted keys are handled and when the resize occurs might be different for different Python implementations.\n", "* So for Python versions other than Python 2.7 - Python 3.5, the count might be different from 8 (but whatever the count is, it's going to be the same every time you run it). You can find some discussion around this [here](https://github.com/satwikkansal/wtfpython/issues/53) or in [this](https://stackoverflow.com/questions/44763802/bug-in-python-dict) StackOverflow thread.\n", - "* Python 3.8 onwards, you'll see `RuntimeError: dictionary keys changed during iteration` exception if you try to do this.\n", + "* Python 3.7.6 onwards, you'll see `RuntimeError: dictionary keys changed during iteration` exception if you try to do this.\n", "\n" ] }, @@ -6537,7 +7324,8 @@ "cell_type": "markdown", "metadata": {}, "source": [ - "### \u25b6 The out of scope variable\n" + "### \u25b6 The out of scope variable\n", + "1\\.\n" ] }, { @@ -6566,6 +7354,45 @@ " return a\n" ] }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "\n", + "2\\.\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "def some_closure_func():\n", + " a = 1\n", + " def some_inner_func():\n", + " return a\n", + " return some_inner_func()\n", + "\n", + "def another_closure_func():\n", + " a = 1\n", + " def another_inner_func():\n", + " a += 1\n", + " return a\n", + " return another_inner_func()\n" + ] + }, { "cell_type": "markdown", "metadata": {}, @@ -6606,7 +7433,8 @@ { "data": { "text/plain": [ - "UnboundLocalError: local variable 'a' referenced before assignment\n" + "UnboundLocalError: local variable 'a' referenced before assignment\n", + "\n" ] }, "output_type": "execute_result", @@ -6618,6 +7446,50 @@ "another_func()\n" ] }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + "1\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "some_closure_func()\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + "UnboundLocalError: local variable 'a' referenced before assignment\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "another_closure_func()\n" + ] + }, { "cell_type": "markdown", "metadata": {}, @@ -6630,9 +7502,8 @@ "metadata": {}, "source": [ "#### \ud83d\udca1 Explanation:\n", - "* When you make an assignment to a variable in scope, it becomes local to that scope. So `a` becomes local to the scope of `another_func`, but it has not been initialized previously in the same scope, which throws an error.\n", - "* Read [this](http://sebastianraschka.com/Articles/2014_python_scope_and_namespaces.html) short but an awesome guide to learn more about how namespaces and scope resolution works in Python.\n", - "* To modify the outer scope variable `a` in `another_func`, use `global` keyword.\n" + "* When you make an assignment to a variable in scope, it becomes local to that scope. So `a` becomes local to the scope of `another_func`, but it has not been initialized previously in the same scope, which throws an error.\n", + "* To modify the outer scope variable `a` in `another_func`, we have to use the `global` keyword.\n" ] }, { @@ -6692,6 +7563,72 @@ "cell_type": "markdown", "metadata": {}, "source": [ + "* In `another_closure_func`, `a` becomes local to the scope of `another_inner_func`, but it has not been initialized previously in the same scope, which is why it throws an error. \n", + "* To modify the outer scope variable `a` in `another_inner_func`, use the `nonlocal` keyword. The nonlocal statement is used to refer to variables defined in the nearest outer (excluding the global) scope.\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + " def another_func():\n", + " a = 1\n", + " def another_inner_func():\n", + " nonlocal a\n", + " a += 1\n", + " return a\n", + " return another_inner_func()\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "\n", + " **Output:**\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + " 2\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + " another_func()\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "* The keywords `global` and `nonlocal` tell the python interpreter to not delcare new variables and look them up in the corresponding outer scopes.\n", + "* Read [this](https://sebastianraschka.com/Articles/2014_python_scope_and_namespaces.html) short but an awesome guide to learn more about how namespaces and scope resolution works in Python.\n", "\n" ] }, @@ -7064,7 +8001,7 @@ "cell_type": "markdown", "metadata": {}, "source": [ - "- So the function takes in arbitrary number of itreable objects, adds each of their items to the `result` list by calling the `next` function on them, and stops whenever any of the iterable is exhausted. \n", + "- So the function takes in arbitrary number of iterable objects, adds each of their items to the `result` list by calling the `next` function on them, and stops whenever any of the iterable is exhausted. \n", "- The caveat here is when any iterable is exhausted, the existing elements in the `result` list are discarded. That's what happened with `3` in the `numbers_iter`.\n", "- The correct way to do the above using `zip` would be,\n" ] @@ -7648,7 +8585,7 @@ ], "source": [ " def some_func(default_arg=None):\n", - " if not default_arg:\n", + " if default_arg is None:\n", " default_arg = []\n", " default_arg.append(\"some_string\")\n", " return default_arg\n" @@ -8068,268 +9005,6 @@ "\n" ] }, - { - "cell_type": "markdown", - "metadata": {}, - "source": [ - "### \u25b6 Be careful with chained operations\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [ - "False\n" - ] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - "(False == False) in [False] # makes sense\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [ - "False\n" - ] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - "False == (False in [False]) # makes sense\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [ - "True\n", - "\n" - ] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - "False == False in [False] # now what?\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [ - "False\n" - ] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - "True is False == False\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [ - "True\n", - "\n" - ] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - "False is False is False\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [ - "True\n" - ] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - "1 > 0 < 1\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [ - "False\n" - ] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - "(1 > 0) < 1\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [ - "False\n" - ] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - "1 > (0 < 1)\n" - ] - }, - { - "cell_type": "markdown", - "metadata": {}, - "source": [ - "\n" - ] - }, - { - "cell_type": "markdown", - "metadata": {}, - "source": [ - "#### \ud83d\udca1 Explanation:\n", - "\n", - "As per https://docs.python.org/2/reference/expressions.html#not-in\n", - "\n", - "> Formally, if a, b, c, ..., y, z are expressions and op1, op2, ..., opN are comparison operators, then a op1 b op2 c ... y opN z is equivalent to a op1 b and b op2 c and ... y opN z, except that each expression is evaluated at most once.\n", - "\n", - "While such behavior might seem silly to you in the above examples, it's fantastic with stuff like `a == b == c` and `0 <= x <= 100`.\n", - "\n", - "* `False is False is False` is equivalent to `(False is False) and (False is False)`\n", - "* `True is False == False` is equivalent to `True is False and False == False` and since the first part of the statement (`True is False`) evaluates to `False`, the overall expression evaluates to `False`.\n", - "* `1 > 0 < 1` is equivalent to `1 > 0 and 0 < 1` which evaluates to `True`.\n", - "* The expression `(1 > 0) < 1` is equivalent to `True < 1` and\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [ - " 1\n" - ] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - " int(True)\n" - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "collapsed": true - }, - "outputs": [ - { - "data": { - "text/plain": [ - " 2\n" - ] - }, - "output_type": "execute_result", - "metadata": {}, - "execution_count": null - } - ], - "source": [ - " True + 1 #not relevant for this example, but just for fun\n" - ] - }, - { - "cell_type": "markdown", - "metadata": {}, - "source": [ - " So, `1 < 1` evaluates to `False`\n", - "\n" - ] - }, { "cell_type": "markdown", "metadata": {}, @@ -8853,17 +9528,17 @@ "source": [ "def some_recursive_func(a):\n", " if a[0] == 0:\n", - " return \n", + " return\n", " a[0] -= 1\n", " some_recursive_func(a)\n", " return a\n", "\n", "def similar_recursive_func(a):\n", - " if a == 0:\n", - " return a\n", - " a -= 1\n", - " similar_recursive_func(a)\n", - " return a\n" + " if a == 0:\n", + " return a\n", + " a -= 1\n", + " similar_recursive_func(a)\n", + " return a\n" ] }, { @@ -9035,7 +9710,7 @@ "text/plain": [ " Traceback (most recent call last):\n", " File \"\", line 1, in \n", - " AssertionError: Values aren not equal\n" + " AssertionError: Values are not equal\n" ] }, "output_type": "execute_result", @@ -9052,9 +9727,9 @@ "metadata": {}, "source": [ "\n", - "* As for the fifth snippet, most methods that modify the items of sequence/mapping objects like `list.append`, `dict.update`, `list.sort`, etc. modify the objects in-place and return `None`. The rationale behind this is to improve performance by avoiding making a copy of the object if the operation can be done in-place (Referred from [here](http://docs.python.org/2/faq/design.html#why-doesn-t-list-sort-return-the-sorted-list)).\n", + "* As for the fifth snippet, most methods that modify the items of sequence/mapping objects like `list.append`, `dict.update`, `list.sort`, etc. modify the objects in-place and return `None`. The rationale behind this is to improve performance by avoiding making a copy of the object if the operation can be done in-place (Referred from [here](https://docs.python.org/3/faq/design.html#why-doesn-t-list-sort-return-the-sorted-list)).\n", "\n", - "* Last one should be fairly obvious, passing mutable object (like `list` ) results in a call by reference, whereas an immutable object (like `int`) results in a call by value.\n", + "* Last one should be fairly obvious, mutable object (like `list`) can be altered in the function, and the reassignation of an immutable (`a -= 1`) is not an alteration of the value.\n", "\n", "* Being aware of these nitpicks can save you hours of debugging effort in the long run. \n", "\n" @@ -9174,7 +9849,7 @@ "source": [ "#### \ud83d\udca1 Explanation:\n", "\n", - "- It might appear at first that the default separator for split is a single space `' '`, but as per the [docs](https://docs.python.org/2.7/library/stdtypes.html#str.split)\n", + "- It might appear at first that the default separator for split is a single space `' '`, but as per the [docs](https://docs.python.org/3/library/stdtypes.html#str.split)\n", " > If sep is not specified or is `None`, a different splitting algorithm is applied: runs of consecutive whitespace are regarded as a single separator, and the result will contain no empty strings at the start or end if the string has leading or trailing whitespace. Consequently, splitting an empty string or a string consisting of just whitespace with a None separator returns `[]`.\n", " > If sep is given, consecutive delimiters are not grouped together and are deemed to delimit empty strings (for example, `'1,,2'.split(',')` returns `['1', '', '2']`). Splitting an empty string with a specified separator returns `['']`.\n", "- Noticing how the leading and trailing whitespaces are handled in the following snippet will make things clear,\n" @@ -9520,7 +10195,7 @@ "source": [ "#### \ud83d\udca1 Explanation:\n", "+ `antigravity` module is one of the few easter eggs released by Python developers.\n", - "+ `import antigravity` opens up a web browser pointing to the [classic XKCD comic](http://xkcd.com/353/) about Python.\n", + "+ `import antigravity` opens up a web browser pointing to the [classic XKCD comic](https://xkcd.com/353/) about Python.\n", "+ Well, there's more to it. There's **another easter egg inside the easter egg**. If you look at the [code](https://github.com/python/cpython/blob/master/Lib/antigravity.py#L7-L17), there's a function defined that purports to implement the [XKCD's geohashing algorithm](https://xkcd.com/426/).\n", "\n" ] @@ -10707,6 +11382,31 @@ "**Output:**\n" ] }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + "Traceback (most recent call last):\n", + " File \"\", line 1, in \n", + "AttributeError: 'A' object has no attribute '__variable'\n", + "\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "A().__variable\n" + ] + }, { "cell_type": "code", "execution_count": null, @@ -10726,10 +11426,6 @@ } ], "source": [ - "Traceback (most recent call last):\n", - " File \"\", line 1, in \n", - "AttributeError: 'A' object has no attribute '__variable'\n", - "\n", "A().some_func()\n" ] }, @@ -10933,7 +11629,7 @@ } ], "source": [ - "# `pip install nump` first.\n", + "# `pip install numpy` first.\n", "import numpy as np\n", "\n", "def energy_send(x):\n", @@ -11562,6 +12258,441 @@ "\n" ] }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "### \u25b6 Slowing down `dict` lookups *\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "some_dict = {str(i): 1 for i in range(1_000_000)}\n", + "another_dict = {str(i): 1 for i in range(1_000_000)}\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "\n", + "**Output:**\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + "28.6 ns \u00b1 0.115 ns per loop (mean \u00b1 std. dev. of 7 runs, 10000000 loops each)\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "%timeit some_dict['5']\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + "37.2 ns \u00b1 0.265 ns per loop (mean \u00b1 std. dev. of 7 runs, 10000000 loops each)\n", + "\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "some_dict[1] = 1\n", + "%timeit some_dict['5']\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + "28.5 ns \u00b1 0.142 ns per loop (mean \u00b1 std. dev. of 7 runs, 10000000 loops each)\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "%timeit another_dict['5']\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + "Traceback (most recent call last):\n", + " File \"\", line 1, in \n", + "KeyError: 1\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "another_dict[1] # Trying to access a key that doesn't exist\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + "38.5 ns \u00b1 0.0913 ns per loop (mean \u00b1 std. dev. of 7 runs, 10000000 loops each)\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "%timeit another_dict['5']\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "Why are same lookups becoming slower?\n", + "\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "#### \ud83d\udca1 Explanation:\n", + "+ CPython has a generic dictionary lookup function that handles all types of keys (`str`, `int`, any object ...), and a specialized one for the common case of dictionaries composed of `str`-only keys.\n", + "+ The specialized function (named `lookdict_unicode` in CPython's [source](https://github.com/python/cpython/blob/522691c46e2ae51faaad5bbbce7d959dd61770df/Objects/dictobject.c#L841)) knows all existing keys (including the looked-up key) are strings, and uses the faster & simpler string comparison to compare keys, instead of calling the `__eq__` method.\n", + "+ The first time a `dict` instance is accessed with a non-`str` key, it's modified so future lookups use the generic function.\n", + "+ This process is not reversible for the particular `dict` instance, and the key doesn't even have to exist in the dictionary. That's why attempting a failed lookup has the same effect.\n", + "\n", + "\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "### \u25b6 Bloating instance `dict`s *\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "import sys\n", + "\n", + "class SomeClass:\n", + " def __init__(self):\n", + " self.some_attr1 = 1\n", + " self.some_attr2 = 2\n", + " self.some_attr3 = 3\n", + " self.some_attr4 = 4\n", + "\n", + "\n", + "def dict_size(o):\n", + " return sys.getsizeof(o.__dict__)\n", + "\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "\n", + "**Output:** (Python 3.8, other Python 3 versions may vary a little)\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + "104\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "o1 = SomeClass()\n", + "o2 = SomeClass()\n", + "dict_size(o1)\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + "104\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "dict_size(o2)\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + "232\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "del o1.some_attr1\n", + "o3 = SomeClass()\n", + "dict_size(o3)\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + "232\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "dict_size(o1)\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "\n", + "Let's try again... In a new interpreter:\n", + "\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + "104 # as expected\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "o1 = SomeClass()\n", + "o2 = SomeClass()\n", + "dict_size(o1)\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + "360\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "o1.some_attr5 = 5\n", + "o1.some_attr6 = 6\n", + "dict_size(o1)\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + "272\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "dict_size(o2)\n" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "collapsed": true + }, + "outputs": [ + { + "data": { + "text/plain": [ + "232\n" + ] + }, + "output_type": "execute_result", + "metadata": {}, + "execution_count": null + } + ], + "source": [ + "o3 = SomeClass()\n", + "dict_size(o3)\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "\n", + "What makes those dictionaries become bloated? And why are newly created objects bloated as well?\n", + "\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "#### \ud83d\udca1 Explanation:\n", + "+ CPython is able to reuse the same \"keys\" object in multiple dictionaries. This was added in [PEP 412](https://www.python.org/dev/peps/pep-0412/) with the motivation to reduce memory usage, specifically in dictionaries of instances - where keys (instance attributes) tend to be common to all instances.\n", + "+ This optimization is entirely seamless for instance dictionaries, but it is disabled if certain assumptions are broken.\n", + "+ Key-sharing dictionaries do not support deletion; if an instance attribute is deleted, the dictionary is \"unshared\", and key-sharing is disabled for all future instances of the same class.\n", + "+ Additionaly, if the dictionary keys have be resized (because new keys are inserted), they are kept shared *only* if they are used by a exactly single dictionary (this allows adding many attributes in the `__init__` of the very first created instance, without causing an \"unshare\"). If multiple instances exist when a resize happens, key-sharing is disabled for all future instances of the same class: CPython can't tell if your instances are using the same set of attributes anymore, and decides to bail out on attempting to share their keys.\n", + "+ A small tip, if you aim to lower your program's memory footprint: don't delete instance attributes, and make sure to initialize all attributes in your `__init__`!\n", + "\n", + "\n" + ] + }, { "cell_type": "markdown", "metadata": {}, @@ -11636,7 +12767,7 @@ " ```py\n", " >>> some_string = \"wtfpython\"\n", " >>> f'{some_string=}'\n", - " \"string='wtfpython'\"\n", + " \"some_string='wtfpython'\"\n", " ``` \n", "\n", "* Python uses 2 bytes for local variable storage in functions. In theory, this means that only 65536 variables can be defined in a function. However, python has a handy solution built in that can be used to store more than 2^16 variable names. The following code demonstrates what happens in the stack when more than 65536 local variables are defined (Warning: This code prints around 2^18 lines of text, so be prepared!):\n", @@ -11653,7 +12784,7 @@ " print(dis.dis(f))\n", " ```\n", " \n", - "* Multiple Python threads won't run your *Python code* concurrently (yes, you heard it right!). It may seem intuitive to spawn several threads and let them execute your Python code concurrently, but, because of the [Global Interpreter Lock](https://wiki.python.org/moin/GlobalInterpreterLock) in Python, all you're doing is making your threads execute on the same core turn by turn. Python threads are good for IO-bound tasks, but to achieve actual parallelization in Python for CPU-bound tasks, you might want to use the Python [multiprocessing](https://docs.python.org/2/library/multiprocessing.html) module.\n", + "* Multiple Python threads won't run your *Python code* concurrently (yes, you heard it right!). It may seem intuitive to spawn several threads and let them execute your Python code concurrently, but, because of the [Global Interpreter Lock](https://wiki.python.org/moin/GlobalInterpreterLock) in Python, all you're doing is making your threads execute on the same core turn by turn. Python threads are good for IO-bound tasks, but to achieve actual parallelization in Python for CPU-bound tasks, you might want to use the Python [multiprocessing](https://docs.python.org/3/library/multiprocessing.html) module.\n", "\n", "* Sometimes, the `print` method might not print values immediately. For example,\n", "\n", @@ -11665,7 +12796,7 @@ " time.sleep(3)\n", " ```\n", "\n", - " This will print the `wtfpython` after 10 seconds due to the `end` argument because the output buffer is flushed either after encountering `\\n` or when the program finishes execution. We can force the buffer to flush by passing `flush=True` argument.\n", + " This will print the `wtfpython` after 3 seconds due to the `end` argument because the output buffer is flushed either after encountering `\\n` or when the program finishes execution. We can force the buffer to flush by passing `flush=True` argument.\n", "\n", "* List slicing with out of the bounds indices throws no errors\n", " ```py\n", @@ -11684,7 +12815,7 @@ " True\n", " ```\n", "\n", - "* `int('\u0661\u0662\u0663\u0664\u0665\u0666\u0667\u0668\u0669')` returns `123456789` in Python 3. In Python, Decimal characters include digit characters, and all characters that can be used to form decimal-radix numbers, e.g. U+0660, ARABIC-INDIC DIGIT ZERO. Here's an [interesting story](http://chris.improbable.org/2014/8/25/adventures-in-unicode-digits/) related to this behavior of Python.\n", + "* `int('\u0661\u0662\u0663\u0664\u0665\u0666\u0667\u0668\u0669')` returns `123456789` in Python 3. In Python, Decimal characters include digit characters, and all characters that can be used to form decimal-radix numbers, e.g. U+0660, ARABIC-INDIC DIGIT ZERO. Here's an [interesting story](https://chris.improbable.org/2014/8/25/adventures-in-unicode-digits/) related to this behavior of Python.\n", "\n", "* You can separate numeric literals with underscores (for better readability) from Python 3 onwards.\n", "\n", @@ -11706,8 +12837,6 @@ " return result\n", " ```\n", " The behavior is due to the matching of empty substring(`''`) with slices of length 0 in the original string.\n", - "\n", - "**That's all folks!**\n", "\n" ] }, @@ -11760,6 +12889,17 @@ "source": [ "```py\n", ">>> (a := \"wtf_walrus\") # This works though\n", + "```\n", + "```py\n", + "'wtf_walrus'\n", + "```\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "```py\n", ">>> a\n", "```\n", "```py\n", @@ -11798,6 +12938,17 @@ "source": [ "```py\n", ">>> (a := 6, 9)\n", + "```\n", + "```py\n", + "(6, 9)\n", + "```\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "```py\n", ">>> a\n", "```\n", "```py\n", @@ -11954,7 +13105,7 @@ "\n", "- As usual, parenthesizing of an expression containing `=` operator is not allowed. Hence the syntax error in `(a, b = 6, 9)`. \n", "\n", - "- The syntax of the Walrus operator is of the form `NAME: expr`, where `NAME` is a valid identifier, and `expr` is a valid expression. Hence, iterable packing and unpacking are not supported which means, \n", + "- The syntax of the Walrus operator is of the form `NAME:= expr`, where `NAME` is a valid identifier, and `expr` is a valid expression. Hence, iterable packing and unpacking are not supported which means, \n", "\n", " - `(a := 6, 9)` is equivalent to `((a := 6), 9)` and ultimately `(a, 9) ` (where `a`'s value is 6')\n", "\n" @@ -12055,7 +13206,7 @@ "metadata": {}, "source": [ "\n", - "Phew, deleted at last. You might have guessed what saved from `__del__` being called in our first attempt to delete `x`. Let's add more twists to the example.\n", + "Phew, deleted at last. You might have guessed what saved `__del__` from being called in our first attempt to delete `x`. Let's add more twists to the example.\n", "\n", "2\\.\n" ] @@ -12104,9 +13255,9 @@ "source": [ "#### \ud83d\udca1 Explanation:\n", "+ `del x` doesn\u2019t directly call `x.__del__()`.\n", - "+ Whenever `del x` is encountered, Python decrements the reference count for `x` by one, and `x.__del__()` when x\u2019s reference count reaches zero.\n", - "+ In the second output snippet, `y.__del__()` was not called because the previous statement (`>>> y`) in the interactive interpreter created another reference to the same object, thus preventing the reference count from reaching zero when `del y` was encountered.\n", - "+ Calling `globals` caused the existing reference to be destroyed, and hence we can see \"Deleted!\" being printed (finally!).\n", + "+ When `del x` is encountered, Python deletes the name `x` from current scope and decrements by 1 the reference count of the object `x` referenced. `__del__()` is called only when the object's reference count reaches zero.\n", + "+ In the second output snippet, `__del__()` was not called because the previous statement (`>>> y`) in the interactive interpreter created another reference to the same object (specifically, the `_` magic variable which references the result value of the last non `None` expression on the REPL), thus preventing the reference count from reaching zero when `del y` was encountered.\n", + "+ Calling `globals` (or really, executing anything that will have a non `None` result) caused `_` to reference the new result, dropping the existing reference. Now the reference count reached 0 and we can see \"Deleted!\" being printed (finally!).\n", "\n" ] }, @@ -12184,7 +13335,7 @@ "source": [ "#### \ud83d\udca1 Explanation:\n", "\n", - "- It is often advisable to not use wildcard imports. The first obvious reason for this is, in wildcard imports, the names with a leading underscore get imported. This may lead to errors during runtime.\n", + "- It is often advisable to not use wildcard imports. The first obvious reason for this is, in wildcard imports, the names with a leading underscore don't get imported. This may lead to errors during runtime.\n", "- Had we used `from ... import a, b, c` syntax, the above `NameError` wouldn't have occurred.\n" ] }, @@ -12298,6 +13449,7 @@ "* https://github.com/cosmologicon/pywat#the-undocumented-converse-implication-operator\n", "* https://www.codementor.io/satwikkansal/python-practices-for-efficient-code-performance-memory-and-usability-aze6oiq65\n", "* https://github.com/wemake-services/wemake-python-styleguide/search?q=wtfpython&type=Issues\n", + "* WFTPython discussion threads on [Hacker News](https://news.ycombinator.com/item?id=21862073) and [Reddit](https://www.reddit.com/r/programming/comments/edsh3q/what_the_fck_python_30_exploring_and/).\n", "\n", "# \ud83c\udf93 License\n", "\n", @@ -12314,4 +13466,4 @@ "metadata": {}, "nbformat": 4, "nbformat_minor": 2 -} \ No newline at end of file +} diff --git a/translations/ru-russian/CONTRIBUTING.md b/translations/ru-russian/CONTRIBUTING.md new file mode 100644 index 0000000..a542814 --- /dev/null +++ b/translations/ru-russian/CONTRIBUTING.md @@ -0,0 +1,63 @@ +Приветствуются все виды изменений. Не стесняйтесь предлагать броские и смешные названия для существующих примеров. Цель - сделать эту коллекцию как можно более интересной для чтения. Вот несколько способов, с помощью которых вы можете внести свой вклад, + +- Если вы заинтересованы в переводе проекта на другой язык (некоторые люди уже делали это в прошлом), пожалуйста, не стесняйтесь открыть тему и дайте мне знать, если вам нужна какая-либо помощь. +- Если изменения, которые вы предлагаете, значительны, то создание issue перед внесением изменений будет оценено по достоинству. Если вы хотите поработать над issue (это очень рекомендуется), выразите свою заинтересованность и вы будете назначены исполнителем. +- Если вы добавляете новый пример, настоятельно рекомендуется создать issue, чтобы обсудить ее перед отправкой изменений. Для добавления нового примера вы можете использовать следующий шаблон: + +
+### ▶ Какое-то причудливое название. *
+* в конце названия означает, что пример был добавлен недавно.
+
+```py
+# Подготовка кода.
+# Подготовка к волшебству...
+```
+
+**Вывод (версия Python):**
+```py
+>>> triggering_statement
+Вероятно, неожиданный вывод
+
+```
+(Необязательно): Одна строка, описывающая неожиданный вывод.
+
+#### 💡 Объяснение:
+* Краткое объяснение того, что происходит и почему это происходит.
+  ```py
+  Подготовка примеров для пояснения (при необходимости)
+  ```
+
+  **Вывод:**
+  ```py
+  >>> trigger # пример, облегчающий понимание магии
+  # обоснованный вывод
+  ```
+
+ +Несколько моментов, которые стоит учитывать при написании примера, + +- Если вы решили отправить новый пример без создания issue и обсуждения, пожалуйста, проверьте проект, чтобы убедиться, что в нем уже нет похожих примеров. +- Старайтесь быть последовательными в именах и значениях, которые вы используете для переменных. Например, большинство имен переменных в проекте имеют вид `some_string`, `some_list`, `some_dict` и т.д. Вы увидите много `x` для однобуквенных имен переменных, и `"wtf"` в качестве значений для строк. В проекте нет строгой схемы, как таковой, но вы можете взглянуть на другие примеры, чтобы понять суть. +- Старайтесь быть как можно более креативными, чтобы добавить элемент "сюрприза" во время подготовки примеров. Иногда это может означать написание фрагмента, который здравомыслящий программист никогда бы не написал. +- Также не стесняйтесь добавлять свое имя в список [контрибьюторов](/CONTRIBUTORS.md). + +**Некоторые часто задаваемые вопросы** + + Что это такое после каждого заголовка сниппета (###) в README: ? Нужно ли его добавлять вручную или можно игнорировать при создании новых сниппетов? + +Это случайный UUID, он используется для идентификации примеров в нескольких переводах проекта. Как контрибьютор, вы не должны беспокоиться о том, как он используется, вы просто должны добавлять новый случайный UUID к новым примерам в этом формате. + + Куда следует добавлять новые сниппеты? В начало/в конец раздела? + +При определении порядка учитывается множество факторов (зависимость от других примеров, уровень сложности, категория и т.д.). Я бы предложил просто добавить новый пример в конец раздела, который вы считаете более подходящим (или просто добавить его в раздел "Разное"). О его порядке можно будет позаботиться в будущих редакциях. + + В чем разница между разделами (первые два очень похожи)? + +Раздел "Напрягите мозг" содержит более надуманные примеры, с которыми вы не столкнетесь в реальной жизни, в то время как раздел "Скользкие склоны" содержит примеры, с которыми можно чаще сталкиваться при программировании. + + Перед оглавлением написано, что для его создания использовался markdown-toc -i README.md --maxdepth 3. Пакет pip markdown-toc не содержит ни флагов -i, ни --maxdepth. Какой пакет имеется в виду, или какая версия этого пакета? + Должна ли новая запись в оглавлении для фрагмента быть создана с помощью вышеуказанной команды или вручную (в случае, если вышеуказанная команда делает больше, чем просто добавляет запись)? + +Мы используем пакет [markdown-toc](https://www.npmjs.com/package/markdown-toc) npm для создания ToC (содержание). Однако у него есть некоторые проблемы со специальными символами (не уверен, что они уже исправлены). Чаще всего я просто вставляю ссылку toc вручную в нужное место. Инструмент удобен, когда мне нужно сделать большую перестановку, в остальных случаях просто обновлять toc вручную удобнее. + +Если у вас есть вопросы, не стесняйтесь спрашивать в [issue](https://github.com/satwikkansal/wtfpython/issues/269) (спасибо [@LiquidFun](https://github.com/LiquidFun) за ее создание). diff --git a/translations/ru-russian/CONTRIBUTORS.md b/translations/ru-russian/CONTRIBUTORS.md new file mode 100644 index 0000000..2599f8a --- /dev/null +++ b/translations/ru-russian/CONTRIBUTORS.md @@ -0,0 +1,42 @@ +Ниже перечислены (без определенного порядка) замечательные люди, которые внесли вклад в развитие wtfpython. + +| Автор | Github | Issues | +|-------------|--------|--------| +| Lucas-C | [Lucas-C](https://github.com/Lucas-C) | [#36](https://github.com/satwikkansal/wtfpython/issues/36) | +| MittalAshok | [MittalAshok](https://github.com/MittalAshok) | [#23](https://github.com/satwikkansal/wtfpython/issues/23) | +| asottile | [asottile](https://github.com/asottile) | [#40](https://github.com/satwikkansal/wtfpython/issues/40) | +| MostAwesomeDude | [MostAwesomeDude](https://github.com/MostAwesomeDude) | [#1](https://github.com/satwikkansal/wtfpython/issues/1) | +| tukkek | [tukkek](https://github.com/tukkek) | [#11](https://github.com/satwikkansal/wtfpython/issues/11), [#26](https://github.com/satwikkansal/wtfpython/issues/26) | +| PiaFraus | [PiaFraus](https://github.com/PiaFraus) | [#9](https://github.com/satwikkansal/wtfpython/issues/9) | +| chris-rands | [chris-rands](https://github.com/chris-rands) | [#32](https://github.com/satwikkansal/wtfpython/issues/32) | +| sohaibfarooqi | [sohaibfarooqi](https://github.com/sohaibfarooqi) | [#63](https://github.com/satwikkansal/wtfpython/issues/63) | +| ipid | [ipid](https://github.com/ipid) | [#145](https://github.com/satwikkansal/wtfpython/issues/145) | +| roshnet | [roshnet](https://github.com/roshnet) | [#140](https://github.com/satwikkansal/wtfpython/issues/140) | +| daidai21 | [daidai21](https://github.com/daidai21) | [#137](https://github.com/satwikkansal/wtfpython/issues/137) | +| scidam | [scidam](https://github.com/scidam) | [#136](https://github.com/satwikkansal/wtfpython/issues/136) | +| pmjpawelec | [pmjpawelec](https://github.com/pmjpawelec) | [#121](https://github.com/satwikkansal/wtfpython/issues/121) | +| leisurelicht | [leisurelicht](https://github.com/leisurelicht) | [#112](https://github.com/satwikkansal/wtfpython/issues/112) | +| mishaturnbull | [mishaturnbull](https://github.com/mishaturnbull) | [#108](https://github.com/satwikkansal/wtfpython/issues/108) | +| MuseBoy | [MuseBoy](https://github.com/MuseBoy) | [#101](https://github.com/satwikkansal/wtfpython/issues/101) | +| Ghost account | N/A | [#96](https://github.com/satwikkansal/wtfpython/issues/96) | +| koddo | [koddo](https://github.com/koddo) | [#80](https://github.com/satwikkansal/wtfpython/issues/80), [#73](https://github.com/satwikkansal/wtfpython/issues/73) | +| jab | [jab](https://github.com/jab) | [#77](https://github.com/satwikkansal/wtfpython/issues/77) | +| Jongy | [Jongy](https://github.com/Jongy) | [#208](https://github.com/satwikkansal/wtfpython/issues/208), [#210](https://github.com/satwikkansal/wtfpython/issues/210), [#233](https://github.com/satwikkansal/wtfpython/issues/233) | +| Diptangsu Goswami | [diptangsu](https://github.com/diptangsu) | [#193](https://github.com/satwikkansal/wtfpython/issues/193) | +| Charles | [charles-l](https://github.com/charles-l) | [#245](https://github.com/satwikkansal/wtfpython/issues/245) | +| LiquidFun | [LiquidFun](https://github.com/LiquidFun) | [#267](https://github.com/satwikkansal/wtfpython/issues/267) | + +--- + +**Переводчики** + +| Переводчик | Github | Язык | +|-------------|--------|--------| +| leisurelicht | [leisurelicht](https://github.com/leisurelicht) | [Chinese](https://github.com/leisurelicht/wtfpython-cn) | +| vuduclyunitn | [vuduclyunitn](https://github.com/vuduclyunitn) | [Vietnamese](https://github.com/vuduclyunitn/wtfptyhon-vi) | +| José De Freitas | [JoseDeFreitas](https://github.com/JoseDeFreitas) | [Spanish](https://github.com/JoseDeFreitas/wtfpython-es) | +| Vadim Nifadev | [nifadyev](https://github.com/nifadyev) | [Russian](https://github.com/satwikkansal/wtfpython/tree/master/translations/ru-russian) | + +Спасибо всем за ваше время и за то, что делаете wtfpython еще более потрясающим! :smile: + +PS: Этот список обновляется после каждого крупного релиза, если я забыл добавить сюда ваш вклад, пожалуйста, не стесняйтесь сделать Pull request. diff --git a/translations/ru-russian/README.md b/translations/ru-russian/README.md new file mode 100644 index 0000000..c80fe2a --- /dev/null +++ b/translations/ru-russian/README.md @@ -0,0 +1,3965 @@ +

+ + + + Логотип wtfpython + +

+

What the f*ck Python! 😱

+

Изучение и понимание Python с помощью удивительных примеров поведения.

+ +Переводы: [English Original](https://github.com/satwikkansal/wtfpython) [Chinese 中文](https://github.com/robertparley/wtfpython-cn) | [Vietnamese Tiếng Việt](https://github.com/vuduclyunitn/wtfptyhon-vi) | [Spanish Español](https://web.archive.org/web/20220511161045/https://github.com/JoseDeFreitas/wtfpython-es) | [Korean 한국어](https://github.com/buttercrab/wtfpython-ko) | [Russian Русский](https://github.com/satwikkansal/wtfpython/tree/master/translations/ru-russian) | [German Deutsch](https://github.com/BenSt099/wtfpython) | [Add translation](https://github.com/satwikkansal/wtfpython/issues/new?title=Add%20translation%20for%20[LANGUAGE]&body=Expected%20time%20to%20finish:%20[X]%20weeks.%20I%27ll%20start%20working%20on%20it%20from%20[Y].) + +Альтернативные способы: [Интерактивный сайт](https://wtfpython-interactive.vercel.app) | [Интерактивный Jupiter notebook](https://colab.research.google.com/github/satwikkansal/wtfpython/blob/master/irrelevant/wtf.ipynb) + +Python, будучи прекрасно спроектированным высокоуровневым языком программирования, предоставляет множество возможностей для удобства программиста. Но иногда поведение Python кода могут показаться запутывающим на первый взгляд. + +**wtfpython** задуман как проект, пытающийся объяснить, что именно происходит под капотом неочевидных фрагментов кода и малоизвестных возможностей Python. + +Если вы опытный питонист, вы можете принять это как вызов и правильно объяснить WTF ситуации с первой попытки. Возможно, вы уже сталкивались с некоторыми из них раньше, и я смогу оживить ваши старые добрые воспоминания! 😅 + +PS: Если вы уже читали **wtfpython** раньше, с изменениями можно ознакомиться [здесь](https://github.com/satwikkansal/wtfpython/releases/) (примеры, отмеченные звездочкой - это примеры, добавленные в последней основной редакции). + +Ну что ж, приступим... + +# Содержание +- [Содержание](#содержание) +- [Структура примера](#структура-примера) +- [Применение](#применение) +- [👀 Примеры](#-примеры) + - [Раздел: Напряги мозги!](#раздел-напряги-мозги) + - [▶ Первым делом!](#-первым-делом) + - [💡 Обьяснение](#-обьяснение) + - [▶ Строки иногда ведут себя непредсказуемо](#-строки-иногда-ведут-себя-непредсказуемо) + - [💡 Объяснение](#-объяснение) + - [▶ Осторожнее с цепочкой операций](#-осторожнее-с-цепочкой-операций) + - [💡 Объяснение:](#-объяснение-1) + - [▶ Как не надо использовать оператор `is`](#-как-не-надо-использовать-оператор-is) + - [💡 Объяснение:](#-объяснение-2) + - [▶ Мистическое хеширование](#-мистическое-хеширование) + - [💡 Объяснение](#-объяснение-3) + - [▶ В глубине души мы все одинаковы.](#-в-глубине-души-мы-все-одинаковы) + - [💡 Объяснение:](#-объяснение-4) + - [▶ Беспорядок внутри порядка \*](#-беспорядок-внутри-порядка-) + - [💡 Объяснение:](#-объяснение-5) + - [▶ Продолжай пытаться... \*](#-продолжай-пытаться-) + - [💡 Объяснение:](#-объяснение-6) + - [▶ Для чего?](#-для-чего) + - [💡 Объяснение:](#-объяснение-7) + - [▶ Расхождение во времени исполнения](#-расхождение-во-времени-исполнения) + - [💡 Объяснение](#-объяснение-8) + - [▶ `is not ...` не является `is (not ...)`](#-is-not--не-является-is-not-) + - [💡 Объяснение](#-объяснение-9) + - [▶ Крестики-нолики, где X побеждает с первой попытки!](#-крестики-нолики-где-x-побеждает-с-первой-попытки) + - [💡 Объяснение:](#-объяснение-10) + - [▶ Переменная Шредингера \*](#-переменная-шредингера-) + - [💡 Объяснение:](#-объяснение-11) + - [▶ Проблема курицы и яйца \*](#-проблема-курицы-и-яйца-) + - [💡 Объяснение](#-объяснение-12) + - [▶ Отношения между подклассами](#-отношения-между-подклассами) + - [💡 Объяснение](#-объяснение-13) + - [▶ Равенство и тождество методов](#-равенство-и-тождество-методов) + - [💡 Объяснение](#-объяснение-14) + - [▶ All-true-ation (непереводимая игра слов) \*](#-all-true-ation-непереводимая-игра-слов-) + - [💡 Объяснение:](#-объяснение-15) + - [💡 Объяснение:](#-объяснение-16) + - [▶ Строки и обратные слэши](#-строки-и-обратные-слэши) + - [💡 Объяснение](#-объяснение-17) + - [▶ Не узел! (англ. not knot!)](#-не-узел-англ-not-knot) + - [💡 Объяснение](#-объяснение-18) + - [▶ Строки, наполовину обернутые в тройные кавычки](#-строки-наполовину-обернутые-в-тройные-кавычки) + - [💡 Объяснение:](#-объяснение-19) + - [▶ Что не так с логическими значениями?](#-что-не-так-с-логическими-значениями) + - [💡 Объяснение:](#-объяснение-20) + - [▶ Атрибуты класса и экземпляра](#-атрибуты-класса-и-экземпляра) + - [💡 Объяснение:](#-объяснение-21) + - [▶ Возврат None из генератора](#-возврат-none-из-генератора) + - [💡 Объяснение:](#-объяснение-22) + - [▶ Yield from возвращает... \*](#-yield-from-возвращает-) + - [💡 Объяснение:](#-объяснение-23) + - [▶ Nan-рефлексивность \*](#-nan-рефлексивность-) + - [💡 Объяснение:](#-объяснение-24) + - [▶ Изменяем неизменяемое!](#-изменяем-неизменяемое) + - [💡 Объяснение:](#-объяснение-25) + - [▶ Исчезающая переменная из внешней области видимости](#-исчезающая-переменная-из-внешней-области-видимости) + - [💡 Объяснение:](#-объяснение-26) + - [▶ Загадочное преобразование типов ключей](#-загадочное-преобразование-типов-ключей) + - [💡 Объяснение:](#-объяснение-27) + - [▶ Посмотрим, сможете ли вы угадать что здесь?](#-посмотрим-сможете-ли-вы-угадать-что-здесь) + - [💡 Объяснение:](#-объяснение-28) + - [▶ Превышение предела целочисленного преобразования строк](#-превышение-предела-целочисленного-преобразования-строк) + - [💡 Объяснение:](#-объяснение-29) + - [Раздел: Скользкие склоны](#раздел-скользкие-склоны) + - [▶ Изменение словаря во время прохода по нему](#-изменение-словаря-во-время-прохода-по-нему) + - [💡 Объяснение:](#-объяснение-30) + - [▶ Упрямая операция `del`](#-упрямая-операция-del) + - [💡 Объяснение:](#-объяснение-31) + - [▶ Переменная за пределами видимости](#-переменная-за-пределами-видимости) + - [💡 Объяснение:](#-объяснение-32) + - [▶ Удаление элемента списка во время прохода по списку](#-удаление-элемента-списка-во-время-прохода-по-списку) + - [💡 Объяснение:](#-объяснение-33) + - [▶ Сжатие итераторов с потерями \*](#-сжатие-итераторов-с-потерями-) + - [💡 Объяснение:](#-объяснение-34) + - [▶ Утечка переменных внутри цикла](#-утечка-переменных-внутри-цикла) + - [💡 Объяснение:](#-объяснение-35) + - [▶ Остерегайтесь изменяемых аргументов по умолчанию!](#-остерегайтесь-изменяемых-аргументов-по-умолчанию) + - [💡 Объяснение:](#-объяснение-36) + - [▶ Ловля исключений](#-ловля-исключений) + - [💡 Объяснение](#-объяснение-37) + - [▶ Одни и те же операнды, разная история!](#-одни-и-те-же-операнды-разная-история) + - [💡 Объяснение:](#-объяснение-38) + - [▶ Разрешение имен игнорирует область видимости класса](#-разрешение-имен-игнорирует-область-видимости-класса) + - [💡 Объяснение](#-объяснение-39) + - [▶ Округляясь как банкир \*](#-округляясь-как-банкир-) + - [💡 Объяснение:](#-объяснение-40) + - [▶ Иголки в стоге сена \*](#-иголки-в-стоге-сена-) + - [💡 Объяснение:](#-объяснение-41) + - [▶ Сплиты (splitsies) \*](#-сплиты-splitsies-) + - [💡 Объяснение](#-объяснение-42) + - [▶ Подстановочное импортирование (wild imports) \*](#-подстановочное-импортирование-wild-imports-) + - [💡 Объяснение:](#-объяснение-43) + - [▶ Все ли отсортировано? \*](#-все-ли-отсортировано-) + - [💡 Объяснение:](#-объяснение-44) + - [▶ Полночи не существует?](#-полночи-не-существует) + - [💡 Объяснение:](#-объяснение-45) + - [Раздел: Скрытые сокровища!](#раздел-скрытые-сокровища) + - [▶ Python, можешь ли ты помочь взлететь?](#-python-можешь-ли-ты-помочь-взлететь) + - [💡 Объяснение:](#-объяснение-46) + - [▶ `goto`, но почему?](#-goto-но-почему) + - [💡 Объяснение:](#-объяснение-47) + - [▶ Держитесь!](#-держитесь) + - [💡 Объяснение:](#-объяснение-48) + - [▶ Давайте познакомимся с дружелюбным Дядей Барри](#-давайте-познакомимся-с-дружелюбным-дядей-барри) + - [💡 Объяснение:](#-объяснение-49) + - [▶ Даже Python понимает, что любовь - это сложно.](#-даже-python-понимает-что-любовь---это-сложно) + - [💡 Объяснение:](#-объяснение-50) + - [▶ Да, оно существует!](#-да-оно-существует) + - [💡 Объяснение:](#-объяснение-51) + - [▶ Многоточие \*](#-многоточие-) + - [💡 Объяснение](#-объяснение-52) + - [▶ Писконечность (Inpinity)](#-писконечность-inpinity) + - [💡 Объяснение:](#-объяснение-53) + - [▶ Давайте искажать](#-давайте-искажать) + - [💡 Объяснение:](#-объяснение-54) + - [Раздел: Внешность обманчива!](#раздел-внешность-обманчива) + - [▶ Пропускаем строки?](#-пропускаем-строки) + - [💡 Объяснение](#-объяснение-55) + - [▶ Телепортация](#-телепортация) + - [💡 Объяснение:](#-объяснение-56) + - [▶ Что-то не так...](#-что-то-не-так) + - [💡 Объяснение](#-объяснение-57) + - [Раздел: Разное](#раздел-разное) + - [▶ `+=` быстрее `+`](#--быстрее-) + - [💡 Объяснение:](#-объяснение-58) + - [▶ Сделаем гигантскую строку!](#-сделаем-гигантскую-строку) + - [💡 Объяснение](#-объяснение-59) + - [▶ Замедляем поиск по `dict` \*](#-замедляем-поиск-по-dict-) + - [💡 Объяснение:](#-объяснение-60) + - [▶ Раздуваем экземпляры словарей \*](#-раздуваем-экземпляры-словарей-) + - [💡 Объяснение:](#-объяснение-61) + - [▶ Минорное \*](#-минорное-) +- [Вклад в проект](#вклад-в-проект) +- [Благодарности](#благодарности) + - [Несколько хороших ссылок!](#несколько-хороших-ссылок) +- [🎓 Лицензия](#-лицензия) + - [Удиви своих друзей!](#удиви-своих-друзей) + - [Нужна PDF версия?](#нужна-pdf-версия) + +# Структура примера + +Все примеры имеют следующую структуру: + +> ### ▶ Какой-то заголовок +> +> ```py +> # Неочевидный фрагмент кода +> # Подготовка к магии... +> ``` +> +> **Вывод (Python версия):** +> +> ```py +> >>> triggering_statement +> Неожиданные результаты +> ``` +> +> (Опционально): Краткое описание неожиданного результата +> +> +> #### 💡 Объяснение +> +> * Краткое объяснение того, что происходит и почему это происходит. +> +> ```py +> # Код +> # Дополнительные примеры для дальнейшего разъяснения (если необходимо) +> ``` +> +> **Вывод (Python версия):** +> +> ```py +> >>> trigger # какой-нибудь пример, позволяющий легко раскрыть магию +> # обоснованный вывод +> ``` + +**Важно:** Все примеры протестированы на интерактивном интерпретаторе Python 3.5.2, и они должны работать для всех версий Python, если это явно не указано перед выводом. + +# Применение + +Хороший способ получить максимальную пользу от этих примеров - читать их последовательно, причем для каждого из них важно: + +- Внимательно изучить исходный код. Если вы опытный Python программист, то в большинстве случаев сможете предугадать, что произойдет дальше. +- Прочитать фрагменты вывода и, + - Проверить, совпадают ли выходные данные с вашими ожиданиями. + - Убедиться, что вы знаете точную причину, по которой вывод получился именно таким. + - Если ответ отрицательный (что совершенно нормально), сделать глубокий вдох и прочитать объяснение (а если пример все еще непонятен, и создайте [issue](https://github.com/satwikkansal/wtfpython/issues/new)). + - Если "да", ощутите мощь своих познаний в Python и переходите к следующему примеру. + +# 👀 Примеры + +## Раздел: Напряги мозги! + +### ▶ Первым делом! + + + + +По какой-то причине "моржовый оператор" (англ. walrus) `:=` в Python 3.8 стал довольно популярным. Давайте проверим его, + +1\. + +```py +# Python version 3.8+ + +>>> a = "wtf_walrus" +>>> a +'wtf_walrus' + +>>> a := "wtf_walrus" +File "", line 1 + a := "wtf_walrus" + ^ +SyntaxError: invalid syntax + +>>> (a := "wtf_walrus") # А этот код работает +'wtf_walrus' +>>> a +'wtf_walrus' +``` + +2 \. + +```py +# Python version 3.8+ + +>>> a = 6, 9 +>>> a +(6, 9) + +>>> (a := 6, 9) +(6, 9) +>>> a +6 + +>>> a, b = 6, 9 # Типичная распаковка +>>> a, b +(6, 9) +>>> (a, b = 16, 19) # Упс + File "", line 1 + (a, b = 16, 19) + ^ +SyntaxError: invalid syntax + +>>> (a, b := 16, 19) # На выводе получаем странный кортеж из 3 элементов +(6, 16, 19) + +>>> a # Значение переменной остается неизменной? +6 + +>>> b +16 +``` + +#### 💡 Обьяснение + +**Быстрый разбор что такое "моржовый оператор"** + +"Моржовый оператор" (`:=`) был представлен в Python 3.8, может быть полезен в ситуациях, когда вы хотите присвоить значения переменным в выражении. + +```py +def some_func(): + # Предположим, что здесь выполняются требовательные к ресурсам вычисления + # time.sleep(1000) + return 5 + +# Поэтому вместо, +if some_func(): + print(some_func()) # Плохая практика, поскольку вычисления происходят дважды. + +# Или +a = some_func() +if a: + print(a) + +# Можно лаконично написать +if a := some_func(): + print(a) +``` + +**Вывод (> 3.8):** + +```py +5 +5 +5 +``` + +Использование `:=` сэкономило одну строку кода и неявно предотвратило вызов `some_func` дважды. + +- "выражение присваивания", не обернутое в скобки, иначе говоря использование моржового оператора, ограничено на верхнем уровне, отсюда `SyntaxError` в выражении `a := "wtf_walrus"` в первом фрагменте. После оборачивания в скобки, `a` было присвоено значение, как и ожидалось. + +- В то же время оборачивание скобками выражения, содержащего оператор `=`, не допускается. Отсюда синтаксическая ошибка в `(a, b = 6, 9)`. + +- Синтаксис моржового оператора имеет вид `NAME:= expr`, где `NAME` - допустимый идентификатор, а `expr` - допустимое выражение. Следовательно, упаковка и распаковка итерируемых объектов не поддерживается, что означает, + + - `(a := 6, 9)` эквивалентно `((a := 6), 9)` и в конечном итоге `(a, 9)` (где значение `a` равно `6`) + + ```py + >>> (a := 6, 9) == ((a := 6), 9) + True + >>> x = (a := 696, 9) + >>> x + (696, 9) + >>> x[0] is a # Оба ссылаются на одну и ту же ячейку памяти + True + ``` + + - Аналогично, `(a, b := 16, 19)` эквивалентно `(a, (b := 16), 19)`, которое есть не что иное, как кортеж из 3 элементов. + +--- + +### ▶ Строки иногда ведут себя непредсказуемо + + +1\. + +```py +>>> a = "some_string" +>>> id(a) +140420665652016 +>>> id("some" + "_" + "string") # Обратите внимание, оба идентификатора одинаковы +140420665652016 +``` + +2\. + +```py +>>> a = "wtf" +>>> b = "wtf" +>>> a is b +True + +>>> a = "wtf!" +>>> b = "wtf!" +>>> a is b +False +``` + +3\. + +```py +>>> a, b = "wtf!", "wtf!" +>>> a is b # Актуально для версий Python, кроме 3.7.x +True + +>>> a = "wtf!"; b = "wtf!" +>>> a is b # Выражение вернет True или False в зависимости вызываемой среды (python shell / ipython / скрипт). +False +``` + +```py +# На этот раз в файле +a = "wtf!" +b = "wtf!" +print(a is b) + +# Выводит True при запуске модуля +``` + +4\. + +**Output (< Python3.7 )** + +```py +>>> 'a' * 20 is 'aaaaaaaaaaaaaaaaaaaa' +True +>>> 'a' * 21 is 'aaaaaaaaaaaaaaaaaaaaa' +False +``` + +Логично, правда? + +#### 💡 Объяснение + +- Поведение в первом и втором фрагментах связано с оптимизацией CPython (называемой интернированием строк ((англ. string interning))), которая пытается использовать существующие неизменяемые объекты в некоторых случаях вместо того, чтобы каждый раз создавать новый объект. +- После "интернирования" многие переменные могут ссылаться на один и тот же строковый объект в памяти (тем самым экономя память). +- В приведенных выше фрагментах строки неявно интернированы. Решение о том, когда неявно интернировать строку, зависит от реализации. Правила для интернирования строк следующие: + - Все строки длиной 0 или 1 символа интернируются. + - Строки интернируются во время компиляции (`'wtf'` будет интернирована, но `''.join(['w'', 't', 'f'])` - нет) + - Строки, не состоящие из букв ASCII, цифр или знаков подчеркивания, не интернируются. В примере выше `'wtf!'` не интернируется из-за `!`. Реализацию этого правила в CPython можно найти [здесь](https://github.com/python/cpython/blob/3.6/Objects/codeobject.c#L19) +

+ + + + Процесс интернирования строк. + +

+- Когда переменные `a` и `b` принимают значение `"wtf!"` в одной строке, интерпретатор Python создает новый объект, а затем одновременно ссылается на вторую переменную. Если это выполняется в отдельных строках, он не "знает", что уже существует `"wtf!"` как объект (потому что `"wtf!"` не является неявно интернированным в соответствии с фактами, упомянутыми выше). Это оптимизация во время компиляции, не применяется к версиям CPython 3.7.x (более подробное обсуждение смотрите [здесь](https://github.com/satwikkansal/wtfpython/issues/100)). +- Единица компиляции в интерактивной среде IPython состоит из одного оператора, тогда как в случае модулей она состоит из всего модуля. `a, b = "wtf!", "wtf!"` - это одно утверждение, тогда как `a = "wtf!"; b = "wtf!"` - это два утверждения в одной строке. Это объясняет, почему тождества различны в `a = "wtf!"; b = "wtf!"`, но одинаковы при вызове в модуле. +- Резкое изменение в выводе четвертого фрагмента связано с [peephole optimization](https://en.wikipedia.org/wiki/Peephole_optimization) техникой, известной как складывание констант (англ. Constant folding). Это означает, что выражение `'a'*20` заменяется на `'aaaaaaaaaaaaaaaaaaaa'` во время компиляции, чтобы сэкономить несколько тактов во время выполнения. Складывание констант происходит только для строк длиной менее 21. (Почему? Представьте себе размер файла `.pyc`, созданного в результате выполнения выражения `'a'*10**10`). [Вот](https://github.com/python/cpython/blob/3.6/Python/peephole.c#L288) исходный текст реализации для этого. +- Примечание: В Python 3.7 складывание констант было перенесено из оптимизатора peephole в новый оптимизатор AST с некоторыми изменениями в логике, поэтому четвертый фрагмент не работает в Python 3.7. Подробнее об изменении можно прочитать [здесь](https://bugs.python.org/issue11549). + +--- + + +### ▶ Осторожнее с цепочкой операций + +```py +>>> (False == False) in [False] # логично +False +>>> False == (False in [False]) # все еще логично +False +>>> False == False in [False] # а теперь что? + +True + +>>> True is False == False +False +>>> False is False is False +True + +>>> 1 > 0 < 1 +True +>>> (1 > 0) < 1 +False +>>> 1 > (0 < 1) +False +``` + +#### 💡 Объяснение: + +Согласно [документации](https://docs.python.org/3/reference/expressions.html#comparisons) + +> Формально, если a, b, c, ..., y, z - выражения, а op1, op2, ..., opN - операторы сравнения, то a op1 b op2 c ... y opN z эквивалентно a op1 b и b op2 c и ... y opN z, за исключением того, что каждое выражение оценивается не более одного раза. + +Хотя такое поведение может показаться глупым в приведенных выше примерах, оно просто фантастично для таких вещей, как `a == b == c` и `0 <= x <= 100`. + +* `False is False is False` эквивалентно `(False is False) и (False is False)`. +* `True is False == False` эквивалентно `(True is False) and (False == False)` и так как первая часть высказывания (`True is False`) оценивается в `False`, то все выражение приводится к `False`. +* `1 > 0 < 1` эквивалентно `(1 > 0) и (0 < 1)`, которое приводится к `True`. +* Выражение `(1 > 0) < 1` эквивалентно `True < 1` и + ```py + >>> int(True) + 1 + >>> True + 1 # не относится к данному примеру, но просто для интереса + 2 + ``` + В итоге, `1 < 1` выполняется и дает результат `False` + +--- + + +### ▶ Как не надо использовать оператор `is` + +Ниже приведен очень известный пример. + +1\. + +```py +>>> a = 256 +>>> b = 256 +>>> a is b +True + +>>> a = 257 +>>> b = 257 +>>> a is b +False +``` + +2\. + +```py +>>> a = [] +>>> b = [] +>>> a is b +False + +>>> a = tuple() +>>> b = tuple() +>>> a is b +True +``` + +3\. +**Результат** + +```py +>>> a, b = 257, 257 +>>> a is b +True +``` + +**Вывод (только для Python 3.7.x)** + +```py +>>> a, b = 257, 257 +>>> a is b +False +``` + +#### 💡 Объяснение: + +**Разница между `is` и `==`**. + +* Оператор `is` проверяет, ссылаются ли оба операнда на один и тот же объект (т.е. проверяет, совпадают ли идентификаторы операндов или нет). +* Оператор `==` сравнивает значения обоих операндов и проверяет, одинаковы ли они. +* Таким образом, оператор `is` предназначен для равенства ссылок, а `==` - для равенства значений. Пример, чтобы прояснить ситуацию, + ```py + >>> class A: pass + >>> A() is A() # 2 пустых объекта в разных ячейках памяти + False + ``` + +**`256` - существующий объект, а `257` - нет**. + +При запуске python числа от `-5` до `256` записываются в память. Эти числа используются часто, поэтому имеет смысл просто иметь их наготове. + +Перевод цитаты из [документации](https://docs.python.org/3/c-api/long.html) +> Текущая реализация хранит массив целочисленных объектов для всех целых чисел от -5 до 256, когда вы создаете int в этом диапазоне, вы просто получаете обратно ссылку на существующий объект. + +```py +>>> id(256) +10922528 +>>> a = 256 +>>> b = 256 +>>> id(a) +10922528 +>>> id(b) +10922528 +>>> id(257) +140084850247312 +>>> x = 257 +>>> y = 257 +>>> id(x) +140084850247440 +>>> id(y) +140084850247344 +``` + +Интерпретатор не понимает, что до выполнения выражения `y = 257` целое число со значением `257` уже создано, и поэтому он продолжает создавать другой объект в памяти. + +Подобная оптимизация применима и к другим **изменяемым** объектам, таким как пустые кортежи. Поскольку списки являются изменяемыми, поэтому `[] is []` вернет `False`, а `() is ()` вернет `True`. Это объясняет наш второй фрагмент. Перейдем к третьему, + +**И `a`, и `b` ссылаются на один и тот же объект при инициализации одним и тем же значением в одной и той же строке**. + +**Вывод** + +```py +>>> a, b = 257, 257 +>>> id(a) +140640774013296 +>>> id(b) +140640774013296 +>>> a = 257 +>>> b = 257 +>>> id(a) +140640774013392 +>>> id(b) +140640774013488 +``` + +* Когда a и b инициализируются со значением `257` в одной строке, интерпретатор Python создает новый объект, а затем одновременно ссылается на него во второй переменной. Если делать это в отдельных строках, интерпретатор не "знает", что объект `257` уже существует. + +* Эта оптимизация компилятора относится именно к интерактивной среде. Когда вы вводите две строки в интерпретаторе, они компилируются отдельно, поэтому оптимизируются отдельно. Если выполнить этот пример в файле `.py', поведение будет отличаться, потому что файл компилируется целиком. Эта оптимизация не ограничивается целыми числами, она работает и для других неизменяемых типов данных, таких как строки (смотреть пример "Строки - это сложно") и плавающие числа, + + ```py + >>> a, b = 257.0, 257.0 + >>> a is b + True + ``` + +* Почему это не сработало в Python 3.7? Абстрактная причина в том, что такие оптимизации компилятора зависят от реализации (т.е. могут меняться в зависимости от версии, ОС и т.д.). Я все еще выясняю, какое именно изменение реализации вызвало проблему, вы можете следить за этим [issue](https://github.com/satwikkansal/wtfpython/issues/100) для получения обновлений. + +--- + + +### ▶ Мистическое хеширование + +1\. +```py +some_dict = {} +some_dict[5.5] = "JavaScript" +some_dict[5.0] = "Ruby" +some_dict[5] = "Python" +``` + +**Вывод:** + +```py +>>> some_dict[5.5] +"JavaScript" +>>> some_dict[5.0] # "Python" уничтожил "Ruby"? +"Python" +>>> some_dict[5] +"Python" + +>>> complex_five = 5 + 0j +>>> type(complex_five) +complex +>>> some_dict[complex_five] +"Python" +``` + +Так почему же Python повсюду? + + +#### 💡 Объяснение + +* Уникальность ключей в словаре Python определяется *эквивалентностью*, а не тождеством. Поэтому, даже если `5`, `5.0` и `5 + 0j` являются различными объектами разных типов, поскольку они эквивалентны, они не могут находиться в одном и том же `dict` (или `set`). Как только вы вставите любой из них, попытка поиска по любому другому, но эквивалентному ключу будет успешной с исходным сопоставленным значением (а не завершится ошибкой `KeyError`): + ```py + >>> 5 == 5.0 == 5 + 0j + True + >>> 5 is not 5.0 is not 5 + 0j + True + >>> some_dict = {} + >>> some_dict[5.0] = "Ruby" + >>> 5.0 in some_dict + True + >>> (5 in some_dict) and (5 + 0j in some_dict) + True + ``` +* Это применимо и во время присваивания значения элементу. Поэтому, в выражении `some_dict[5] = "Python"` Python находит существующий элемент с эквивалентным ключом `5.0 -> "Ruby"`, перезаписывает его значение на место, а исходный ключ оставляет в покое. + ```py + >>> some_dict + {5.0: 'Ruby'} + >>> some_dict[5] = "Python" + >>> some_dict + {5.0: 'Python'} + ``` +* Итак, как мы можем обновить ключ до `5` (вместо `5.0`)? На самом деле мы не можем сделать это обновление на месте, но все же это возможно, нужно сначала удалить ключ (`del some_dict[5.0]`), а затем установить его (`some_dict[5]`), чтобы получить целое число `5` в качестве ключа вместо плавающего `5.0`, хотя это нужно в редких случаях. + +* Как Python нашел `5` в словаре, содержащем `5.0`? Python делает это за постоянное время без необходимости сканирования каждого элемента, используя хэш-функции. Когда Python ищет ключ `foo` в словаре, он сначала вычисляет `hash(foo)` (что выполняется в постоянном времени). Поскольку в Python требуется, чтобы объекты, которые одинаковы в сравнении, имели одинаковое хэш-значение (смотри [документацию](https://docs.python.org/3/reference/datamodel.html#object.__hash__)), `5`, `5.0` и `5 + 0j` выполняют это условие. + + ```py + >>> 5 == 5.0 == 5 + 0j + True + >>> hash(5) == hash(5.0) == hash(5 + 0j) + True + ``` + **Примечание:** Обратное не обязательно верно: Объекты с одинаковыми хэш-значениями сами могут быть неравными. (Это вызывает так называемую [хэш-коллизию](https://en.wikipedia.org/wiki/Collision_(computer_science)) и ухудшает производительность постоянного времени, которую обычно обеспечивает хеширование). + +--- + + +### ▶ В глубине души мы все одинаковы. + +```py +class WTF: + pass +``` + +**Вывод:** +```py +>>> WTF() == WTF() # разные экземпляры класса не могут быть равны +False +>>> WTF() is WTF() # идентификаторы также различаются +False +>>> hash(WTF()) == hash(WTF()) # хеши тоже должны отличаться +True +>>> id(WTF()) == id(WTF()) +True +``` +#### 💡 Объяснение: + +* При вызове `id` Python создал объект класса `WTF` и передал его функции `id`. Функция `id` забирает свой `id` (расположение в памяти) и выбрасывает объект. Объект уничтожается. +* Когда мы делаем это дважды подряд, Python выделяет ту же самую область памяти и для второго объекта. Поскольку (в CPython) `id` использует участок памяти в качестве идентификатора объекта, идентификатор двух объектов одинаков. +* Таким образом, id объекта уникален только во время жизни объекта. После уничтожения объекта или до его создания, другой объект может иметь такой же id. +* Но почему выражение с оператором `is` равно `False`? Давайте посмотрим с помощью этого фрагмента. + ```py + class WTF(object): + def __init__(self): print("I") + def __del__(self): print("D") + ``` + + **Вывод:** + ```py + >>> WTF() is WTF() + I + I + D + D + False + >>> id(WTF()) == id(WTF()) + I + D + I + D + True + ``` + Как вы можете заметить, все дело в порядке уничтожения объектов. + +--- + + +### ▶ Беспорядок внутри порядка * + +```py +from collections import OrderedDict + +dictionary = dict() +dictionary[1] = 'a'; dictionary[2] = 'b'; + +ordered_dict = OrderedDict() +ordered_dict[1] = 'a'; ordered_dict[2] = 'b'; + +another_ordered_dict = OrderedDict() +another_ordered_dict[2] = 'b'; another_ordered_dict[1] = 'a'; + +class DictWithHash(dict): + """ + Словарь с реализованным методом __hash__. + """ + __hash__ = lambda self: 0 + +class OrderedDictWithHash(OrderedDict): + """ + OrderedDict с реализованным методом __hash__. + """ + __hash__ = lambda self: 0 +``` + +**Вывод** +```py +>>> dictionary == ordered_dict # a == b +True +>>> dictionary == another_ordered_dict # b == c +True +>>> ordered_dict == another_ordered_dict # почему же c != a ?? +False + +# Мы все знаем, что множество состоит из уникальных элементов, +# давайте попробуем составить множество из этих словарей и посмотрим, что получится... + +>>> len({dictionary, ordered_dict, another_ordered_dict}) +Traceback (most recent call last): + File "", line 1, in +TypeError: unhashable type: 'dict' + +# Логично, поскольку в словаре не реализовано магический метод __hash__, попробуем использовать +# наши классы-обертки. +>>> dictionary = DictWithHash() +>>> dictionary[1] = 'a'; dictionary[2] = 'b'; +>>> ordered_dict = OrderedDictWithHash() +>>> ordered_dict[1] = 'a'; ordered_dict[2] = 'b'; +>>> another_ordered_dict = OrderedDictWithHash() +>>> another_ordered_dict[2] = 'b'; another_ordered_dict[1] = 'a'; +>>> len({dictionary, ordered_dict, another_ordered_dict}) +1 +>>> len({ordered_dict, another_ordered_dict, dictionary}) # изменим порядок элементов +2 +``` + +Что здесь происходит? + +#### 💡 Объяснение: + +- Переходное (интранзитивное) равенство между `dictionary`, `ordered_dict` и `another_ordered_dict` не выполняется из-за реализации магического метода `__eq__` в классе `OrderedDict`. Перевод цитаты из [документации](https://docs.python.org/3/library/collections.html#ordereddict-objects) + + > Тесты равенства между объектами OrderedDict чувствительны к порядку и реализуются как `list(od1.items())==list(od2.items())`. Тесты на равенство между объектами `OrderedDict` и другими объектами Mapping нечувствительны к порядку, как обычные словари. +- Причина такого поведения равенства в том, что оно позволяет напрямую подставлять объекты `OrderedDict` везде, где используется обычный словарь. +- Итак, почему изменение порядка влияет на длину генерируемого объекта `set`? Ответ заключается только в отсутствии переходного равенства. Поскольку множества являются "неупорядоченными" коллекциями уникальных элементов, порядок вставки элементов не должен иметь значения. Но в данном случае он имеет значение. Давайте немного разберемся в этом, + ```py + >>> some_set = set() + >>> some_set.add(dictionary) # используем объекты из фрагмента кода выше + >>> ordered_dict in some_set + True + >>> some_set.add(ordered_dict) + >>> len(some_set) + 1 + >>> another_ordered_dict in some_set + True + >>> some_set.add(another_ordered_dict) + >>> len(some_set) + 1 + + >>> another_set = set() + >>> another_set.add(ordered_dict) + >>> another_ordered_dict in another_set + False + >>> another_set.add(another_ordered_dict) + >>> len(another_set) + 2 + >>> dictionary in another_set + True + >>> another_set.add(another_ordered_dict) + >>> len(another_set) + 2 + ``` + Таким образом, выражение `another_ordered_dict` в `another_set` равно `False`, потому что `ordered_dict` уже присутствовал в `another_set` и, как было замечено ранее, `ordered_dict == another_ordered_dict` равно `False`. + +--- + + +### ▶ Продолжай пытаться... * + +```py +def some_func(): + try: + return 'from_try' + finally: + return 'from_finally' + +def another_func(): + for _ in range(3): + try: + continue + finally: + print("Finally!") + +def one_more_func(): # Попался! + try: + for i in range(3): + try: + 1 / i + except ZeroDivisionError: + # Вызовем исключение и обработаем его за пределами цикла + raise ZeroDivisionError("A trivial divide by zero error") + finally: + print("Iteration", i) + break + except ZeroDivisionError as e: + print("Zero division error occurred", e) +``` + +**Результат:** + +```py +>>> some_func() +'from_finally' + +>>> another_func() +Finally! +Finally! +Finally! + +>>> 1 / 0 +Traceback (most recent call last): + File "", line 1, in +ZeroDivisionError: division by zero + +>>> one_more_func() +Iteration 0 + +``` + +#### 💡 Объяснение: + +- Когда один из операторов `return`, `break` или `continue` выполняется в блоке `try` оператора "try...finally", на выходе также выполняется блок `finally`. +- Возвращаемое значение функции определяется последним выполненным оператором `return`. Поскольку блок `finally` выполняется всегда, оператор `return`, выполненный в блоке `finally`, всегда будет последним. +- Предостережение - если в блоке `finally` выполняется оператор `return` или `break`, то временно сохраненное исключение отбрасывается. + +--- + + +### ▶ Для чего? + +```py +some_string = "wtf" +some_dict = {} +for i, some_dict[i] in enumerate(some_string): + i = 10 +``` + +**Вывод:** +```py +>>> some_dict # Словарь с индексами +{0: 'w', 1: 't', 2: 'f'} +``` + +#### 💡 Объяснение: + +* Оператор `for` определяется в [грамматике Python](https://docs.python.org/3/reference/grammar.html) как: + ``` + for_stmt: 'for' exprlist 'in' testlist ':' suite ['else' ':' suite] + ``` + Где `exprlist` - цель присваивания. Это означает, что эквивалент `{exprlist} = {next_value}` **выполняется для каждого элемента** в итерируемом объекте. + Интересный пример, иллюстрирующий это: + ```py + for i in range(4): + print(i) + i = 10 + ``` + + **Результат:** + ``` + 0 + 1 + 2 + 3 + ``` + + Не ожидали, что цикл будет запущен только один раз? + + **💡 Объяснение:**. + + - Оператор присваивания `i = 10` никогда не влияет на итерации цикла из-за того, как циклы for работают в Python. Перед началом каждой итерации следующий элемент, предоставляемый итератором (в данном случае `range(4)`), распаковывается и присваивается переменной целевого списка (в данном случае `i`). + +* Функция `enumerate(some_string)` на каждой итерации выдает новое значение `i` (счетчик-инкремент) и символ из `some_string`. Затем она устанавливает (только что присвоенный) ключ `i` словаря `some_dict` на этот символ. Развертывание цикла можно упростить следующим образом: + ```py + >>> i, some_dict[i] = (0, 'w') + >>> i, some_dict[i] = (1, 't') + >>> i, some_dict[i] = (2, 'f') + >>> some_dict + ``` + +--- + + +### ▶ Расхождение во времени исполнения + +1\. +```py +array = [1, 8, 15] +# Типичный генератор +gen = (x for x in array if array.count(x) > 0) +array = [2, 8, 22] +``` + +**Вывод:** + +```py +>>> print(list(gen)) # Куда подевались остальные значения? +[8] +``` + +2\. + +```py +array_1 = [1,2,3,4] +gen_1 = (x for x in array_1) +array_1 = [1,2,3,4,5] + +array_2 = [1,2,3,4] +gen_2 = (x for x in array_2) +array_2[:] = [1,2,3,4,5] +``` + +**Вывод:** +```py +>>> print(list(gen_1)) +[1, 2, 3, 4] + +>>> print(list(gen_2)) +[1, 2, 3, 4, 5] +``` + +3\. + +```py +array_3 = [1, 2, 3] +array_4 = [10, 20, 30] +gen = (i + j for i in array_3 for j in array_4) + +array_3 = [4, 5, 6] +array_4 = [400, 500, 600] +``` + +**Вывод:** +```py +>>> print(list(gen)) +[401, 501, 601, 402, 502, 602, 403, 503, 603] +``` + +#### 💡 Объяснение + +- В выражении [генераторе](https://wiki.python.org/moin/Generators) условие `in` оценивается во время объявления, но условие `if` оценивается во время выполнения. +- Перед выполнением кода, значение переменной `array` изменяется на список `[2, 8, 22]`, а поскольку из `1`, `8` и `15` только счетчик `8` больше `0`, генератор выдает только `8`. +- Различия в выводе `g1` и `g2` во второй части связаны с тем, как переменным `array_1` и `array_2` присваиваются новые значения. + - В первом случае `array_1` привязывается к новому объекту `[1,2,3,4,5]`, а поскольку `in` выражение исполняется во время объявления, оно по-прежнему ссылается на старый объект `[1,2,3,4]` (который не уничтожается). + - Во втором случае присвоение среза `array_2` обновляет тот же старый объект `[1,2,3,4]` до `[1,2,3,4,5]`. Следовательно, и `g2`, и `array_2` по-прежнему имеют ссылку на один и тот же объект (который теперь обновлен до `[1,2,3,4,5]`). +- Хорошо, следуя приведенной выше логике, не должно ли значение `list(gen)` в третьем фрагменте быть `[11, 21, 31, 12, 22, 32, 13, 23, 33]`? (потому что `array_3` и `array_4` будут вести себя так же, как `array_1`). Причина, по которой (только) значения `array_4` обновляются, объясняется в [PEP-289](https://www.python.org/dev/peps/pep-0289/#the-details) + + > Только крайнее for-выражение исполняется немедленно, остальные выражения откладываются до запуска генератора. + +--- + + +### ▶ `is not ...` не является `is (not ...)` + +```py +>>> 'something' is not None +True +>>> 'something' is (not None) +False +``` + +#### 💡 Объяснение + +- `is not` является единым бинарным оператором, и его поведение отличается от раздельного использования `is` и `not`. +- `is not` имеет значение `False`, если переменные по обе стороны оператора указывают на один и тот же объект, и `True` в противном случае. +- В примере `(not None)` оценивается в `True`, поскольку значение `None` является `False` в булевом контексте, поэтому выражение становится `'something' is True`. + +--- + + +### ▶ Крестики-нолики, где X побеждает с первой попытки! + + +```py +# Инициализируем переменную row +row = [""] * 3 #row i['', '', ''] +# Инициализируем игровую сетку +board = [row] * 3 +``` + +**Результат:** + +```py +>>> board +[['', '', ''], ['', '', ''], ['', '', '']] +>>> board[0] +['', '', ''] +>>> board[0][0] +'' +>>> board[0][0] = "X" +>>> board +[['X', '', ''], ['X', '', ''], ['X', '', '']] +``` + +Мы же не назначали три `"Х"`? + +#### 💡 Объяснение: + +Когда мы инициализируем переменную `row`, эта визуализация объясняет, что происходит в памяти + +

+ + + + Ячейка памяти после того, как переменная row инициализирована. + +

+ +А когда переменная `board` инициализируется путем умножения `row`, вот что происходит в памяти (каждый из элементов `board[0]`, `board[1]` и `board[2]` является ссылкой на тот же список, на который ссылается `row`) + +

+ + + + Ячейка памяти после того, как переменная board инициализирована. + +

+ +Мы можем избежать этого сценария, не используя переменную `row` для генерации `board`. (Подробнее в [issue](https://github.com/satwikkansal/wtfpython/issues/68)). + +```py +>>> board = [['']*3 for _ in range(3)] +>>> board[0][0] = "X" +>>> board +[['X', '', ''], ['', '', ''], ['', '', '']] +``` + +--- + + +### ▶ Переменная Шредингера * + + + +```py +funcs = [] +results = [] +for x in range(7): + def some_func(): + return x + funcs.append(some_func) + results.append(some_func()) # обратите внимание на вызов функции + +funcs_results = [func() for func in funcs] +``` + +**Вывод:** +```py +>>> results +[0, 1, 2, 3, 4, 5, 6] +>>> funcs_results +[6, 6, 6, 6, 6, 6, 6] +``` + +Значения `x` были разными в каждой итерации до добавления `some_func` к `funcs`, но все функции возвращают `6`, когда они исполняются после завершения цикла. + +2. + +```py +>>> powers_of_x = [lambda x: x**i for i in range(10)] +>>> [f(2) for f in powers_of_x] +[512, 512, 512, 512, 512, 512, 512, 512, 512, 512] +``` + +#### 💡 Объяснение: +* При определении функции внутри цикла, которая использует переменную цикла в своем теле, цикл функции привязывается к *переменной*, а не к ее *значению*. Функция ищет `x` в окружающем контексте, а не использует значение `x` на момент создания функции. Таким образом, все функции используют для вычислений последнее значение, присвоенное переменной. Мы можем видеть, что используется `x` из глобального контекста (т.е. *не* локальная переменная): +```py +>>> import inspect +>>> inspect.getclosurevars(funcs[0]) +ClosureVars(nonlocals={}, globals={'x': 6}, builtins={}, unbound=set()) +``` +Так как `x` - глобальная переменная, можно изменить ее значение, которое будет использовано и возвращено из `funcs` + +```py +>>> x = 42 +>>> [func() for func in funcs] +[42, 42, 42, 42, 42, 42, 42] +``` + +* Чтобы получить желаемое поведение, вы можете передать переменную цикла как именованную аргумент в функцию. **Почему это работает?** Потому что это определит переменную *внутри* области видимости функции. Она больше не будет обращаться к глобальной области видимости для поиска значения переменной, а создаст локальную переменную, которая будет хранить значение `x` в данный момент времени. + +```py +funcs = [] +for x in range(7): + def some_func(x=x): + return x + funcs.append(some_func) +``` + +**Вывод:** + +```py +>>> funcs_results = [func() for func in funcs] +>>> funcs_results +[0, 1, 2, 3, 4, 5, 6] +``` + +`x` больше не используется в глобальной области видимости + +```py +>>> inspect.getclosurevars(funcs[0]) +ClosureVars(nonlocals={}, globals={}, builtins={}, unbound=set()) +``` + +--- + + +### ▶ Проблема курицы и яйца * + +1\. +```py +>>> isinstance(3, int) +True +>>> isinstance(type, object) +True +>>> isinstance(object, type) +True +``` + +Так какой же базовый класс является "родительским"? Кстати, это еще не все, + +2\. + +```py +>>> class A: pass +>>> isinstance(A, A) +False +>>> isinstance(type, type) +True +>>> isinstance(object, object) +True +``` + +3\. + +```py +>>> issubclass(int, object) +True +>>> issubclass(type, object) +True +>>> issubclass(object, type) +False +``` + + +#### 💡 Объяснение + +- `type` - это [метакласс](https://realpython.com/python-metaclasses/) в Python. +- **Все** в Python является `объектом`, что включает в себя как классы, так и их объекты (экземпляры). +- Класс `type` является метаклассом класса `object`, и каждый класс (включая `type`) наследуется прямо или косвенно от `object`. +- У `object` и `type` нет реального базового класса. Путаница в приведенных выше фрагментах возникает потому, что мы думаем об этих отношениях (`issubclass` и `isinstance`) в терминах классов Python. Отношения между `object` и `type` не могут быть воспроизведены в чистом Python. Точнее говоря, следующие отношения не могут быть воспроизведены в чистом Python, + + класс A является экземпляром класса B, а класс B является экземпляром класса A. + + класс A является экземпляром самого себя. +- Эти отношения между `object` и `type` (оба являются экземплярами друг друга, а также самих себя) существуют в Python из-за "обмана" на уровне реализации. + +--- + + +### ▶ Отношения между подклассами + +**Вывод:** +```py +>>> from collections import Hashable +>>> issubclass(list, object) +True +>>> issubclass(object, Hashable) +True +>>> issubclass(list, Hashable) +False +``` + +Предполагается, что отношения подклассов должны быть транзитивными, верно? (т.е. если `A` является подклассом `B`, а `B` является подклассом `C`, то `A` _должен_ быть подклассом `C`) + +#### 💡 Объяснение + +* Отношения подклассов не обязательно являются транзитивными в Python. Можно переопределить магический метод `__subclasscheck__` в метаклассе. +* Когда вызывается `issubclass(cls, Hashable)`, он просто ищет не-фальшивый метод "`__hash__`" в `cls` или во всем, от чего он наследуется. +* Поскольку `object` является хэшируемым, а `list` - нет, это нарушает отношение транзитивности. +* Более подробное объяснение можно найти [здесь](https://www.naftaliharris.com/blog/python-subclass-intransitivity/). + +--- + +### ▶ Равенство и тождество методов + + +1. +```py +class SomeClass: + def method(self): + pass + + @classmethod + def classm(cls): + pass + + @staticmethod + def staticm(): + pass +``` + +**Результат:** +```py +>>> print(SomeClass.method is SomeClass.method) +True +>>> print(SomeClass.classm is SomeClass.classm) +False +>>> print(SomeClass.classm == SomeClass.classm) +True +>>> print(SomeClass.staticm is SomeClass.staticm) +True +``` + +Обращаясь к `classm` дважды, мы получаем одинаковый объект, но не *тот же самый*? Давайте посмотрим, что происходит +с экземплярами `SomeClass`: + +2. +```py +o1 = SomeClass() +o2 = SomeClass() +``` + +**Вывод:** +```py +>>> print(o1.method == o2.method) +False +>>> print(o1.method == o1.method) +True +>>> print(o1.method is o1.method) +False +>>> print(o1.classm is o1.classm) +False +>>> print(o1.classm == o1.classm == o2.classm == SomeClass.classm) +True +>>> print(o1.staticm is o1.staticm is o2.staticm is SomeClass.staticm) +True +``` + +Повторный доступ к `классу` или `методу` создает одинаковые, но не *те же самые* объекты для одного и того же экземпляра `какого-либо класса`. + +#### 💡 Объяснение +* Функции являются [дескрипторами](https://docs.python.org/3/howto/descriptor.html). Всякий раз, когда к функции обращаются как к +атрибуту, вызывается дескриптор, создавая объект метода, который "связывает" функцию с объектом, владеющим атрибутом. При вызове метод вызывает функцию, неявно передавая связанный объект в качестве первого аргумента +(именно так мы получаем `self` в качестве первого аргумента, несмотря на то, что не передаем его явно). +```py +>>> o1.method +> +``` +* При многократном обращении к атрибуту каждый раз создается объект метода! Поэтому `o1.method is o1.method` всегда ложно. Однако доступ к функциям как к атрибутам класса (в отличие от экземпляра) не создает методов; поэтому +`SomeClass.method is SomeClass.method` является истинным. +```py +>>> SomeClass.method + +``` +* `classmethod` преобразует функции в методы класса. Методы класса - это дескрипторы, которые при обращении к ним создают +объект метода, который связывает *класс* (тип) объекта, а не сам объект. +```py +>>> o1.classm +> +``` +* В отличие от функций, `classmethod` будет создавать метод и при обращении к нему как к атрибуту класса (в этом случае они +привязываются к классу, а не к его типу). Поэтому `SomeClass.classm is SomeClass.classm` является ошибочным. +```py +>>> SomeClass.classm +> +``` +* Объект-метод равен, если обе функции равны, а связанные объекты одинаковы. Поэтому +`o1.method == o1.method` является истинным, хотя и не является одним и тем же объектом в памяти. +* `staticmethod` преобразует функции в дескриптор "no-op", который возвращает функцию как есть. Методы-объекты +никогда не создается, поэтому сравнение с `is` является истинным. +```py +>>> o1.staticm + +>>> SomeClass.staticm + +``` +* Необходимость создавать новые объекты "метод" каждый раз, когда Python вызывает методы экземпляра, и необходимость изменять аргументы +каждый раз, чтобы вставить `self`, сильно сказывается на производительности. +CPython 3.7 [решил эту проблему](https://bugs.python.org/issue26110), введя новые опкоды, которые работают с вызовом методов +без создания временных объектов методов. Это используется только при фактическом вызове функции доступа, так что +приведенные здесь фрагменты не затронуты и по-прежнему генерируют методы :) + +--- + + +### ▶ All-true-ation (непереводимая игра слов) * + + +```py +>>> all([True, True, True]) +True +>>> all([True, True, False]) +False + +>>> all([]) +True +>>> all([[]]) +False +>>> all([[[]]]) +True +``` + +Почему это изменение True-False? + +#### 💡 Объяснение: + +- Реализация функции `all`: + +- ```py + def all(iterable): + for element in iterable: + if not element: + return False + return True + ``` + +- `all([])` возвращает `True`, поскольку итерируемый массив пуст. +- `all([[]])` возвращает `False`, поскольку переданный массив имеет один элемент, `[]`, а в python пустой список является ложным. +- `all([[[[]]])` и более высокие рекурсивные варианты всегда `True`. Это происходит потому, что единственный элемент переданного массива (`[[...]]`) уже не пуст, а списки со значениями являются истинными. + +--- + + +### ▶ Неожиданная запятая + +**Вывод (< 3.6):** + +```py +>>> def f(x, y,): +... print(x, y) +... +>>> def g(x=4, y=5,): +... print(x, y) +... +>>> def h(x, **kwargs,): + File "", line 1 + def h(x, **kwargs,): + ^ +SyntaxError: invalid syntax + +>>> def h(*args,): + File "", line 1 + def h(*args,): + ^ +SyntaxError: invalid syntax +``` + +#### 💡 Объяснение: + +- Запятая в конце списка аргументов функции Python не всегда законна. +- В Python список аргументов определяется частично с помощью ведущих запятых, а частично с помощью запятых в конце списка. Этот конфликт приводит к ситуациям, когда запятая оказывается в середине, и ни одно из правил не выполняется. +- **Примечание:** Проблема с запятыми в конце списка аргументов [исправлена в Python 3.6](https://bugs.python.org/issue9232). Варианты использования запятых в конце выражения приведены в [обсуждении](https://bugs.python.org/issue9232#msg248399). + +--- + + +### ▶ Строки и обратные слэши + +**Вывод:** +```py +>>> print("\"") +" + +>>> print(r"\"") +\" + +>>> print(r"\") +File "", line 1 + print(r"\") + ^ +SyntaxError: EOL while scanning string literal + +>>> r'\'' == "\\'" +True +``` + +#### 💡 Объяснение + +- В обычной строке обратный слэш используется для экранирования символов, которые могут иметь специальное значение (например, одинарная кавычка, двойная кавычка и сам обратный слэш). + ```py + >>> "wt\"f" + 'wt"f' + ``` +- В необработанном строковом литерале (на что указывает префикс `r`) обратный слэш передается как есть, вместе с поведением экранирования следующего символа. + ```py + >>> r'wt\"f' == 'wt\\"f' + True + >>> print(repr(r'wt\"f') + 'wt\\"f' + + >>> print("\n") + + >>> print(r"\\n") + '\\n' + ``` +- Это означает, что когда синтаксический анализатор встречает обратный слэш в необработанной строке, он ожидает, что за ней последует другой символ. А в нашем случае (`print(r"\")`) обратный слэш экранирует двойную кавычку, оставив синтаксический анализатор без завершающей кавычки (отсюда `SyntaxError`). Вот почему обратный слэш не работает в конце необработанной строки. + +--- + + +### ▶ Не узел! (англ. not knot!) + +```py +x = True +y = False +``` + +**Результат:** +```py +>>> not x == y +True +>>> x == not y + File "", line 1 + x == not y + ^ +SyntaxError: invalid syntax +``` + +#### 💡 Объяснение + +* Старшинство операторов влияет на выполнение выражения, и оператор `==` имеет более высокий приоритет, чем оператор `not` в Python. +* Поэтому `not x == y` эквивалентно `not (x == y)`, что эквивалентно `not (True == False)`, в итоге равное `True`. +* Но `x == not y` вызывает `SyntaxError`, потому что его можно считать эквивалентным `(x == not) y`, а не `x == (not y)`, что можно было бы ожидать на первый взгляд. +* Синтаксический анализатор (англ. parser) ожидал, что ключевое слово `not` будет частью оператора `not in` (потому что оба оператора `==` и `not in` имеют одинаковый приоритет), но после того, как он не смог найти ключевое слово `in`, следующее за `not`, он выдает `SyntaxError`. + +--- + + +### ▶ Строки, наполовину обернутые в тройные кавычки + +**Вывод:** +```py +>>> print('wtfpython''') +wtfpython +>>> print("wtfpython""") +wtfpython +>>> # Выражения ниже приводят к `SyntaxError` +>>> # print('''wtfpython') +>>> # print("""wtfpython") + File "", line 3 + print("""wtfpython") + ^ +SyntaxError: EOF while scanning triple-quoted string literal +``` + +#### 💡 Объяснение: ++ Python поддерживает неявную [конкатенацию строковых литералов](https://docs.python.org/3/reference/lexical_analysis.html#string-literal-concatenation), Пример, + ``` + >>> print("wtf" "python") + wtfpython + >>> print("wtf" "") # or "wtf""" + wtf + ``` ++ `'''` и `"""` также являются разделителями строк в Python, что вызывает SyntaxError, поскольку интерпретатор Python ожидал завершающую тройную кавычку в качестве разделителя при сканировании текущего встреченного строкового литерала с тройной кавычкой. + +--- + +### ▶ Что не так с логическими значениями? + +1\. + +```py +# Простой пример счетчика логических переменных и целых чисел +# в итерируемом объекте со значениями разных типов данных +mixed_list = [False, 1.0, "some_string", 3, True, [], False] +integers_found_so_far = 0 +booleans_found_so_far = 0 + +for item in mixed_list: + if isinstance(item, int): + integers_found_so_far += 1 + elif isinstance(item, bool): + booleans_found_so_far += 1 +``` + +**Результат:** +```py +>>> integers_found_so_far +4 +>>> booleans_found_so_far +0 +``` + + +2\. +```py +>>> some_bool = True +>>> "wtf" * some_bool +'wtf' +>>> some_bool = False +>>> "wtf" * some_bool +'' +``` + +3\. + +```py +def tell_truth(): + True = False + if True == False: + print("I have lost faith in truth!") +``` + +**Результат (< 3.x):** + +```py +>>> tell_truth() +I have lost faith in truth! +``` + + + +#### 💡 Объяснение: + +* `bool` это подкласс класса `int` в Python + + ```py + >>> issubclass(bool, int) + True + >>> issubclass(int, bool) + False + ``` + +* `True` и `False` - экземпляры класса `int` + ```py + >>> isinstance(True, int) + True + >>> isinstance(False, int) + True + ``` + +* Целочисленное значение `True` равно `1`, а `False` равно `0`. + ```py + >>> int(True) + 1 + >>> int(False) + 0 + ``` + +* Объяснение на [StackOverflow](https://stackoverflow.com/a/8169049/4354153). + +* Изначально в Python не было типа `bool` (использовали 0 для false и ненулевое значение 1 для true). В версиях 2.x были добавлены `True`, `False` и тип `bool`, но для обратной совместимости `True` и `False` нельзя было сделать константами. Они просто были встроенными переменными, и их можно было переназначить. + +* Python 3 несовместим с предыдущими версиями, эту проблему наконец-то исправили, и поэтому последний фрагмент не будет работать с Python 3.x! + +--- + + +### ▶ Атрибуты класса и экземпляра + +1\. +```py +class A: + x = 1 + +class B(A): + pass + +class C(A): + pass +``` + +**Результат:** +```py +>>> A.x, B.x, C.x +(1, 1, 1) +>>> B.x = 2 +>>> A.x, B.x, C.x +(1, 2, 1) +>>> A.x = 3 +>>> A.x, B.x, C.x # Значение C.x изменилось , но B.x - нет +(3, 2, 3) +>>> a = A() +>>> a.x, A.x +(3, 3) +>>> a.x += 1 +>>> a.x, A.x +(4, 3) +``` + +2\. +```py +class SomeClass: + some_var = 15 + some_list = [5] + another_list = [5] + def __init__(self, x): + self.some_var = x + 1 + self.some_list = self.some_list + [x] + self.another_list += [x] +``` + +**Результат:** + +```py +>>> some_obj = SomeClass(420) +>>> some_obj.some_list +[5, 420] +>>> some_obj.another_list +[5, 420] +>>> another_obj = SomeClass(111) +>>> another_obj.some_list +[5, 111] +>>> another_obj.another_list +[5, 420, 111] +>>> another_obj.another_list is SomeClass.another_list +True +>>> another_obj.another_list is some_obj.another_list +True +``` + +#### 💡 Объяснение: + +* Переменные класса и переменные экземпляров класса внутренне обрабатываются как словари объекта класса. Если имя переменной не найдено в словаре текущего класса, оно ищется в родительских классах. +* Оператор += изменяет объект на месте, не создавая новый объект. Таким образом, изменение атрибута одного экземпляра влияет на другие экземпляры и атрибут класса также. + +--- + + +### ▶ Возврат None из генератора + +```py +some_iterable = ('a', 'b') + +def some_func(val): + return "something" +``` + +**Результат (<= 3.7.x):** + +```py +>>> [x for x in some_iterable] +['a', 'b'] +>>> [(yield x) for x in some_iterable] + at 0x7f70b0a4ad58> +>>> list([(yield x) for x in some_iterable]) +['a', 'b'] +>>> list((yield x) for x in some_iterable) +['a', None, 'b', None] +>>> list(some_func((yield x)) for x in some_iterable) +['a', 'something', 'b', 'something'] +``` + +#### 💡 Объяснение: +- Это баг в обработке yield в генераторах и списочных выражениях CPython. +- Исходный код и объяснение можно найти [здесь](https://stackoverflow.com/questions/32139885/yield-in-list-comprehensions-and-generator-expressions) +- Связанный [отчет об ошибке](https://bugs.python.org/issue10544) +- В Python 3.8+ yield внутри списочных выражений больше не допускается и выдает `SyntaxError`. + +--- + + +### ▶ Yield from возвращает... * + +1\. + +```py +def some_func(x): + if x == 3: + return ["wtf"] + else: + yield from range(x) +``` + +**Результат (> 3.3):** + +```py +>>> list(some_func(3)) +[] +``` + +Куда исчезло `"wtf"`? Это связано с каким-то особым эффектом `yield from`? Проверим это. + +2\. + +```py +def some_func(x): + if x == 3: + return ["wtf"] + else: + for i in range(x): + yield i +``` + +**Результат:** + +```py +>>> list(some_func(3)) +[] +``` + +Опять не сработало. Что происходит? + +#### 💡 Объяснение: + ++ С Python 3.3 стало возможным использовать оператор `return` в генераторах с возвращением значения (см. [PEP380](https://www.python.org/dev/peps/pep-0380/)). В [официальной документации](https://www.python.org/dev/peps/pep-0380/#enhancements-to-stopiteration) говорится, что + +> "... `return expr` в генераторе вызывает исключение `StopIteration(expr)` при выходе из генератора." + ++ В случае `some_func(3)` `StopIteration` возникает в начале из-за оператора `return`. Исключение `StopIteration` автоматически перехватывается внутри обертки `list(...)` и цикла `for`. Поэтому два вышеприведенных фрагмента возвращают пустой список. + ++ Чтобы получить `["wtf"]` из генератора `some_func`, нужно перехватить исключение `StopIteration`. + + ```py + try: + next(some_func(3)) + except StopIteration as e: + some_string = e.value + ``` + + ```py + >>> some_string + ["wtf"] + ``` + +--- + + +### ▶ Nan-рефлексивность * + + + +1\. + +```py +a = float('inf') +b = float('nan') +c = float('-iNf') # Эти строки не чувствительны к регистру +d = float('nan') +``` + +**Результат:** + +```py +>>> a +inf +>>> b +nan +>>> c +-inf +>>> float('some_other_string') +ValueError: could not convert string to float: some_other_string +>>> a == -c # inf==inf +True +>>> None == None # None == None +True +>>> b == d # но nan!=nan +False +>>> 50 / a +0.0 +>>> a / a +nan +>>> 23 + b +nan +``` + +2\. + +```py +>>> x = float('nan') +>>> y = x / x +>>> y is y # идентичность сохраняется +True +>>> y == y # сравнение ложно для y +False +>>> [y] == [y] # но сравнение истинно для списка, содержащего y +True +``` + +#### 💡 Объяснение: + +- `'inf'` и `'nan'` - это специальные строки (без учета регистра), которые при явном приведении к типу `float` используются для представления математической "бесконечности" и "не число" соответственно. + +- Согласно стандартам IEEE, `NaN != NaN`, но соблюдение этого правила нарушает предположение о рефлексивности элемента коллекции в Python, то есть если `x` является частью коллекции, такой как `list`, реализации методов сравнения предполагают, что `x == x`. Поэтому при сравнении элементов сначала сравниваются их идентификаторы (так как это быстрее), а значения сравниваются только при несовпадении идентификаторов. Следующий фрагмент сделает вещи более ясными: + + ```py + >>> x = float('nan') + >>> x == x, [x] == [x] + (False, True) + >>> y = float('nan') + >>> y == y, [y] == [y] + (False, True) + >>> x == y, [x] == [y] + (False, False) + ``` + + Поскольку идентификаторы `x` и `y` разные, рассматриваются значения, которые также различаются; следовательно, на этот раз сравнение возвращает `False`. + +- Интересное чтение: [Рефлексивность и другие основы цивилизации](https://bertrandmeyer.com/2010/02/06/reflexivity-and-other-pillars-of-civilization/) + +--- + + +### ▶ Изменяем неизменяемое! + + + +Это может показаться тривиальным, если вы знаете, как работают ссылки в Python. + +```py +some_tuple = ("A", "tuple", "with", "values") +another_tuple = ([1, 2], [3, 4], [5, 6]) +``` + +**Результат:** +```py +>>> some_tuple[2] = "change this" +TypeError: 'tuple' object does not support item assignment +>>> another_tuple[2].append(1000) # Не приводит к исключениям +>>> another_tuple +([1, 2], [3, 4], [5, 6, 1000]) +>>> another_tuple[2] += [99, 999] +TypeError: 'tuple' object does not support item assignment +>>> another_tuple +([1, 2], [3, 4], [5, 6, 1000, 99, 999]) +``` + +Но кортежи неизменяемы... Что происходит? + +#### 💡 Объяснение: + +* Перевод цитаты из [документации](https://docs.python.org/3/reference/datamodel.html) + + > Объект неизменяемого типа последовательности не может измениться после создания. (Если объект содержит ссылки на другие объекты, эти объекты могут быть изменяемыми и могут быть изменены; однако набор объектов, на которые непосредственно ссылается неизменяемый объект, не может изменяться.) + +* Оператор `+=` изменяет список на месте. Присваивание элемента не работает, но когда возникает исключение, элемент уже был изменен на месте. +* Также есть объяснение в официальном [Python FAQ](https://docs.python.org/3/faq/programming.html#why-does-a-tuple-i-item-raise-an-exception-when-the-addition-works). + +--- + + +### ▶ Исчезающая переменная из внешней области видимости + + +```py +e = 7 +try: + raise Exception() +except Exception as e: + pass +``` + +**Результат (Python 2.x):** +```py +>>> print(e) +# Ничего не выводит +``` + +**Результат (Python 3.x):** +```py +>>> print(e) +NameError: name 'e' is not defined +``` + +#### 💡 Объяснение: + +* [Источник](https://docs.python.org/3/reference/compound_stmts.html#except) + +Когда исключение было назначено с помощью ключевого слова `as`, оно очищается в конце блока `except`. Это происходит так, как если бы + + ```py + except E as N: + foo + ``` + +разворачивалось до + + ```py + except E as N: + try: + foo + finally: + del N + ``` + +Это означает, что исключению должно быть присвоено другое имя, чтобы на него можно было ссылаться после завершения блока `except`. Исключения очищаются, потому что с прикрепленным к ним трейсбэком они образуют цикл ссылок со стэком вызовов, сохраняя все локальные объекты в этой стэке до следующей сборки мусора. + +* В Python clauses не имеют области видимости. В примере все объекты в одной области видимости, а переменная `e` была удалена из-за выполнения блока `except`. Этого нельзя сказать о функциях, которые имеют отдельные внутренние области видимости. Пример ниже иллюстрирует это: + + ```py + def f(x): + del(x) + print(x) + + x = 5 + y = [5, 4, 3] + ``` + + **Результат:** + ```py + >>> f(x) + UnboundLocalError: local variable 'x' referenced before assignment + >>> f(y) + UnboundLocalError: local variable 'x' referenced before assignment + >>> x + 5 + >>> y + [5, 4, 3] + ``` + +* В Python 2.x, имя переменной `e` назначается на экземпляр `Exception()`, и при попытки вывести значение `e` ничего не выводится. + + **Результат (Python 2.x):** + ```py + >>> e + Exception() + >>> print e + # Ничего не выводится! + ``` + +--- + + +### ▶ Загадочное преобразование типов ключей + +```py +class SomeClass(str): + pass + +some_dict = {'s': 42} +``` + +**Результат:** +```py +>>> type(list(some_dict.keys())[0]) +str +>>> s = SomeClass('s') +>>> some_dict[s] = 40 +>>> some_dict # Ожидается 2 разные пары ключ-значение +{'s': 40} +>>> type(list(some_dict.keys())[0]) +str +``` + +#### 💡 Объяснение: + +* И объект `s`, и строка `"s"` хэшируются до одного и того же значения, потому что `SomeClass` наследует метод `__hash__` класса `str`. +* Выражение `SomeClass("s") == "s"` эквивалентно `True`, потому что `SomeClass` также наследует метод `__eq__` класса `str`. +* Поскольку оба объекта хэшируются на одно и то же значение и равны, они представлены одним и тем же ключом в словаре. +* Чтобы добиться желаемого поведения, мы можем переопределить метод `__eq__` в `SomeClass`. + ```py + class SomeClass(str): + def __eq__(self, other): + return ( + type(self) is SomeClass + and type(other) is SomeClass + and super().__eq__(other) + ) + + # При переопределении метода __eq__, Python прекращает автоматическое наследование метода + # __hash__, поэтому его нужно вручную определить + __hash__ = str.__hash__ + + some_dict = {'s':42} + ``` + + **Результат:** + ```py + >>> s = SomeClass('s') + >>> some_dict[s] = 40 + >>> some_dict + {'s': 40, 's': 42} + >>> keys = list(some_dict.keys()) + >>> type(keys[0]), type(keys[1]) + (__main__.SomeClass, str) + ``` + +--- + + +### ▶ Посмотрим, сможете ли вы угадать что здесь? + +```py +a, b = a[b] = {}, 5 +``` + +**Результат:** +```py +>>> a +{5: ({...}, 5)} +``` + +#### 💡 Объяснение: + +* Согласно [документации](https://docs.python.org/3/reference/simple_stmts.html#assignment-statements), выражения присваивания имеют вид + ``` + (target_list "=")+ (expression_list | yield_expression) + ``` + и + +> Оператор присваивания исполняет список выражений (помните, что это может быть одно выражение или список, разделенный запятыми, в последнем случае получается кортеж) и присваивает единственный результирующий объект каждому из целевых списков, слева направо. + +* `+` в `(target_list "=")+` означает, что может быть **один или более** целевых списков. В данном случае целевыми списками являются `a, b` и `a[b]` (обратите внимание, что список выражений ровно один, в нашем случае это `{}, 5`). +* После исполнения списка выражений его значение распаковывается в целевые списки **слева направо**. Так, в нашем случае сначала кортеж `{}, 5` распаковывается в `a, b`, и теперь у нас есть `a = {}` и `b = 5`. +* Теперь `a` имеет значение `{}`, которое является изменяемым объектом. +* Вторым целевым списком является `a[b]` (вы можете ожидать, что это вызовет ошибку, поскольку `a` и `b` не были определены в предыдущих утверждениях. Но помните, мы только что присвоили `a` значение `{}` и `b` - `5`). +* Теперь мы устанавливаем ключ `5` в словаре в кортеж `({}, 5)`, создавая круговую ссылку (`{...}` в выводе ссылается на тот же объект, на который уже ссылается `a`). Другим более простым примером круговой ссылки может быть + +```py + >>> some_list + [[...]] + >>> some_list[0] + [[...]] + >>> some_list is some_list[0] + True + >>> some_list[0][0][0][0][0][0] == some_list + True + ``` + Аналогичный случай в примере выше (`a[b][0]` - это тот же объект, что и `a`) + +* Подводя итог, можно разбить пример на следующие пункты + ```py + a, b = {}, 5 + a[b] = a, b + ``` + А циклическая ссылка может быть оправдана тем, что `a[b][0]` - тот же объект, что и `a` + ```py + >>> a[b][0] is a + True + ``` + + --- + + +### ▶ Превышение предела целочисленного преобразования строк +```py +>>> # Python 3.10.6 +>>> int("2" * 5432) +>>> # Python 3.10.8 +>>> int("2" * 5432) +``` +**Вывод:** +```py +>>> # Python 3.10.6 +222222222222222222222222222222222222222222222222222222222222222... +>>> # Python 3.10.8 +Traceback (most recent call last): + ... +ValueError: Exceeds the limit (4300) for integer string conversion: + value has 5432 digits; use sys.set_int_max_str_digits() + to increase the limit. +``` +#### 💡 Объяснение: +Этот вызов `int()` прекрасно работает в Python 3.10.6 и вызывает ошибку `ValueError` в Python 3.10.8, 3.11. Обратите внимание, что Python все еще может работать с большими целыми числами. Ошибка возникает только при преобразовании между целыми числами и строками. +К счастью, вы можете увеличить предел допустимого количества цифр. Для этого можно воспользоваться одним из следующих способов: +- `-X int_max_str_digits` - флаг командной строки +- `set_int_max_str_digits()` - функция из модуля `sys` +- `PYTHONINTMAXSTRDIGITS` - переменная окружения + +[Смотри документацию](https://docs.python.org/3/library/stdtypes.html#int-max-str-digits) для получения более подробной информации об изменении лимита по умолчанию, если вы ожидаете, что ваш код превысит это значение. + +--- + + +## Раздел: Скользкие склоны + +### ▶ Изменение словаря во время прохода по нему + +```py +x = {0: None} + +for i in x: + del x[i] + x[i+1] = None + print(i) +``` + +**Результат (Python 2.7- Python 3.5):** + +``` +0 +1 +2 +3 +4 +5 +6 +7 +``` + +Да, цикл выполняет ровно **восемь** итераций и завершается. + +#### 💡 Объяснение: + +* Проход по словарю и его одновременное редактирование не поддерживается. +* Выполняется восемь проходов, потому что именно в этот момент словарь изменяет размер, чтобы вместить больше ключей (у нас есть восемь записей об удалении, поэтому необходимо изменить размер). На самом деле это деталь реализации. +* То, как обрабатываются удаленные ключи и когда происходит изменение размера, может отличаться в разных реализациях Python. +* Так что для версий Python, отличных от Python 2.7 - Python 3.5, количество записей может отличаться от 8 (но каким бы ни было количество записей, оно будет одинаковым при каждом запуске). Обсуждения по этому поводу имеются в [issue](https://github.com/satwikkansal/wtfpython/issues/53) и на [StackOverflow](https://stackoverflow.com/questions/44763802/bug-in-python-dict). +* В Python 3.7.6 и выше при попытке запустить пример вызывается исключение `RuntimeError: dictionary keys changed during iteration`. + +--- + + +### ▶ Упрямая операция `del` + + + +```py +class SomeClass: + def __del__(self): + print("Deleted!") +``` + +**Результат:** +1\. +```py +>>> x = SomeClass() +>>> y = x +>>> del x # должно быть выведено "Deleted!" +>>> del y +Deleted! +``` + +Фух, наконец-то удалили. Вы, наверное, догадались, что спасло `__del__` от вызова в нашей первой попытке удалить `x`. Давайте добавим в пример еще больше изюминок. + +2\. +```py +>>> x = SomeClass() +>>> y = x +>>> del x +>>> y # проверяем, существует ли y +<__main__.SomeClass instance at 0x7f98a1a67fc8> +>>> del y # Как и в прошлом примере, вывод должен содержать "Deleted!" +>>> globals() # но вывод пуст. Проверим все глобальные переменные +Deleted! +{'__builtins__': , 'SomeClass': , '__package__': None, '__name__': '__main__', '__doc__': None} +``` + +Вот сейчас переменная `y` удалена :confused: + +#### 💡 Объяснение: + ++ `del x` не вызывает напрямую `x.__del__()`. ++ Когда встречается `del x`, Python удаляет имя `x` из текущей области видимости и уменьшает на 1 количество ссылок на объект, на который ссылается `x`. `__del__()` вызывается только тогда, когда счетчик ссылок объекта достигает нуля. ++ Во втором фрагменте вывода `__del__()` не была вызвана, потому что предыдущий оператор (`>>> y`) в интерактивном интерпретаторе создал еще одну ссылку на тот же объект (в частности, магическую переменную `_`, которая ссылается на значение результата последнего не `None` выражения в REPL), тем самым не позволив счетчику ссылок достичь нуля, когда было встречено `del y`. ++ Вызов `globals` (или вообще выполнение чего-либо, что будет иметь результат, отличный от `None`) заставил `_` сослаться на новый результат, отбросив существующую ссылку. Теперь количество ссылок достигло 0, и мы можем видеть, как выводится "Deleted!" (наконец-то!). + +--- + + +### ▶ Переменная за пределами видимости + + +1\. +```py +a = 1 +def some_func(): + return a + +def another_func(): + a += 1 + return a +``` + +2\. +```py +def some_closure_func(): + a = 1 + def some_inner_func(): + return a + return some_inner_func() + +def another_closure_func(): + a = 1 + def another_inner_func(): + a += 1 + return a + return another_inner_func() +``` + +**Результат:** +```py +>>> some_func() +1 +>>> another_func() +UnboundLocalError: local variable 'a' referenced before assignment + +>>> some_closure_func() +1 +>>> another_closure_func() +UnboundLocalError: local variable 'a' referenced before assignment +``` + +#### 💡 Объяснение: +* Когда вы делаете присваивание переменной в области видимости, она становится локальной для этой области. Так `a` становится локальной для области видимости `another_func`, но она не была инициализирована ранее в той же области видимости, что приводит к ошибке. +* Для изменения переменной `a` из внешней области видимости внутри функции `another_func`, необходимо использовать ключевое слово `global`. + ```py + def another_func() + global a + a += 1 + return a + ``` + + **Результат:** + ```py + >>> another_func() + 2 + ``` +* В `another_closure_func` переменная `a` становится локальной для области видимости `another_inner_func`, но она не была инициализирована ранее в той же области видимости, поэтому выдает ошибку. +* Чтобы изменить переменную внешней области видимости `a` в `another_inner_func`, используйте ключевое слово `nonlocal`. Утверждение nonlocal используется для обращения к переменным, определенным в ближайшей внешней (за исключением глобальной) области видимости. + + ```py + def another_func(): + a = 1 + def another_inner_func(): + nonlocal a + a += 1 + return a + return another_inner_func() + ``` + + **Результат:** + ```py + >>> another_func() + 2 + ``` + +* Ключевые слова `global` и `nonlocal` указывают интерпретатору python не объявлять новые переменные и искать их в соответствующих внешних областях видимости. +* Прочитайте [это](https://sebastianraschka.com/Articles/2014_python_scope_and_namespaces.html) короткое, но потрясающее руководство, чтобы узнать больше о том, как работают пространства имен и разрешение областей видимости в Python. + +--- + + +### ▶ Удаление элемента списка во время прохода по списку + +```py +list_1 = [1, 2, 3, 4] +list_2 = [1, 2, 3, 4] +list_3 = [1, 2, 3, 4] +list_4 = [1, 2, 3, 4] + +for idx, item in enumerate(list_1): + del item + +for idx, item in enumerate(list_2): + list_2.remove(item) + +for idx, item in enumerate(list_3[:]): + list_3.remove(item) + +for idx, item in enumerate(list_4): + list_4.pop(idx) +``` + +**Результат:** +```py +>>> list_1 +[1, 2, 3, 4] +>>> list_2 +[2, 4] +>>> list_3 +[] +>>> list_4 +[2, 4] +``` + +Есть предположения, почему вывод `[2, 4]`? + +#### 💡 Объяснение: + +* Никогда не стоит изменять объект, над которым выполняется итерация. Правильным способом будет итерация по копии объекта, и `list_3[:]` делает именно это. + ```py + >>> some_list = [1, 2, 3, 4] + >>> id(some_list) + 139798789457608 + >>> id(some_list[:]) # Обратите внимание, создается новый объект из среза списка + 139798779601192 + ``` + +**Разница между `del`, `remove` и `pop`:** +* `del var_name` просто удаляет привязку `var_name` из локального или глобального пространства имен (поэтому `list_1` не затрагивается). +* `remove` удаляет первое подходящее значение, а не конкретный индекс, вызывает `ValueError`, если значение не найдено. +* `pop` удаляет элемент по определенному индексу и возвращает его, вызывает `IndexError`, если указан неверный индекс. + +**Почему на выходе получается `[2, 4]`?** +- Проход по списку выполняется индекс за индексом, и когда мы удаляем `1` из `list_2` или `list_4`, содержимое списков становится `[2, 3, 4]`. Оставшиеся элементы сдвинуты вниз, то есть `2` находится на индексе 0, а `3` - на индексе 1. Поскольку на следующей итерации будет просматриваться индекс 1 (который и есть `3`), `2` будет пропущен полностью. Аналогичное произойдет с каждым альтернативным элементом в последовательности списка. + +* Объяснение примера можно найти на [StackOverflow](https://stackoverflow.com/questions/45946228/what-happens-when-you-try-to-delete-a-list-element-while-iterating-over-it). +* Также посмотрите на похожий пример на [StackOverflow](https://stackoverflow.com/questions/45877614/how-to-change-all-the-dictionary-keys-in-a-for-loop-with-d-items), связанный со словарями. + +--- + + +### ▶ Сжатие итераторов с потерями * + + +```py +>>> numbers = list(range(7)) +>>> numbers +[0, 1, 2, 3, 4, 5, 6] +>>> first_three, remaining = numbers[:3], numbers[3:] +>>> first_three, remaining +([0, 1, 2], [3, 4, 5, 6]) +>>> numbers_iter = iter(numbers) +>>> list(zip(numbers_iter, first_three)) +[(0, 0), (1, 1), (2, 2)] +# пока все хорошо, сожмем оставшуюся часть итератора +>>> list(zip(numbers_iter, remaining)) +[(4, 3), (5, 4), (6, 5)] +``` +Куда пропал элемент `3` из списка `numbers`? + +#### 💡 Объяснение: + +- Согласно [документации](https://docs.python.org/3.12/library/functions.html#zip), примерная реализация функции `zip` выглядит так, + ```py + def zip(*iterables): + sentinel = object() + iterators = [iter(it) for it in iterables] + while iterators: + result = [] + for it in iterators: + elem = next(it, sentinel) + if elem is sentinel: return + result.append(elem) + yield tuple(result) + ``` +- Таким образом, функция принимает произвольное количество итерируемых объектов, добавляет каждый из их элементов в список `result`, вызывая для них функцию `next`, и останавливается всякий раз, когда любой из итерируемых объектов исчерпывается. +- Нюанс заключается в том, что при исчерпании любого итерируемого объекта существующие элементы в списке `result` отбрасываются. Именно это произошло с `3` в `numbers_iter`. +- Правильный способ выполнения вышеописанных действий с помощью `zip` будет следующим, + ```py + >>> numbers = list(range(7)) + >>> numbers_iter = iter(numbers) + >>> list(zip(first_three, numbers_iter)) + [(0, 0), (1, 1), (2, 2)] + >>> list(zip(remaining, numbers_iter)) + [(3, 3), (4, 4), (5, 5), (6, 6)] + ``` + Первый аргумент сжатия должен иметь наименьшее число элементов + +--- + + +### ▶ Утечка переменных внутри цикла + +1\. +```py +for x in range(7): + if x == 6: + print(x, ': for x inside loop') +print(x, ': x in global') +``` + +**Вывод:** +```py +6 : for x inside loop +6 : x in global +``` + +Но `x` не была определена за пределами цикла `for`... + +2\. +```py +# В этот раз определим x до цикла +x = -1 +for x in range(7): + if x == 6: + print(x, ': for x inside loop') +print(x, ': x in global') +``` + +**Вывод:** +```py +6 : for x inside loop +6 : x in global +``` + +3\. + +**Вывод (Python 2.x):** +```py +>>> x = 1 +>>> print([x for x in range(5)]) +[0, 1, 2, 3, 4] +>>> print(x) +4 +``` + +**Вывод (Python 3.x):** +```py +>>> x = 1 +>>> print([x for x in range(5)]) +[0, 1, 2, 3, 4] +>>> print(x) +1 +``` + +#### 💡 Объяснение: + +- В Python циклы for используют область видимости, в которой они существуют, и оставляют свою определенную переменную цикла после завершения. Это также относится к случаям, когда мы явно определили переменную цикла for в глобальном пространстве имен. В этом случае будет произведена повторная привязка существующей переменной. + +- Различия в выводе интерпретаторов Python 2.x и Python 3.x для примера с пониманием списков можно объяснить следующим изменением, задокументированным в журнале изменений [What's New In Python 3.0](https://docs.python.org/3/whatsnew/3.0.html): + + > "Генераторы списков ("list comprehensions") больше не поддерживает синтаксическую форму `[... for var in item1, item2, ...]`. Вместо этого используйте `[... for var in (item1, item2, ...)]`. Кроме того, обратите внимание, что генераторы списков имеют другую семантику: они ближе к синтаксическому сахару для генераторного выражения внутри конструктора `list()`, и, в частности, управляющие переменные цикла больше не просачиваются в окружающую область видимости." + +--- + + +### ▶ Остерегайтесь изменяемых аргументов по умолчанию! + + +```py +def some_func(default_arg=[]): + default_arg.append("some_string") + return default_arg +``` + +**Результат:** +```py +>>> some_func() +['some_string'] +>>> some_func() +['some_string', 'some_string'] +>>> some_func([]) +['some_string'] +>>> some_func() +['some_string', 'some_string', 'some_string'] +``` + +#### 💡 Объяснение: + +- Изменяемые аргументы функций по умолчанию в Python на самом деле не инициализируются каждый раз, когда вы вызываете функцию. Вместо этого в качестве значения по умолчанию используется недавно присвоенное им значение. Когда мы явно передали `[]` в `some_func` в качестве аргумента, значение по умолчанию переменной `default_arg` не было использовано, поэтому функция вернулась, как и ожидалось. + + ```py + def some_func(default_arg=[]): + default_arg.append("some_string") + return default_arg + ``` + + **Результат:** + ```py + >>> some_func.__defaults__ # Выражение выведет значения стандартных аргументов функции + ([],) + >>> some_func() + >>> some_func.__defaults__ + (['some_string'],) + >>> some_func() + >>> some_func.__defaults__ + (['some_string', 'some_string'],) + >>> some_func([]) + >>> some_func.__defaults__ + (['some_string', 'some_string'],) + ``` + +- Чтобы избежать ошибок, связанных с изменяемыми аргументами, принято использовать `None` в качестве значения по умолчанию, а затем проверять, передано ли какое-либо значение в функцию, соответствующую этому аргументу. Пример: + + ```py + def some_func(default_arg=None): + if default_arg is None: + default_arg = [] + default_arg.append("some_string") + return default_arg + ``` + +--- + + +### ▶ Ловля исключений + +```py +some_list = [1, 2, 3] +try: + # Должно вернуться ``IndexError`` + print(some_list[4]) +except IndexError, ValueError: + print("Caught!") + +try: + # Должно вернуться ``ValueError`` + some_list.remove(4) +except IndexError, ValueError: + print("Caught again!") +``` + +**Результат (Python 2.x):** +```py +Caught! + +ValueError: list.remove(x): x not in list +``` + +**Результат (Python 3.x):** +```py + File "", line 3 + except IndexError, ValueError: + ^ +SyntaxError: invalid syntax +``` + +#### 💡 Объяснение + +* Чтобы добавить несколько Исключений в блок `except`, необходимо передать их в виде кортежа с круглыми скобками в качестве первого аргумента. Второй аргумент - это необязательное имя, которое при передаче свяжет экземпляр исключения, который был пойман. Пример, + ```py + some_list = [1, 2, 3] + try: + # Должно возникнуть ``ValueError`` + some_list.remove(4) + except (IndexError, ValueError), e: + print("Caught again!") + print(e) + ``` + **Результат (Python 2.x):** + ``` + Caught again! + list.remove(x): x not in list + ``` + **Результат (Python 3.x):** + ```py + File "", line 4 + except (IndexError, ValueError), e: + ^ + IndentationError: unindent does not match any outer indentation level + ``` + +* Отделение исключения от переменной запятой является устаревшим и не работает в Python 3; правильнее использовать `as`. Пример, + ```py + some_list = [1, 2, 3] + try: + some_list.remove(4) + + except (IndexError, ValueError) as e: + print("Caught again!") + print(e) + ``` + **Результат:** + ``` + Caught again! + list.remove(x): x not in list + ``` + +--- + + +### ▶ Одни и те же операнды, разная история! + +1\. +```py +a = [1, 2, 3, 4] +b = a +a = a + [5, 6, 7, 8] +``` + +**Результат:** +```py +>>> a +[1, 2, 3, 4, 5, 6, 7, 8] +>>> b +[1, 2, 3, 4] +``` + +2\. +```py +a = [1, 2, 3, 4] +b = a +a += [5, 6, 7, 8] +``` + +**Результат:** +```py +>>> a +[1, 2, 3, 4, 5, 6, 7, 8] +>>> b +[1, 2, 3, 4, 5, 6, 7, 8] +``` + +#### 💡 Объяснение: + +* Выражение `a += b` не всегда ведет себя так же, как и `a = a + b`. Классы *могут* по-разному реализовывать операторы *`op=`*, а списки ведут себя так. + +* Выражение `a = a + [5,6,7,8]` создает новый список и устанавливает ссылку `a` на этот новый список, оставляя `b` неизменным. + +* Выражение `a += [5,6,7,8]` фактически отображается на функцию "extend", которая работает со списком так, что `a` и `b` по-прежнему указывают на тот же самый список, который был изменен на месте. + +--- + + +### ▶ Разрешение имен игнорирует область видимости класса + +1\. +```py +x = 5 +class SomeClass: + x = 17 + y = (x for i in range(10)) +``` + +**Результат:** +```py +>>> list(SomeClass.y)[0] +5 +``` + +2\. +```py +x = 5 +class SomeClass: + x = 17 + y = [x for i in range(10)] +``` + +**Результат (Python 2.x):** +```py +>>> SomeClass.y[0] +17 +``` + +**Результат (Python 3.x):** +```py +>>> SomeClass.y[0] +5 +``` + +#### 💡 Объяснение +- Области видимости, вложенные внутрь определения класса, игнорируют имена, связанные на уровне класса. +- Выражение-генератор имеет свою собственную область видимости. +- Начиная с версии Python 3.X, списковые выражения (list comprehensions) также имеют свою собственную область видимости. + +--- + + +### ▶ Округляясь как банкир * + +Реализуем простейшую функцию по получению среднего элемента списка: +```py +def get_middle(some_list): + mid_index = round(len(some_list) / 2) + return some_list[mid_index - 1] +``` + +**Python 3.x:** +```py +>>> get_middle([1]) # вроде неплохо +1 +>>> get_middle([1,2,3]) # все еще хорошо +2 +>>> get_middle([1,2,3,4,5]) # что-то не то? +2 +>>> len([1,2,3,4,5]) / 2 # хорошо +2.5 +>>> round(len([1,2,3,4,5]) / 2) # почему снова так? +2 +``` + +Кажется, Python округлил 2.5 до 2. + +#### 💡 Объяснение: + +- Это не ошибка округления float, на самом деле такое поведение намеренно. Начиная с Python 3.0, `round()` использует [округление банкира](https://en.wikipedia.org/wiki/Rounding#Round_half_to_even), где дроби .5 округляются до ближайшего **четного** числа. + +```py +>>> round(0.5) +0 +>>> round(1.5) +2 +>>> round(2.5) +2 +>>> import numpy # поведение numpy аналогично +>>> numpy.round(0.5) +0.0 +>>> numpy.round(1.5) +2.0 +>>> numpy.round(2.5) +2.0 +``` + +- Это рекомендуемый способ округления дробей до .5, описанный в [IEEE 754](https://en.wikipedia.org/wiki/IEEE_754#Rounding_rules). Однако в школах чаще всего преподают другой способ (округление от нуля), поэтому округление банкира, скорее всего, не так хорошо известно. Более того, некоторые из самых популярных языков программирования (например, JavaScript, Java, C/C++, Ruby, Rust) также не используют округление банкира. Таким образом, для Python это все еще довольно специфично и может привести к путанице при округлении дробей. + +- Дополнительную информацию можно найти в [документации](https://docs.python.org/3/library/functions.html#round) функции `round` или на [StackOverflow](https://stackoverflow.com/questions/10825926/python-3-x-rounding-behavior). + +--- + + +### ▶ Иголки в стоге сена * + + + +Я не встречал ни одного питониста на данный момент, который не встречался с одним из следующих сценариев, + +1\. + +```py +x, y = (0, 1) if True else None, None +``` + +**Результат:** + +```py +>>> x, y # ожидается (0, 1) +((0, 1), None) +``` + +2\. + +```py +t = ('one', 'two') +for i in t: + print(i) + +t = ('one') +for i in t: + print(i) + +t = () +print(t) +``` + +**Результат:** + +```py +one +two +o +n +e +tuple() +``` + +3\. + +```py +ten_words_list = [ + "some", + "very", + "big", + "list", + "that" + "consists", + "of", + "exactly", + "ten", + "words" +] +``` + +**Результат** + +```py +>>> len(ten_words_list) +9 +``` + +4\. Недостаточно твердое утверждение + +```py +a = "python" +b = "javascript" +``` + +**Результат:** + +```py +# assert выражение с сообщением об ошибке +>>> assert(a == b, "Both languages are different") +# Исключение AssertionError не возникло +``` + +5\. + +```py +some_list = [1, 2, 3] +some_dict = { + "key_1": 1, + "key_2": 2, + "key_3": 3 +} + +some_list = some_list.append(4) +some_dict = some_dict.update({"key_4": 4}) +``` + +**Результат:** + +```py +>>> print(some_list) +None +>>> print(some_dict) +None +``` + +6\. + +```py +def some_recursive_func(a): + if a[0] == 0: + return + a[0] -= 1 + some_recursive_func(a) + return a + +def similar_recursive_func(a): + if a == 0: + return a + a -= 1 + similar_recursive_func(a) + return a +``` + +**Результат:** + +```py +>>> some_recursive_func([5, 0]) +[0, 0] +>>> similar_recursive_func(5) +4 +``` + +#### 💡 Объяснение: + +* Для 1 примера правильным выражением для ожидаемого поведения является `x, y = (0, 1) if True else (None, None)`. + +* Для 2 примера правильным выражением для ожидаемого поведения будет `t = ('one',)` или `t = 'one',` (пропущена запятая), иначе интерпретатор рассматривает `t` как `str` и перебирает его символ за символом. + +* `()` - специальное выражение, обозначающая пустой `tuple`. + +* В 3 примере, как вы, возможно, уже поняли, пропущена запятая после 5-го элемента (`"that"`) в списке. Таким образом, неявная конкатенация строковых литералов, + + ```py + >>> ten_words_list + ['some', 'very', 'big', 'list', 'thatconsists', 'of', 'exactly', 'ten', 'words'] + ``` + +* В 4-ом фрагменте не возникло `AssertionError`, потому что вместо "проверки" отдельного выражения `a == b`, мы "проверяем" весь кортеж. Следующий фрагмент прояснит ситуацию, + + ```py + >>> a = "python" + >>> b = "javascript" + >>> assert a == b + Traceback (most recent call last): + File "", line 1, in + AssertionError + + >>> assert (a == b, "Values are not equal") + :1: SyntaxWarning: assertion is always true, perhaps remove parentheses? + + >>> assert a == b, "Values are not equal" + Traceback (most recent call last): + File "", line 1, in + AssertionError: Values are not equal + ``` +* Что касается пятого фрагмента, то большинство методов, изменяющих элементы последовательности/маппингов, такие как `list.append`, `dict.update`, `list.sort` и т. д., изменяют объекты на месте и возвращают `None`. Это делается для того, чтобы повысить производительность, избегая создания копии объекта, если операция может быть выполнена на месте (подробнее в [документации](https://docs.python.org/3/faq/design.html#why-doesn-t-list-sort-return-the-sorted-list)). + +* Последнее должно быть достаточно очевидным, изменяемый объект (например, `list`) может быть изменен в функции, а переназначение неизменяемого (`a -= 1`) не является изменением значения. + +* Знание этих тонкостей может сэкономить вам часы отладки в долгосрочной перспективе. + +--- + + +### ▶ Сплиты (splitsies) * + +```py +>>> 'a'.split() +['a'] + +# эквивалентно +>>> 'a'.split(' ') +['a'] + +# но +>>> len(''.split()) +0 + +# не эквивалентно +>>> len(''.split(' ')) +1 +``` + +#### 💡 Объяснение + +- Может показаться, что разделителем по умолчанию для split является одиночный пробел `' '`, но согласно [документации](https://docs.python.org/3/library/stdtypes.html#str.split) + > если sep не указан или равен `none`, применяется другой алгоритм разбиения: последовательные пробельные символы рассматриваются как один разделитель, и результат не будет содержать пустых строк в начале или конце, если в строке есть ведущие или завершающие пробелы. Следовательно, разбиение пустой строки или строки, состоящей только из пробельных символов, с разделителем none возвращает `[]`. + > если задан sep, то последовательные разделители не группируются вместе и считаются разделителями пустых строк (например, `'1,,2'.split(',')` возвращает `['1', '', '2']`). Разделение пустой строки с указанным разделителем возвращает `['']`. +- Обратите внимание, как обрабатываются ведущие и завершающие пробелы в следующем фрагменте, + ```py + >>> ' a '.split(' ') + ['', 'a', ''] + >>> ' a '.split() + ['a'] + >>> ''.split(' ') + [''] + ``` + +--- + + +### ▶ Подстановочное импортирование (wild imports) * + + + +```py +# File: module.py + +def some_weird_name_func_(): + print("works!") + +def _another_weird_name_func(): + print("works!") + +``` + +**Результат** + +```py +>>> from module import * +>>> some_weird_name_func_() +"works!" +>>> _another_weird_name_func() +Traceback (most recent call last): + File "", line 1, in +NameError: name '_another_weird_name_func' is not defined +``` + +#### 💡 Объяснение: + +- Часто рекомендуется не использовать импорт с подстановочными знаками (wildcard import). Первая очевидная причина заключается в том, что при импорте с подстановочным знаком имена с ведущим подчеркиванием не импортируются. Это может привести к ошибкам во время выполнения. + +- Если бы мы использовали синтаксис `from ... import a, b, c`, приведенная выше `NameError` не возникла бы. + ```py + >>> from module import some_weird_name_func_, _another_weird_name_func + >>> _another_weird_name_func() + works! + ``` +- Если вы действительно хотите использовать импорт с подстановочными знаками, то нужно определить список `__all__` в вашем модуле, который будет содержать публичные объекты, доступные при wildcard импортировании. + ```py + __all__ = ['_another_weird_name_func'] + + def some_weird_name_func_(): + print("works!") + + def _another_weird_name_func(): + print("works!") + ``` + **Результат** + + ```py + >>> _another_weird_name_func() + "works!" + >>> some_weird_name_func_() + Traceback (most recent call last): + File "", line 1, in + NameError: name 'some_weird_name_func_' is not defined + ``` + +--- + + +### ▶ Все ли отсортировано? * + + + +```py +>>> x = 7, 8, 9 +>>> sorted(x) == x +False +>>> sorted(x) == sorted(x) +True + +>>> y = reversed(x) +>>> sorted(y) == sorted(y) +False +``` + +#### 💡 Объяснение: + +- Метод `sorted` всегда возвращает список, а сравнение списка и кортежа всегда возвращает `False`. + +- ```py + >>> [] == tuple() + False + >>> x = 7, 8, 9 + >>> type(x), type(sorted(x)) + (tuple, list) + ``` + +- В отличие от метода `sorted`, метод `reversed` возвращает итератор. Почему? Потому что сортировка требует, чтобы итератор либо изменялся на месте, либо использовал дополнительный контейнер (список), в то время как реверсирование может работать просто путем итерации от последнего индекса к первому. + +- Поэтому при сравнении `sorted(y) == sorted(y)` первый вызов `sorted()` будет потреблять итератор `y`, а следующий вызов просто вернет пустой список. + + ```py + >>> x = 7, 8, 9 + >>> y = reversed(x) + >>> sorted(y), sorted(y) + ([7, 8, 9], []) + ``` + +--- + + +### ▶ Полночи не существует? + +```py +from datetime import datetime + +midnight = datetime(2018, 1, 1, 0, 0) +midnight_time = midnight.time() + +noon = datetime(2018, 1, 1, 12, 0) +noon_time = noon.time() + +if midnight_time: + print("Time at midnight is", midnight_time) + +if noon_time: + print("Time at noon is", noon_time) +``` + +**Результат (< 3.5):** + +```py +('Time at noon is', datetime.time(12, 0)) +``` +Полночное время не выведено. + +#### 💡 Объяснение: + + +До Python 3.5 булево значение для объекта `datetime.time` считалось `False`, если оно представляло полночь по UTC. При использовании синтаксиса `if obj:` для проверки того, что `obj` является null или эквивалентом "пусто", возникает ошибка. + +--- +--- + +## Раздел: Скрытые сокровища! + +Раздел содержит менее известные интересные нюансы работы Python, которые неизвестны большинству новичков. + +### ▶ Python, можешь ли ты помочь взлететь? + +Что ж, поехали + +```py +import antigravity +``` + +**Результат:** +Sshh... It's a super-secret. + +#### 💡 Объяснение: + ++ Модуль `antigravity` - одно из немногих пасхальных яиц, выпущенных разработчиками Python. ++ `import antigravity` открывает веб-браузер, указывающий на [классический комикс XKCD](https://xkcd.com/353/) о Python. ++ Это еще не все. Внутри пасхального яйца находится **еще одно пасхальное яйцо**. Если вы посмотрите на [код](https://github.com/python/cpython/blob/master/Lib/antigravity.py#L7-L17), там определена функция, которая якобы реализует алгоритм [XKCD](https://xkcd.com/426/). + +--- + + +### ▶ `goto`, но почему? + + +```py +from goto import goto, label +for i in range(9): + for j in range(9): + for k in range(9): + print("I am trapped, please rescue!") + if k == 2: + goto .breakout # выход из глубоко вложенного цикла +label .breakout +print("Freedom!") +``` + +**Результат (Python 2.3):** +```py +I am trapped, please rescue! +I am trapped, please rescue! +Freedom! +``` + +#### 💡 Объяснение: +- Рабочая версия `goto` в Python была [анонсирована](https://mail.python.org/pipermail/python-announce-list/2004-April/002982.html) в качестве первоапрельской шутки 1 апреля 2004 года. +- В текущих версиях Python этот модуль отсутствует. +- Хотя он работает, но, пожалуйста, не используйте его. Вот [причина](https://docs.python.org/3/faq/design.html#why-is-there-no-goto) того, почему `goto` отсутствует в Python. + +--- + + +### ▶ Держитесь! + +Если вы относитесь к тем людям, которым не нравится использование пробелов в Python для обозначения диапазонов, вы можете использовать C-стиль {} импортировав это, + +```py +from __future__ import braces +``` + +**Результат:** +```py + File "some_file.py", line 1 + from __future__ import braces +SyntaxError: not a chance +``` + +Скобочки? Ни за что! Если это разочаровывало вас, используйте Java. Хорошо, еще одна удивительная вещь, можете ли вы найти ошибку +`SyntaxError` которая вызвана в модуле `__future__` [код](https://github.com/python/cpython/blob/master/Lib/__future__.py)? + +#### 💡 Объяснение: + ++ Модуль `__future__` обычно используется для предоставления возможностей из будущих версий Python. Однако "будущее" в данном конкретном контексте - это ирония. ++ Это пасхальное яйцо, связанное с мнением сообщества по этому вопросу. ++ Код на самом деле присутствует [здесь](https://github.com/python/cpython/blob/025eb98dc0c1dc27404df6c544fc2944e0fa9f3a/Python/future.c#L49) в файле `future.c`. ++ Когда компилятор CPython встречает оператор [future](https://docs.python.org/3.3/reference/simple_stmts.html#future-statements), он сначала запускает соответствующий код в `future.c`, а затем рассматривает его как обычный оператор импорта. + +--- + + +### ▶ Давайте познакомимся с дружелюбным Дядей Барри + +Непереводимая игра слов: Friendly Language Uncle For Life (FLUFL) + +**Результат (Python 3.x)** +```py +>>> from __future__ import barry_as_FLUFL +>>> "Ruby" != "Python" # в этом нет сомнений + File "some_file.py", line 1 + "Ruby" != "Python" + ^ +SyntaxError: invalid syntax + +>>> "Ruby" <> "Python" +True +``` + +Вот так просто. + +#### 💡 Объяснение: +- Это относится к [PEP-401](https://www.python.org/dev/peps/pep-0401/), выпущенному 1 Апреля 2009 (вы знаете, о чем это говорит). +- Цитата из PEP-401 + + > Признав, что оператор неравенства `!=` в Python 3.0 был ужасной, вызывающей боль ошибкой, FLUFL восстанавливает оператор `<>` (ромб) в качестве единственного написания. +- У Дяди Барри было еще много чего рассказать в PEP; вы можете прочитать их [здесь](https://www.python.org/dev/peps/pep-0401/). +- Это работает хорошо в интерактивной среде, но при запуске через файл python вызывает `SyntaxError` (смотри этот [issue](https://github.com/satwikkansal/wtfpython/issues/94)). Однако вы можете обернуть оператор внутри `eval` или `compile`, чтобы заставить его работать (но зачем?) + ```py + from __future__ import barry_as_FLUFL + print(eval('"Ruby" <> "Python"')) + ``` + +--- + + +### ▶ Даже Python понимает, что любовь - это сложно. + +```py +import this +``` + +Подождите, что **это** (this) такое? Это любовь! :heart: + +**Результат:** +``` +Дзен Python, от Тима Петерса + +Красивое лучше, чем уродливое. +Явное лучше, чем неявное. +Простое лучше, чем сложное. +Сложное лучше, чем запутанное. +Плоское лучше, чем вложенное. +Разреженное лучше, чем плотное. +Читаемость имеет значение. +Особые случаи не настолько особые, чтобы нарушать правила. +При этом практичность важнее безупречности. +Ошибки никогда не должны замалчиваться. +Если они не замалчиваются явно. +Встретив двусмысленность, отбрось искушение угадать. +Должен существовать один и, желательно, только один очевидный способ сделать это. +Хотя он поначалу может быть и не очевиден, если вы не голландец [^1]. +Сейчас лучше, чем никогда. +Хотя никогда зачастую лучше, чем прямо сейчас. +Если реализацию сложно объяснить — идея плоха. +Если реализацию легко объяснить — идея, возможно, хороша. +Пространства имён — отличная штука! Будем делать их больше! +``` + +Это Дзен Python! + +```py +>>> love = this +>>> this is love +True +>>> love is True +False +>>> love is False +False +>>> love is not True or False +True +>>> love is not True or False; love is love # Love is complicated +True +``` + +#### 💡 Объяснение: + +* Модуль `this` в Python - это пасхальное яйцо для The Zen Of Python ([PEP 20](https://www.python.org/dev/peps/pep-0020)). +* И если вы думаете, что это уже достаточно интересно, посмотрите реализацию [this.py](https://hg.python.org/cpython/file/c3896275c0f6/Lib/this.py). Забавный факт - **код для дзена нарушает сам себя** (и это, вероятно, единственное место, где это происходит, но это не точно). +* Что касается утверждения `любовь не является истиной или ложью; любовь - это любовь`, иронично, но описательно (если нет, пожалуйста, посмотрите примеры, связанные с операторами `is` и `is not`). + +--- + + +### ▶ Да, оно существует! + +**Ключевое слово `else` в связке с циклом `for`.** Один из стандартных примеров: + +```py + def does_exists_num(l, to_find): + for num in l: + if num == to_find: + print("Exists!") + break + else: + print("Does not exist") +``` + +**Результат:** +```py +>>> some_list = [1, 2, 3, 4, 5] +>>> does_exists_num(some_list, 4) +Exists! +>>> does_exists_num(some_list, -1) +Does not exist +``` + +**Использование `else` блока во время обработки исключения.** Пример, + +```py +try: + pass +except: + print("Exception occurred!!!") +else: + print("Try block executed successfully...") +``` + +**Результат:** +```py +Try block executed successfully... +``` + +#### 💡 Объяснение: + +- Блок `else` после цикла выполняется только тогда, когда нет явного `break` после всех итераций. Вы можете думать об этом как о блоке "nobreak". +- Блок `else` после блока `try` также называется "блоком завершения", поскольку достижение `else` в операторе `try` означает, что блок попыток действительно успешно завершен. + +--- + + +### ▶ Многоточие * + +```py +def some_func(): + Ellipsis +``` + +**Результат** +```py +>>> some_func() +# Ни вывода, ни ошибки + +>>> SomeRandomString +Traceback (most recent call last): + File "", line 1, in +NameError: name 'SomeRandomString' is not defined + +>>> Ellipsis +Ellipsis +``` + +#### 💡 Объяснение +- В Python, `Ellipsis` - глобальный встроенный объект, эквивалентный `...`. + ```py + >>> ... + Ellipsis + ``` +- Многоточие может использоваться в нескольких случаях, + + В качестве заполнителя для кода, который еще не написан (аналогично оператору `pass`) + + В синтаксисе срезов (slices) для представления полных срезов в оставшемся направлении + ```py + >>> import numpy as np + >>> three_dimensional_array = np.arange(8).reshape(2, 2, 2) + array([ + [ + [0, 1], + [2, 3] + ], + + [ + [4, 5], + [6, 7] + ] + ]) + ``` + Таким образом, наш `трехмерный_массив` представляет собой массив массивов массивов. Допустим, мы хотим вывести второй элемент (индекс `1`) всех внутренних массивов, мы можем использовать `Ellipsis`, чтобы обойти все предыдущие измерения + ```py + >>> three_dimensional_array[:,::,1] + array([[1, 3], + [5, 7]]) + >>> three_dimensional_array[..., 1] # использование Ellipsis. + array([[1, 3], + [5, 7]]) + ``` + Примечание: это будет работать для любого количества измерений. Можно даже выбрать срез в первом и последнем измерении и игнорировать средние (`n_dimensional_array[firs_dim_slice, ..., last_dim_slice]`) + + В [подсказках типов](https://docs.python.org/3/library/typing.html) для указания только части типа (например, `Callable[..., int]` или `Tuple[str, ...]`) + + Вы также можете использовать `Ellipsis` в качестве аргумента функции по умолчанию (в случаях, когда вы хотите провести различие между сценариями "аргумент не передан" и "значение не передано"). + +--- + + +### ▶ Писконечность (Inpinity) + +В заголовке нет ошибки, так и задумано, пожалуйста, не создавайте issue или pull request с изменением. + +**Результат (Python 3.x):** +```py +>>> infinity = float('infinity') +>>> hash(infinity) +314159 +>>> hash(float('-inf')) +-314159 +``` + +#### 💡 Объяснение: +- Хэш бесконечности - 10⁵ x π. +- Интересно, что хэш `float('-inf')` - "-10⁵ x π" в Python 3, тогда как в Python 2 - "-10⁵ x e". + +--- + + +### ▶ Давайте искажать + +1\. +```py +class Yo(object): + def __init__(self): + self.__honey = True + self.bro = True +``` + +**Результат:** +```py +>>> Yo().bro +True +>>> Yo().__honey +AttributeError: 'Yo' object has no attribute '__honey' +>>> Yo()._Yo__honey +True +``` + +2\. +```py +class Yo(object): + def __init__(self): + # Попробуем симметричные двойные подчеркивания в названии атрибута + self.__honey__ = True + self.bro = True +``` + +**Результат:** +```py +>>> Yo().bro +True + +>>> Yo()._Yo__honey__ +Traceback (most recent call last): + File "", line 1, in +AttributeError: 'Yo' object has no attribute '_Yo__honey__' +``` + +Почему обращение к `Yo()._Yo__honey` сработало? + +3\. + +```py +_A__variable = "Some value" + +class A(object): + def some_func(self): + return __variable # переменная еще не инициализирована +``` + +**Результат:** +```py +>>> A().__variable +Traceback (most recent call last): + File "", line 1, in +AttributeError: 'A' object has no attribute '__variable' + +>>> A().some_func() +'Some value' +``` + + +#### 💡 Объяснение: + +* [Искажение имени](https://en.wikipedia.org/wiki/Name_mangling) используется для предотвращения коллизий имен между различными пространствами имен. +* В Python интерпретатор изменяет (mangles) имена членов класса, начинающиеся с `__` (двойное подчеркивание, оно же "дундер") и не заканчивающиеся более чем одним подчеркиванием в конце, добавляя перед ними `_NameOfTheClass`. +* Таким образом, чтобы получить доступ к атрибуту `__honey` в первом фрагменте, мы должны были добавить `_Yo` спереди, что предотвратило бы конфликты с тем же атрибутом `name`, определенным в любом другом классе. +* Но почему тогда это не сработало во втором фрагменте? Потому что при манипулировании именами исключаются имена, заканчивающиеся двойным подчеркиванием. +* Третий фрагмент также является следствием манипулирования именами. Имя `__variable` в операторе `return __variable` было искажено до `_A__variable`, что также является именем переменной, которую мы объявили во внешней области видимости. +* Кроме того, если длина искаженного имени превышает 255 символов, произойдет усечение (truncation). + +--- +--- + +## Раздел: Внешность обманчива! + +### ▶ Пропускаем строки? + +**Результат:** +```py +>>> value = 11 +>>> valuе = 32 +>>> value +11 +``` + +Что за дела? + +**Заметка:** самый простой способ воспроизвести это - просто скопировать утверждения из приведенного выше фрагмента и вставить их в свой файл/оболочку. + +#### 💡 Объяснение + +Некоторые незападные символы выглядят идентично буквам английского алфавита, но интерпретатор считает их разными. + +```py +>>> ord('е') # кириллическое 'е' (ye) +1077 +>>> ord('e') # латинское 'e', используемое в английском языке и набираемое с помощью стандартной клавиатуры +101 +>>> 'е' == 'е' +false + +>>> value = 42 # латинское "е +>>> valuе = 23 # кириллическое "е", интерпретатор python 2.x вызовет здесь `syntaxerror` +>>> value +42 +``` + +Встроенная функция `ord()` возвращает юникод [кодовую точку символа](https://en.wikipedia.org/wiki/code_point), и разные кодовые позиции кириллического 'e' и латинского 'e' оправдывают поведение приведенного выше примера. + +--- + + +### ▶ Телепортация + + + +```py +# Прежде всего выполним `pip install numpy`. +import numpy as np + +def energy_send(x): + # Инициализация numpy массива + np.array([float(x)]) + +def energy_receive(): + # Возвращаем пустой numpy массив + return np.empty((), dtype=np.float).tolist() +``` + +**Результат:** +```py +>>> energy_send(123.456) +>>> energy_receive() +123.456 +``` + +Где моя Нобелевская премия? + +#### 💡 Объяснение: + +* Обратите внимание, что массив `numpy`, созданный в функции `energy_send`, не возвращается, так что место в памяти свободно для перераспределения. +* `numpy.empty()` возвращает следующий свободный участок памяти без его повторной инициализации. Этот участок памяти просто оказывается тем же самым, который был только что освобожден (обычно, но не всегда). + +--- + + +### ▶ Что-то не так... + +```py +def square(x): + """ + Простая функция по вычислению квадрата числа путем суммирования. + """ + sum_so_far = 0 + for counter in range(x): + sum_so_far = sum_so_far + x + return sum_so_far +``` + +**Результат (Python 2.x):** + +```py +>>> square(10) +10 +``` + +Разве не должно быть 100? + +**Заметка:** Если у вас не получается воспроизвести это, попробуйте запустить файл [mixed_tabs_and_spaces.py](/mixed_tabs_and_spaces.py) через оболочку. + +#### 💡 Объяснение + +* **Не смешивайте табы и пробелы!** Символ, непосредственно предшествующий return, является "табом", а код в других местах примера имеет отступ в 4 пробела. +* Вот как Python обрабатывает табы: + + > Сначала табы заменяются (слева направо) на пробелы от одного до восьми так, чтобы общее количество символов до замены включительно было кратно восьми <...>. +* Таким образом, "табы" в последней строке функции `square` заменяется восемью пробелами, и она попадает в цикл. +* Python 3 достаточно любезен, чтобы автоматически выдавать ошибку для таких случаев. + + **Результат (Python 3.x):** + ```py + TabError: inconsistent use of tabs and spaces in indentation + ``` + +--- +--- + +## Раздел: Разное + + +### ▶ `+=` быстрее `+` + + +```py +# Использование "+", 3 строки: +>>> timeit.timeit("s1 = s1 + s2 + s3", setup="s1 = ' ' * 100000; s2 = ' ' * 100000; s3 = ' ' * 100000", number=100) +0.25748300552368164 +# Использование "+=", 3 строки: +>>> timeit.timeit("s1 += s2 + s3", setup="s1 = ' ' * 100000; s2 = ' ' * 100000; s3 = ' ' * 100000", number=100) +0.012188911437988281 +``` + +#### 💡 Объяснение: ++ Операнд `+=` быстрее `+` для "сложения" 2 и более строк, так как первая строка (например, `s1` for `s1 += s2 + s3`) не уничтожается во время формирования финальной строки. + +--- + + +### ▶ Сделаем гигантскую строку! + +```py +def add_string_with_plus(iters): + s = "" + for i in range(iters): + s += "xyz" + assert len(s) == 3*iters + +def add_bytes_with_plus(iters): + s = b"" + for i in range(iters): + s += b"xyz" + assert len(s) == 3*iters + +def add_string_with_format(iters): + fs = "{}"*iters + s = fs.format(*(["xyz"]*iters)) + assert len(s) == 3*iters + +def add_string_with_join(iters): + l = [] + for i in range(iters): + l.append("xyz") + s = "".join(l) + assert len(s) == 3*iters + +def convert_list_to_string(l, iters): + s = "".join(l) + assert len(s) == 3*iters +``` + +**Результат:** + +```py +# Фрагменты выполняются в оболочке `ipython` с использованием `%timeit` для лучшей читаемости результатов. +# Вы также можете использовать модуль timeit в обычной оболочке python shell/scriptm=, пример использования ниже +# timeit.timeit('add_string_with_plus(10000)', number=1000, globals=globals()) + +>>> NUM_ITERS = 1000 +>>> %timeit -n1000 add_string_with_plus(NUM_ITERS) +124 µs ± 4.73 µs per loop (mean ± std. dev. of 7 runs, 100 loops each) +>>> %timeit -n1000 add_bytes_with_plus(NUM_ITERS) +211 µs ± 10.5 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each) +>>> %timeit -n1000 add_string_with_format(NUM_ITERS) +61 µs ± 2.18 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each) +>>> %timeit -n1000 add_string_with_join(NUM_ITERS) +117 µs ± 3.21 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each) +>>> l = ["xyz"]*NUM_ITERS +>>> %timeit -n1000 convert_list_to_string(l, NUM_ITERS) +10.1 µs ± 1.06 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each) +``` + +Увеличим число итераций в 10 раз. + +```py +>>> NUM_ITERS = 10000 +>>> %timeit -n1000 add_string_with_plus(NUM_ITERS) # Линейное увеличение времени выполнения +1.26 ms ± 76.8 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each) +>>> %timeit -n1000 add_bytes_with_plus(NUM_ITERS) # Квадратичное увеличение +6.82 ms ± 134 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each) +>>> %timeit -n1000 add_string_with_format(NUM_ITERS) # Линейное увеличение +645 µs ± 24.5 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each) +>>> %timeit -n1000 add_string_with_join(NUM_ITERS) # Линейное увеличение +1.17 ms ± 7.25 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each) +>>> l = ["xyz"]*NUM_ITERS +>>> %timeit -n1000 convert_list_to_string(l, NUM_ITERS) # Линейное увеличение +86.3 µs ± 2 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each) +``` + +#### 💡 Объяснение + +- Подробнее о [timeit](https://docs.python.org/3/library/timeit.html) или [%timeit](https://ipython.org/ipython-doc/dev/interactive/magics.html#magic-timeit) вы можете прочитать по этим ссылкам. Они используются для измерения времени выполнения фрагментов кода. +- Не используйте `+` для генерации длинных строк - В Python `str` неизменяема, поэтому левая и правая строки должны быть скопированы в новую строку для каждой пары конкатенаций. Если вы конкатенируете четыре строки длины 10, то вместо 40 символов вы скопируете (10+10) + ((10+10)+10) + (((10+10)+10)+10) = 90 символов. С увеличением количества и размера строки ситуация ухудшается в квадратичной прогрессии (что подтверждается временем выполнения функции `add_bytes_with_plus`). +- Поэтому рекомендуется использовать синтаксис `.format.` или `%` (правда, для очень коротких строк они немного медленнее, чем `+`). +- Или лучше, если у вас уже есть содержимое в виде итерируемого объекта, тогда используйте `''.join(iterable_object)`, что гораздо быстрее. +- В отличие от `add_bytes_with_plus` из-за оптимизаций `+=`, рассмотренных в предыдущем примере, `add_string_with_plus` не показало квадратичного увеличения времени выполнения. Если бы оператор был `s = s + "x" + "y" + "z"` вместо `s += "xyz"`, увеличение было бы квадратичным. + ```py + def add_string_with_plus(iters): + s = "" + for i in range(iters): + s = s + "x" + "y" + "z" + assert len(s) == 3*iters + + >>> %timeit -n100 add_string_with_plus(1000) + 388 µs ± 22.4 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each) + >>> %timeit -n100 add_string_with_plus(10000) # Квадратичное увеличение времени выполнения + 9 ms ± 298 µs per loop (mean ± std. dev. of 7 runs, 100 loops each) + ``` + +- Такое число способов форматирования и создания гигантской строки несколько противоречит [Zen of Python](https://www.python.org/dev/peps/pep-0020/), согласно которому, + + > должен быть один - и желательно только один - очевидный способ сделать это. + +--- + + +### ▶ Замедляем поиск по `dict` * + +```py +some_dict = {str(i): 1 for i in range(1_000_000)} +another_dict = {str(i): 1 for i in range(1_000_000)} +``` + +**Результат:** +```py +>>> %timeit some_dict['5'] +28.6 ns ± 0.115 ns per loop (mean ± std. dev. of 7 runs, 10000000 loops each) +>>> some_dict[1] = 1 +>>> %timeit some_dict['5'] +37.2 ns ± 0.265 ns per loop (mean ± std. dev. of 7 runs, 10000000 loops each) + +>>> %timeit another_dict['5'] +28.5 ns ± 0.142 ns per loop (mean ± std. dev. of 7 runs, 10000000 loops each) +>>> another_dict[1] # Пытаемся получить значение по несуществующему ключу +Traceback (most recent call last): + File "", line 1, in +KeyError: 1 +>>> %timeit another_dict['5'] +38.5 ns ± 0.0913 ns per loop (mean ± std. dev. of 7 runs, 10000000 loops each) +``` +Почему одни и те же выражения становятся медленнее? + +#### 💡 Объяснение: + ++ В CPython есть общая функция поиска по словарю, которая работает со всеми типами ключей (`str`, `int`, любой объект ...), и специализированная для распространенного случая словарей, состоящих только из `str`-ключей. ++ Специализированная функция (названная `lookdict_unicode` в [CPython](https://github.com/python/cpython/blob/522691c46e2ae51faaad5bbbce7d959dd61770df/Objects/dictobject.c#L841)) знает, что все существующие ключи (включая искомый ключ) являются строками, и использует более быстрое и простое сравнение строк для сравнения ключей, вместо вызова метода `__eq__`. ++ При первом обращении к экземпляру `dict` с ключом, не являющимся `str`, он модифицируется, чтобы в дальнейшем для поиска использовалась общая функция. ++ Этот процесс не обратим для конкретного экземпляра `dict`, и ключ даже не обязательно должен существовать в словаре. Поэтому попытка неудачного поиска имеет тот же эффект. + +--- + + +### ▶ Раздуваем экземпляры словарей * + +```py +import sys + +class SomeClass: + def __init__(self): + self.some_attr1 = 1 + self.some_attr2 = 2 + self.some_attr3 = 3 + self.some_attr4 = 4 + + +def dict_size(o): + return sys.getsizeof(o.__dict__) + +``` + +**Результат:** (Python 3.8, другие версии Python 3 могут немного отличаться) +```py +>>> o1 = SomeClass() +>>> o2 = SomeClass() +>>> dict_size(o1) +104 +>>> dict_size(o2) +104 +>>> del o1.some_attr1 +>>> o3 = SomeClass() +>>> dict_size(o3) +232 +>>> dict_size(o1) +232 +``` + +Попробуем снова... В новом сессии интерпретатора: + +```py +>>> o1 = SomeClass() +>>> o2 = SomeClass() +>>> dict_size(o1) +104 # как ожидается +>>> o1.some_attr5 = 5 +>>> o1.some_attr6 = 6 +>>> dict_size(o1) +360 +>>> dict_size(o2) +272 +>>> o3 = SomeClass() +>>> dict_size(o3) +232 +``` + +Что заставляет эти словари раздуваться? И почему только созданные объекты также раздуваются? + +#### 💡 Объяснение: ++ CPython может повторно использовать один и тот же объект "keys" в нескольких словарях. Это было добавлено в [PEP 412](https://www.python.org/dev/peps/pep-0412/) с целью сокращения использования памяти, особенно в экземплярах словарей - где ключи (атрибуты экземпляра), как правило, общие для всех экземпляров. ++ Эта оптимизация совершенно беспроблемна для экземпляров словарей, но она не работает, если нарушены некоторые условия. ++ Словари с общим доступом к ключам не поддерживают удаление; если атрибут экземпляра удаляется, словарь становится "не общим", и общий доступ к ключам отключается для всех последующих экземпляров того же класса. ++ Кроме того, если размер ключей словаря был изменен (из-за вставки новых ключей), они остаются общими *только* если они используются только одним словарем (это позволяет добавить много атрибутов в `__init__` самого первого созданного экземпляра, не вызывая "unshare"). Если на момент изменения размера существует несколько экземпляров, совместное использование ключей отключается для всех последующих экземпляров одного класса: CPython не может определить, используют ли ваши экземпляры один и тот же набор атрибутов, и решает отказаться от попытки поделиться ключами. ++ Небольшой совет, если вы стремитесь уменьшить занимаемый программой объем памяти: не удаляйте атрибуты экземпляров и обязательно инициализируйте все атрибуты в `__init__`! + +--- + + +### ▶ Минорное * + +* `join()` - строковая операция вместо списочной. (может показаться неочевидным при первом использовании) + + **💡 Объяснение:** Если `join()` - это строковый метод, то он может работать с любым итеруемыми объектами (список, кортеж, итераторы). Если бы это был списковый метод, то его пришлось бы реализовывать отдельно для каждого типа. Кроме того, нет особого смысла помещать метод, специфичный для строки, в общий API объекта `list`. + +* Несколько странных, но семантически правильных утверждений: + + `[] = ()` - семантически корректное утверждение (распаковка пустого `кортежа` в пустой `список`) + + `'a'[0][0][0][0][0]` также является семантически корректным утверждением, поскольку в Python строки являются [последовательностями](https://docs.python.org/3/glossary.html#term-sequence) (итерируемыми объектами, поддерживающими доступ к элементам с использованием целочисленных индексов). + + `3 --0-- 5 == 8` и `--5 == 5` - оба семантически корректные утверждения и имеют значение `True`. + +* Учитывая, что `a` - это число, `++a` и `--a` являются корректными утверждениями Python, но ведут себя не так, как аналогичные утверждения в таких языках, как C, C++ или Java. + ```py + >>> a = 5 + >>> a + 5 + >>> ++a + 5 + >>> --a + 5 + ``` + + **💡 Объяснение:** + + В грамматике Python нет оператора `++`. На самом деле это два оператора `+`. + + `++a` преобразуется в `+(+a)`, а затем в `a`. Аналогично для утверждения `--a`. + + На [StackOverflow](https://stackoverflow.com/questions/3654830/why-are-there-no-and-operators-in-python) обсуждается обоснование отсутствия операторов инкремента и декремента в Python. + +* Вы наверняка знаете об операторе Walrus в Python. Но слышали ли вы когда-нибудь об операторе *пространственного инкремента*? + ```py + >>> a = 42 + >>> a -=- 1 + >>> a + 43 + ``` + Он используется как альтернативный оператор инкрементации, вместе с другим оператором + ```py + >>> a +=+ 1 + >>> a + >>> 44 + ``` + **💡 Объяснение:** Этот розыгрыш взят из твита [Raymond Hettinger](https://twitter.com/raymondh/status/1131103570856632321?lang=en). На самом деле оператор захвата пространства - это просто неправильно отформатированное `a -= (-1)`. Что эквивалентно `a = a - (- 1)`. Аналогично для случая `a += (+ 1)`. + +* В Python есть недокументированный оператор [обратная импликация](https://en.wikipedia.org/wiki/Converse_implication). + ```py + >>> False ** False == True + True + >>> False ** True == False + True + >>> True ** False == True + True + >>> True ** True == True + True + ``` + + **💡 Объяснение:** Если заменить `False` и `True` на 0 и 1 и произвести математические вычисления, то таблица истинности будет эквивалентна оператору обратной импликации. ([Источник](https://github.com/cosmologicon/pywat/blob/master/explanation.md#the-undocumented-converse-implication-operator)) + +* Раз уж мы заговорили об операторах, есть еще оператор `@` для умножения матриц (не волнуйтесь, на этот раз он настоящий). + ```py + >>> import numpy as np + >>> np.array([2, 2, 2]) @ np.array([7, 8, 8]) + 46 + ``` + + **💡 Объяснение:** Оператор `@` был добавлен в Python 3.5 с учетом пожеланий научного сообщества. Любой объект может перегрузить магический метод `__matmul__`, чтобы определить поведение этого оператора. + +* Начиная с Python 3.8 для быстрой отладки можно использовать типичный синтаксис f-строк, например `f'{some_var=}`. Пример, + ```py + >>> some_string = "wtfpython" + >>> f'{some_string=}' + "some_string='wtfpython'" + ``` + +* Python использует 2 байта для хранения локальных переменных в функциях. Теоретически это означает, что в функции может быть определено только 65536 переменных. Однако в python есть удобное решение, которое можно использовать для хранения более 2^16 имен переменных. Следующий код демонстрирует, что происходит в стеке, когда определено более 65536 локальных переменных (Внимание: этот код печатает около 2^18 строк текста, так что будьте готовы!): + ```py + import dis + exec(""" + def f(): + """ + """ + """.join(["X" + str(x) + "=" + str(x) for x in range(65539)])) + + f() + + print(dis.dis(f)) + ``` + +* Несколько потоков Python не смогут выполнять ваш *Python-код* одновременно (да, вы не ослышались!). Может показаться интуитивно понятным породить несколько потоков и позволить им выполнять ваш Python код одновременно, но из-за [Global Interpreter Lock](https://wiki.python.org/moin/GlobalInterpreterLock) в Python, все, что вы делаете, это заставляете ваши потоки выполняться на одном и том же ядре по очереди. Потоки Python хороши для задач, связанных с IO, но чтобы добиться реального распараллеливания в Python для задач, связанных с процессором, вы можете использовать модуль Python [multiprocessing](https://docs.python.org/3/library/multiprocessing.html). + +* Иногда метод `print` может выводить значения с задержкой. Например, + ```py + # Файл some_file.py + import time + + print("wtfpython", end="_") + time.sleep(3) + ``` + + Это выведет `wtfpython` через 3 секунды из-за аргумента `end`, потому что выходной буфер очищается либо при появлении `\n`, либо когда программа завершает выполнение. Мы можем принудительно отчистить буфер, передав аргумент `flush=True`. + +* Срез списка индексом, превышающим длину списка, не приводит к ошибкам + ```py + >>> some_list = [1, 2, 3, 4, 5] + >>> some_list[111:] + [] + ``` + +* При срезе итерируемого объекта не всегда создается новый объект. Например, + ```py + >>> some_str = "wtfpython" + >>> some_list = ['w', 't', 'f', 'p', 'y', 't', 'h', 'o', 'n'] + >>> some_list is some_list[:] # Ожидается False, так как создан новый объект. + False + >>> some_str is some_str[:] # Возвращается True, потому что строки неизменны, создание нового объекта ничего не меняет + True + ``` + +* `int('١٢٣٤٥٦٧٨٩')` возвращает `123456789` в Python 3. В Python десятичные символы включают в себя символы цифр и все символы, которые могут быть использованы для формирования десятично-радиксных чисел, например U+0660, ARABIC-INDIC DIGIT ZERO. Вот [интересная история](https://chris.improbable.org/2014/8/25/adventures-in-unicode-digits/), связанная с таким поведением Python. + +* Начиная с Python 3 вы можете разделять числовые литералы символами подчеркивания (для лучшей читаемости). + ```py + >>> six_million = 6_000_000 + >>> six_million + 6000000 + >>> hex_address = 0xF00D_CAFE + >>> hex_address + 4027435774 + ``` + +* `'abc'.count('') == 4`. Вот примерная реализация метода `count`, которая немного разъяснит ситуацию + ```py + def count(s, sub): + result = 0 + for i in range(len(s) + 1 - len(sub)): + result += (s[i:i + len(sub)] == sub) + return result + ``` + Такое поведение связано с совпадением пустой подстроки(`''`) со срезами длины 0 в исходной строке. + +--- +--- + +# Вклад в проект + +Как можно внести свой вклад в развитие wtfpython, + +- Предложить новые примеры +- Помочь в переводе (См. [issues labeled translation](https://github.com/satwikkansal/wtfpython/issues?q=is%3Aissue+is%3Aopen+label%3Atranslation)) +- Мелкие исправления, такие как указание на устаревшие фрагменты, опечатки, ошибки форматирования и т.д. +- Выявление пробелов (таких как недостаточное объяснение, избыточные примеры и т. д.) +- Любые творческие предложения, чтобы сделать этот проект более интересным и полезным. + +Пожалуйста, смотрите [CONTRIBUTING.md](/CONTRIBUTING.md) для более подробной информации. Не стесняйтесь создать новый [issue](https://github.com/satwikkansal/wtfpython/issues/new) для обсуждения. + +PS: Пожалуйста, не обращайтесь к нам с просьбами об обратной ссылке, ссылки не будут добавлены, если они не имеют отношения к проекту. + +# Благодарности + +Идея и дизайн этой коллекции были изначально вдохновлены потрясающим проектом Дениса Дована [wtfjs](https://github.com/denysdovhan/wtfjs). Подавляющая поддержка со стороны питонистов придала проекту ту форму, в которой он находится сейчас. + +#### Несколько хороших ссылок! +* https://www.youtube.com/watch?v=sH4XF6pKKmk +* https://www.reddit.com/r/Python/comments/3cu6ej/what_are_some_wtf_things_about_python +* https://sopython.com/wiki/Common_Gotchas_In_Python +* https://stackoverflow.com/questions/530530/python-2-x-gotchas-and-landmines +* https://stackoverflow.com/questions/1011431/common-pitfalls-in-python +* https://www.python.org/doc/humor/ +* https://github.com/cosmologicon/pywat#the-undocumented-converse-implication-operator +* https://www.codementor.io/satwikkansal/python-practices-for-efficient-code-performance-memory-and-usability-aze6oiq65 +* https://github.com/wemake-services/wemake-python-styleguide/search?q=wtfpython&type=Issues +* Ветки обсуждения WFTPython на [Hacker News](https://news.ycombinator.com/item?id=21862073) и [Reddit](https://www.reddit.com/r/programming/comments/edsh3q/what_the_fck_python_30_exploring_and/). + +# 🎓 Лицензия + +[![WTFPL 2.0][license-image]][license-url] + +© [Satwik Kansal](https://satwikkansal.xyz) + +[license-url]: http://www.wtfpl.net +[license-image]: https://img.shields.io/badge/License-WTFPL%202.0-lightgrey.svg?style=flat-square + +## Удиви своих друзей! + +Если вам нравится `wtfpython`, вы можете поделиться проектом, используя быстрые ссылки, + +[Twitter](https://twitter.com/intent/tweet?url=https://github.com/satwikkansal/wtfpython&text=If%20you%20really%20think%20you%20know%20Python,%20think%20once%20more!%20Check%20out%20wtfpython&hashtags=python,wtfpython) | [Linkedin](https://www.linkedin.com/shareArticle?url=https://github.com/satwikkansal&title=What%20the%20f*ck%20Python!&summary=If%20you%20really%20thing%20you%20know%20Python,%20think%20once%20more!) | [Facebook](https://www.facebook.com/dialog/share?app_id=536779657179021&display=page&href=https%3A%2F%2Fgithub.com%2Fsatwikkansal%2Fwtfpython"e=If%20you%20really%20think%20you%20know%20Python%2C%20think%20once%20more!) + +### Нужна PDF версия? + +Я получил несколько запросов на pdf (и epub) версию wtfpython. Вы можете добавить свои данные [здесь](https://form.jotform.com/221593245656057), чтобы получить их, как только они будут готовы. + +**Вот и все, друзья!** Для получения новых материалов, подобных этому, вы можете добавить свой email [сюда](https://form.jotform.com/221593598380062). diff --git a/translations/ru-russian/code-of-conduct.md b/translations/ru-russian/code-of-conduct.md new file mode 100644 index 0000000..2aa521f --- /dev/null +++ b/translations/ru-russian/code-of-conduct.md @@ -0,0 +1,70 @@ +# Кодекс Поведения участника + +## Наши обязательства + +Мы, как участники, авторы и лидеры обязуемся сделать участие в сообществе +свободным от притеснений для всех, независимо от возраста, телосложения, +видимых или невидимых ограничений способности, этнической принадлежности, +половых признаков, гендерной идентичности и выражения, уровня опыта, +образования, социально-экономического статуса, национальности, внешности, +расы, религии, или сексуальной идентичности и ориентации. + +Мы обещаем действовать и взаимодействовать таким образом, чтобы вносить вклад в открытое, +дружелюбное, многообразное, инклюзивное и здоровое сообщество. + +## Наши стандарты + +Примеры поведения, создающие условия для благоприятных взаимоотношений включают в себя: + +* Проявление доброты и эмпатии к другим участникам проекта +* Уважение к чужой точке зрения и опыту +* Конструктивная критика и принятие конструктивной критики +* Принятие ответственности, принесение извинений тем, кто пострадал от наших ошибок + и извлечение уроков из опыта +* Ориентирование на то, что лучше подходит для сообщества, а не только для нас лично + +Примеры неприемлемого поведения участников включают в себя: + +* Использование выражений или изображений сексуального характера и нежелательное сексуальное внимание или домогательство в любой форме +* Троллинг, оскорбительные или уничижительные комментарии, переход на личности или затрагивание политических убеждений +* Публичное или приватное домогательство +* Публикация личной информации других лиц, например, физического или электронного адреса, без явного разрешения +* Иное поведение, которое обоснованно считать неуместным в профессиональной обстановке + +## Обязанности + +Лидеры сообщества отвечают за разъяснение и применение наших стандартов приемлемого +поведения и будут предпринимать соответствующие и честные меры по исправлению положения +в ответ на любое поведение, которое они сочтут неприемлемым, угрожающим, оскорбительным или вредным. + +Лидеры сообщества обладают правом и обязанностью удалять, редактировать или отклонять +комментарии, коммиты, код, изменения в вики, вопросы и другой вклад, который не совпадает +с Кодексом Поведения, и предоставят причины принятого решения, когда сочтут нужным. + +## Область применения + +Данный Кодекс Поведения применим во всех публичных физических и цифровых пространства сообщества, +а также когда человек официально представляет сообщество в публичных местах. +Примеры представления проекта или сообщества включают использование официальной электронной почты, +публикации в официальном аккаунте в социальных сетях, +или упоминания как представителя в онлайн или офлайн мероприятии. + +## Приведение в исполнение + +О случаях домогательства, а так же оскорбительного или иного другого неприемлемого +поведения можно сообщить ответственным лидерам сообщества с помощью email. +Все жалобы будут рассмотрены и расследованы оперативно и беспристрастно. + +Все лидеры сообщества обязаны уважать неприкосновенность частной жизни и личную +неприкосновенность автора сообщения. + +## Атрибуция + +Данный Кодекс Поведения основан на [Кодекс Поведения участника][homepage], +версии 2.0, доступной по адресу +https://www.contributor-covenant.org/version/2/0/code_of_conduct.html. + +Принципы Воздействия в Сообществе были вдохновлены [Mozilla's code of conduct +enforcement ladder](https://github.com/mozilla/diversity). + +[homepage]: https://www.contributor-covenant.org diff --git a/wtfpython-pypi/content.md b/wtfpython-pypi/content.md deleted file mode 100644 index 0d24669..0000000 --- a/wtfpython-pypi/content.md +++ /dev/null @@ -1,2386 +0,0 @@ -

-

What the f*ck Python! 🐍

-

An interesting collection of surprising snippets and lesser-known Python features.

- -[![WTFPL 2.0][license-image]][license-url] - -Translations: [Chinese 中文](https://github.com/leisurelicht/wtfpython-cn) - -Python, being a beautifully designed high-level and interpreter-based programming language, provides us with many features for the programmer's comfort. But sometimes, the outcomes of a Python snippet may not seem obvious to a regular user at first sight. - -Here is a fun project to collect such tricky & counter-intuitive examples and lesser-known features in Python, attempting to discuss what exactly is happening under the hood! - -While some of the examples you see below may not be WTFs in the truest sense, but they'll reveal some of the interesting parts of Python that you might be unaware of. I find it a nice way to learn the internals of a programming language, and I think you'll find them interesting as well! - -If you're an experienced Python programmer, you can take it as a challenge to get most of them right in first attempt. You may be already familiar with some of these examples, and I might be able to revive sweet old memories of yours being bitten by these gotchas :sweat_smile: - -PS: If you're a returning reader, you can learn about the new modifications [here](https://github.com/satwikkansal/wtfpython/releases/). - -So, here we go... - -# Table of Contents - - - - - -- [Structure of the Examples](#structure-of-the-examples) -- [Usage](#usage) -- [👀 Examples](#-examples) - - [Section: Strain your brain!](#section-strain-your-brain) - - [▶ Strings can be tricky sometimes *](#-strings-can-be-tricky-sometimes-) - - [▶ Time for some hash brownies!](#-time-for-some-hash-brownies) - - [▶ Return return everywhere!](#-return-return-everywhere) - - [▶ Deep down, we're all the same. *](#-deep-down-were-all-the-same-) - - [▶ For what?](#-for-what) - - [▶ Evaluation time discrepancy](#-evaluation-time-discrepancy) - - [▶ `is` is not what it is!](#-is-is-not-what-it-is) - - [▶ A tic-tac-toe where X wins in the first attempt!](#-a-tic-tac-toe-where-x-wins-in-the-first-attempt) - - [▶ The sticky output function](#-the-sticky-output-function) - - [▶ `is not ...` is not `is (not ...)`](#-is-not--is-not-is-not-) - - [▶ The surprising comma](#-the-surprising-comma) - - [▶ Backslashes at the end of string](#-backslashes-at-the-end-of-string) - - [▶ not knot!](#-not-knot) - - [▶ Half triple-quoted strings](#-half-triple-quoted-strings) - - [▶ Midnight time doesn't exist?](#-midnight-time-doesnt-exist) - - [▶ What's wrong with booleans?](#-whats-wrong-with-booleans) - - [▶ Class attributes and instance attributes](#-class-attributes-and-instance-attributes) - - [▶ yielding None](#-yielding-none) - - [▶ Mutating the immutable!](#-mutating-the-immutable) - - [▶ The disappearing variable from outer scope](#-the-disappearing-variable-from-outer-scope) - - [▶ When True is actually False](#-when-true-is-actually-false) - - [▶ From filled to None in one instruction...](#-from-filled-to-none-in-one-instruction) - - [▶ Subclass relationships *](#-subclass-relationships-) - - [▶ The mysterious key type conversion *](#-the-mysterious-key-type-conversion-) - - [▶ Let's see if you can guess this?](#-lets-see-if-you-can-guess-this) - - [Section: Appearances are deceptive!](#section-appearances-are-deceptive) - - [▶ Skipping lines?](#-skipping-lines) - - [▶ Teleportation *](#-teleportation-) - - [▶ Well, something is fishy...](#-well-something-is-fishy) - - [Section: Watch out for the landmines!](#section-watch-out-for-the-landmines) - - [▶ Modifying a dictionary while iterating over it](#-modifying-a-dictionary-while-iterating-over-it) - - [▶ Stubborn `del` operator *](#-stubborn-del-operator-) - - [▶ Deleting a list item while iterating](#-deleting-a-list-item-while-iterating) - - [▶ Loop variables leaking out!](#-loop-variables-leaking-out) - - [▶ Beware of default mutable arguments!](#-beware-of-default-mutable-arguments) - - [▶ Catching the Exceptions](#-catching-the-exceptions) - - [▶ Same operands, different story!](#-same-operands-different-story) - - [▶ The out of scope variable](#-the-out-of-scope-variable) - - [▶ Be careful with chained operations](#-be-careful-with-chained-operations) - - [▶ Name resolution ignoring class scope](#-name-resolution-ignoring-class-scope) - - [▶ Needle in a Haystack](#-needle-in-a-haystack) - - [Section: The Hidden treasures!](#section-the-hidden-treasures) - - [▶ Okay Python, Can you make me fly? *](#-okay-python-can-you-make-me-fly-) - - [▶ `goto`, but why? *](#-goto-but-why-) - - [▶ Brace yourself! *](#-brace-yourself-) - - [▶ Let's meet Friendly Language Uncle For Life *](#-lets-meet-friendly-language-uncle-for-life-) - - [▶ Even Python understands that love is complicated *](#-even-python-understands-that-love-is-complicated-) - - [▶ Yes, it exists!](#-yes-it-exists) - - [▶ Inpinity *](#-inpinity-) - - [▶ Mangling time! *](#-mangling-time-) - - [Section: Miscellaneous](#section-miscellaneous) - - [▶ `+=` is faster](#--is-faster) - - [▶ Let's make a giant string!](#-lets-make-a-giant-string) - - [▶ Explicit typecast of strings](#-explicit-typecast-of-strings) - - [▶ Minor Ones](#-minor-ones) -- [Contributing](#contributing) -- [Acknowledgements](#acknowledgements) -- [🎓 License](#-license) - - [Help](#help) - - [Want to share wtfpython with friends?](#want-to-share-wtfpython-with-friends) - - [Need a pdf version?](#need-a-pdf-version) - - - -# Structure of the Examples - -All the examples are structured like below: - -> ### ▶ Some fancy Title * -> The asterisk at the end of the title indicates the example was not present in the first release and has been recently added. -> -> ```py -> # Setting up the code. -> # Preparation for the magic... -> ``` -> -> **Output (Python version):** -> ```py -> >>> triggering_statement -> Probably unexpected output -> ``` -> (Optional): One line describing the unexpected output. -> -> -> #### 💡 Explanation: -> -> * Brief explanation of what's happening and why is it happening. -> ```py -> Setting up examples for clarification (if necessary) -> ``` -> **Output:** -> ```py -> >>> trigger # some example that makes it easy to unveil the magic -> # some justified output -> ``` - -**Note:** All the examples are tested on Python 3.5.2 interactive interpreter, and they should work for all the Python versions unless explicitly specified in the description. - -# Usage - -A nice way to get the most out of these examples, in my opinion, will be just to read the examples chronologically, and for every example: -- Carefully read the initial code for setting up the example. If you're an experienced Python programmer, most of the times you will successfully anticipate what's going to happen next. -- Read the output snippets and, - + Check if the outputs are the same as you'd expect. - + Make sure if you know the exact reason behind the output being the way it is. - - If no, take a deep breath, and read the explanation (and if you still don't understand, shout out! and create an issue [here](https://github.com/satwikkansal/wtfPython)). - - If yes, give a gentle pat on your back, and you may skip to the next example. - -PS: You can also read WTFpython at the command line. There's a pypi package and an npm package (supports colored formatting) for the same. - -To install the npm package [`wtfpython`](https://www.npmjs.com/package/wtfpython) -```sh -$ npm install -g wtfpython -``` - -Alternatively, to install the pypi package [`wtfpython`](https://pypi.python.org/pypi/wtfpython) -```sh -$ pip install wtfpython -U -``` - -Now, just run `wtfpython` at the command line which will open this collection in your selected `$PAGER`. - ---- - -# 👀 Examples - - -## Section: Strain your brain! - -### ▶ Strings can be tricky sometimes * - -1\. -```py ->>> a = "some_string" ->>> id(a) -140420665652016 ->>> id("some" + "_" + "string") # Notice that both the ids are same. -140420665652016 -``` - -2\. -```py ->>> a = "wtf" ->>> b = "wtf" ->>> a is b -True - ->>> a = "wtf!" ->>> b = "wtf!" ->>> a is b -False - ->>> a, b = "wtf!", "wtf!" ->>> a is b -True -``` - -3\. -```py ->>> 'a' * 20 is 'aaaaaaaaaaaaaaaaaaaa' -True ->>> 'a' * 21 is 'aaaaaaaaaaaaaaaaaaaaa' -False -``` - -Makes sense, right? - -#### 💡 Explanation: -+ Such behavior is due to CPython optimization (called string interning) that tries to use existing immutable objects in some cases rather than creating a new object every time. -+ After being interned, many variables may point to the same string object in memory (thereby saving memory). -+ In the snippets above, strings are implicitly interned. The decision of when to implicitly intern a string is implementation dependent. There are some facts that can be used to guess if a string will be interned or not: - * All length 0 and length 1 strings are interned. - * Strings are interned at compile time (`'wtf'` will be interned but `''.join(['w', 't', 'f']` will not be interned) - * Strings that are not composed of ASCII letters, digits or underscores, are not interned. This explains why `'wtf!'` was not interned due to `!`. Cpython implementation of this rule can be found [here](https://github.com/python/cpython/blob/3.6/Objects/codeobject.c#L19) - -+ When `a` and `b` are set to `"wtf!"` in the same line, the Python interpreter creates a new object, then references the second variable at the same time. If you do it on separate lines, it doesn't "know" that there's already `wtf!` as an object (because `"wtf!"` is not implicitly interned as per the facts mentioned above). It's a compiler optimization and specifically applies to the interactive environment. -+ Constant folding is a technique for [peephole optimization](https://en.wikipedia.org/wiki/Peephole_optimization) in Python. This means the expression `'a'*20` is replaced by `'aaaaaaaaaaaaaaaaaaaa'` during compilation to reduce few clock cycles during runtime. Constant folding only occurs for strings having length less than 20. (Why? Imagine the size of `.pyc` file generated as a result of the expression `'a'*10**10`). [Here's](https://github.com/python/cpython/blob/3.6/Python/peephole.c#L288) the implementation source for the same. - - ---- - -### ▶ Time for some hash brownies! - -1\. -```py -some_dict = {} -some_dict[5.5] = "Ruby" -some_dict[5.0] = "JavaScript" -some_dict[5] = "Python" -``` - -**Output:** -```py ->>> some_dict[5.5] -"Ruby" ->>> some_dict[5.0] -"Python" ->>> some_dict[5] -"Python" -``` - -"Python" destroyed the existence of "JavaScript"? - -#### 💡 Explanation - -* Python dictionaries check for equality and compare the hash value to determine if two keys are the same. -* Immutable objects with same value always have the same hash in Python. - ```py - >>> 5 == 5.0 - True - >>> hash(5) == hash(5.0) - True - ``` - **Note:** Objects with different values may also have same hash (known as hash collision). -* When the statement `some_dict[5] = "Python"` is executed, the existing value "JavaScript" is overwritten with "Python" because Python recognizes `5` and `5.0` as the same keys of the dictionary `some_dict`. -* This StackOverflow [answer](https://stackoverflow.com/a/32211042/4354153) explains beautifully the rationale behind it. - ---- - -### ▶ Return return everywhere! - -```py -def some_func(): - try: - return 'from_try' - finally: - return 'from_finally' -``` - -**Output:** -```py ->>> some_func() -'from_finally' -``` - -#### 💡 Explanation: - -- When a `return`, `break` or `continue` statement is executed in the `try` suite of a "try…finally" statement, the `finally` clause is also executed ‘on the way out. -- The return value of a function is determined by the last `return` statement executed. Since the `finally` clause always executes, a `return` statement executed in the `finally` clause will always be the last one executed. - ---- - -### ▶ Deep down, we're all the same. * - -```py -class WTF: - pass -``` - -**Output:** -```py ->>> WTF() == WTF() # two different instances can't be equal -False ->>> WTF() is WTF() # identities are also different -False ->>> hash(WTF()) == hash(WTF()) # hashes _should_ be different as well -True ->>> id(WTF()) == id(WTF()) -True -``` - -#### 💡 Explanation: - -* When `id` was called, Python created a `WTF` class object and passed it to the `id` function. The `id` function takes its `id` (its memory location), and throws away the object. The object is destroyed. -* When we do this twice in succession, Python allocates the same memory location to this second object as well. Since (in CPython) `id` uses the memory location as the object id, the id of the two objects is the same. -* So, object's id is unique only for the lifetime of the object. After the object is destroyed, or before it is created, something else can have the same id. -* But why did the `is` operator evaluated to `False`? Let's see with this snippet. - ```py - class WTF(object): - def __init__(self): print("I") - def __del__(self): print("D") - ``` - - **Output:** - ```py - >>> WTF() is WTF() - I - I - D - D - False - >>> id(WTF()) == id(WTF()) - I - D - I - D - True - ``` - As you may observe, the order in which the objects are destroyed is what made all the difference here. - ---- - -### ▶ For what? - -```py -some_string = "wtf" -some_dict = {} -for i, some_dict[i] in enumerate(some_string): - pass -``` - -**Output:** -```py ->>> some_dict # An indexed dict is created. -{0: 'w', 1: 't', 2: 'f'} -``` - -#### 💡 Explanation: - -* A `for` statement is defined in the [Python grammar](https://docs.python.org/3/reference/grammar.html) as: - ``` - for_stmt: 'for' exprlist 'in' testlist ':' suite ['else' ':' suite] - ``` - Where `exprlist` is the assignment target. This means that the equivalent of `{exprlist} = {next_value}` is **executed for each item** in the iterable. - An interesting example that illustrates this: - ```py - for i in range(4): - print(i) - i = 10 - ``` - - **Output:** - ``` - 0 - 1 - 2 - 3 - ``` - - Did you expect the loop to run just once? - - **💡 Explanation:** - - - The assignment statement `i = 10` never affects the iterations of the loop because of the way for loops work in Python. Before the beginning of every iteration, the next item provided by the iterator (`range(4)` this case) is unpacked and assigned the target list variables (`i` in this case). - -* The `enumerate(some_string)` function yields a new value `i` (A counter going up) and a character from the `some_string` in each iteration. It then sets the (just assigned) `i` key of the dictionary `some_dict` to that character. The unrolling of the loop can be simplified as: - ```py - >>> i, some_dict[i] = (0, 'w') - >>> i, some_dict[i] = (1, 't') - >>> i, some_dict[i] = (2, 'f') - >>> some_dict - ``` - ---- - -### ▶ Evaluation time discrepancy - -1\. -```py -array = [1, 8, 15] -g = (x for x in array if array.count(x) > 0) -array = [2, 8, 22] -``` - -**Output:** -```py ->>> print(list(g)) -[8] -``` - -2\. - -```py -array_1 = [1,2,3,4] -g1 = (x for x in array_1) -array_1 = [1,2,3,4,5] - -array_2 = [1,2,3,4] -g2 = (x for x in array_2) -array_2[:] = [1,2,3,4,5] -``` - -**Output:** -```py ->>> print(list(g1)) -[1,2,3,4] - ->>> print(list(g2)) -[1,2,3,4,5] -``` - -#### 💡 Explanation - -- In a [generator](https://wiki.python.org/moin/Generators) expression, the `in` clause is evaluated at declaration time, but the conditional clause is evaluated at runtime. -- So before runtime, `array` is re-assigned to the list `[2, 8, 22]`, and since out of `1`, `8` and `15`, only the count of `8` is greater than `0`, the generator only yields `8`. -- The differences in the output of `g1` and `g2` in the second part is due the way variables `array_1` and `array_2` are re-assigned values. -- In the first case, `array_1` is binded to the new object `[1,2,3,4,5]` and since the `in` clause is evaluated at the declaration time it still refers to the old object `[1,2,3,4]` (which is not destroyed). -- In the second case, the slice assignment to `array_2` updates the same old object `[1,2,3,4]` to `[1,2,3,4,5]`. Hence both the `g2` and `array_2` still have reference to the same object (which has now been updated to `[1,2,3,4,5]`). - ---- - -### ▶ `is` is not what it is! - -The following is a very famous example present all over the internet. - -```py ->>> a = 256 ->>> b = 256 ->>> a is b -True - ->>> a = 257 ->>> b = 257 ->>> a is b -False - ->>> a = 257; b = 257 ->>> a is b -True -``` - -#### 💡 Explanation: - -**The difference between `is` and `==`** - -* `is` operator checks if both the operands refer to the same object (i.e., it checks if the identity of the operands matches or not). -* `==` operator compares the values of both the operands and checks if they are the same. -* So `is` is for reference equality and `==` is for value equality. An example to clear things up, - ```py - >>> [] == [] - True - >>> [] is [] # These are two empty lists at two different memory locations. - False - ``` - -**`256` is an existing object but `257` isn't** - -When you start up python the numbers from `-5` to `256` will be allocated. These numbers are used a lot, so it makes sense just to have them ready. - -Quoting from https://docs.python.org/3/c-api/long.html -> The current implementation keeps an array of integer objects for all integers between -5 and 256, when you create an int in that range you just get back a reference to the existing object. So it should be possible to change the value of 1. I suspect the behavior of Python, in this case, is undefined. :-) - -```py ->>> id(256) -10922528 ->>> a = 256 ->>> b = 256 ->>> id(a) -10922528 ->>> id(b) -10922528 ->>> id(257) -140084850247312 ->>> x = 257 ->>> y = 257 ->>> id(x) -140084850247440 ->>> id(y) -140084850247344 -``` - -Here the interpreter isn't smart enough while executing `y = 257` to recognize that we've already created an integer of the value `257,` and so it goes on to create another object in the memory. - -**Both `a` and `b` refer to the same object when initialized with same value in the same line.** - -```py ->>> a, b = 257, 257 ->>> id(a) -140640774013296 ->>> id(b) -140640774013296 ->>> a = 257 ->>> b = 257 ->>> id(a) -140640774013392 ->>> id(b) -140640774013488 -``` - -* When a and b are set to `257` in the same line, the Python interpreter creates a new object, then references the second variable at the same time. If you do it on separate lines, it doesn't "know" that there's already `257` as an object. -* It's a compiler optimization and specifically applies to the interactive environment. When you enter two lines in a live interpreter, they're compiled separately, therefore optimized separately. If you were to try this example in a `.py` file, you would not see the same behavior, because the file is compiled all at once. - ---- - -### ▶ A tic-tac-toe where X wins in the first attempt! - -```py -# Let's initialize a row -row = [""]*3 #row i['', '', ''] -# Let's make a board -board = [row]*3 -``` - -**Output:** -```py ->>> board -[['', '', ''], ['', '', ''], ['', '', '']] ->>> board[0] -['', '', ''] ->>> board[0][0] -'' ->>> board[0][0] = "X" ->>> board -[['X', '', ''], ['X', '', ''], ['X', '', '']] -``` - -We didn't assign 3 "X"s or did we? - -#### 💡 Explanation: - -When we initialize `row` variable, this visualization explains what happens in the memory - -![image](/images/tic-tac-toe/after_row_initialized.png) - -And when the `board` is initialized by multiplying the `row`, this is what happens inside the memory (each of the elements `board[0]`, `board[1]` and `board[2]` is a reference to the same list referred by `row`) - -![image](/images/tic-tac-toe/after_board_initialized.png) - -We can avoid this scenario here by not using `row` variable to generate `board`. (Asked in [this](https://github.com/satwikkansal/wtfpython/issues/68) issue). - -```py ->>> board = [['']*3 for _ in range(3)] ->>> board[0][0] = "X" ->>> board -[['X', '', ''], ['', '', ''], ['', '', '']] -``` - ---- - -### ▶ The sticky output function - -```py -funcs = [] -results = [] -for x in range(7): - def some_func(): - return x - funcs.append(some_func) - results.append(some_func()) # note the function call here - -funcs_results = [func() for func in funcs] -``` - -**Output:** -```py ->>> results -[0, 1, 2, 3, 4, 5, 6] ->>> funcs_results -[6, 6, 6, 6, 6, 6, 6] -``` -Even when the values of `x` were different in every iteration prior to appending `some_func` to `funcs`, all the functions return 6. - -//OR - -```py ->>> powers_of_x = [lambda x: x**i for i in range(10)] ->>> [f(2) for f in powers_of_x] -[512, 512, 512, 512, 512, 512, 512, 512, 512, 512] -``` - -#### 💡 Explanation - -- When defining a function inside a loop that uses the loop variable in its body, the loop function's closure is bound to the variable, not its value. So all of the functions use the latest value assigned to the variable for computation. - -- To get the desired behavior you can pass in the loop variable as a named variable to the function. **Why this works?** Because this will define the variable again within the function's scope. - - ```py - funcs = [] - for x in range(7): - def some_func(x=x): - return x - funcs.append(some_func) - ``` - - **Output:** - ```py - >>> funcs_results = [func() for func in funcs] - >>> funcs_results - [0, 1, 2, 3, 4, 5, 6] - ``` - ---- - -### ▶ `is not ...` is not `is (not ...)` - -```py ->>> 'something' is not None -True ->>> 'something' is (not None) -False -``` - -#### 💡 Explanation - -- `is not` is a single binary operator, and has behavior different than using `is` and `not` separated. -- `is not` evaluates to `False` if the variables on either side of the operator point to the same object and `True` otherwise. - ---- - -### ▶ The surprising comma - -**Output:** -```py ->>> def f(x, y,): -... print(x, y) -... ->>> def g(x=4, y=5,): -... print(x, y) -... ->>> def h(x, **kwargs,): - File "", line 1 - def h(x, **kwargs,): - ^ -SyntaxError: invalid syntax ->>> def h(*args,): - File "", line 1 - def h(*args,): - ^ -SyntaxError: invalid syntax -``` - -#### 💡 Explanation: - -- Trailing comma is not always legal in formal parameters list of a Python function. -- In Python, the argument list is defined partially with leading commas and partially with trailing commas. This conflict causes situations where a comma is trapped in the middle, and no rule accepts it. -- **Note:** The trailing comma problem is [fixed in Python 3.6](https://bugs.python.org/issue9232). The remarks in [this](https://bugs.python.org/issue9232#msg248399) post discuss in brief different usages of trailing commas in Python. - ---- - -### ▶ Backslashes at the end of string - -**Output:** -``` ->>> print("\\ C:\\") -\ C:\ ->>> print(r"\ C:") -\ C: ->>> print(r"\ C:\") - - File "", line 1 - print(r"\ C:\") - ^ -SyntaxError: EOL while scanning string literal -``` - -#### 💡 Explanation - -- In a raw string literal, as indicated by the prefix `r`, the backslash doesn't have the special meaning. - ```py - >>> print(repr(r"wt\"f")) - 'wt\\"f' - ``` -- What the interpreter actually does, though, is simply change the behavior of backslashes, so they pass themselves and the following character through. That's why backslashes don't work at the end of a raw string. - ---- - -### ▶ not knot! - -```py -x = True -y = False -``` - -**Output:** -```py ->>> not x == y -True ->>> x == not y - File "", line 1 - x == not y - ^ -SyntaxError: invalid syntax -``` - -#### 💡 Explanation: - -* Operator precedence affects how an expression is evaluated, and `==` operator has higher precedence than `not` operator in Python. -* So `not x == y` is equivalent to `not (x == y)` which is equivalent to `not (True == False)` finally evaluating to `True`. -* But `x == not y` raises a `SyntaxError` because it can be thought of being equivalent to `(x == not) y` and not `x == (not y)` which you might have expected at first sight. -* The parser expected the `not` token to be a part of the `not in` operator (because both `==` and `not in` operators have the same precedence), but after not being able to find an `in` token following the `not` token, it raises a `SyntaxError`. - ---- - -### ▶ Half triple-quoted strings - -**Output:** -```py ->>> print('wtfpython''') -wtfpython ->>> print("wtfpython""") -wtfpython ->>> # The following statements raise `SyntaxError` ->>> # print('''wtfpython') ->>> # print("""wtfpython") -``` - -#### 💡 Explanation: -+ Python supports implicit [string literal concatenation](https://docs.python.org/2/reference/lexical_analysis.html#string-literal-concatenation), Example, - ``` - >>> print("wtf" "python") - wtfpython - >>> print("wtf" "") # or "wtf""" - wtf - ``` -+ `'''` and `"""` are also string delimiters in Python which causes a SyntaxError because the Python interpreter was expecting a terminating triple quote as delimiter while scanning the currently encountered triple quoted string literal. - ---- - -### ▶ Midnight time doesn't exist? - -```py -from datetime import datetime - -midnight = datetime(2018, 1, 1, 0, 0) -midnight_time = midnight.time() - -noon = datetime(2018, 1, 1, 12, 0) -noon_time = noon.time() - -if midnight_time: - print("Time at midnight is", midnight_time) - -if noon_time: - print("Time at noon is", noon_time) -``` - -**Output:** -```sh -('Time at noon is', datetime.time(12, 0)) -``` -The midnight time is not printed. - -#### 💡 Explanation: - -Before Python 3.5, the boolean value for `datetime.time` object was considered to be `False` if it represented midnight in UTC. It is error-prone when using the `if obj:` syntax to check if the `obj` is null or some equivalent of "empty." - ---- - -### ▶ What's wrong with booleans? - -1\. -```py -# A simple example to count the number of boolean and -# integers in an iterable of mixed data types. -mixed_list = [False, 1.0, "some_string", 3, True, [], False] -integers_found_so_far = 0 -booleans_found_so_far = 0 - -for item in mixed_list: - if isinstance(item, int): - integers_found_so_far += 1 - elif isinstance(item, bool): - booleans_found_so_far += 1 -``` - -**Output:** -```py ->>> integers_found_so_far -4 ->>> booleans_found_so_far -0 -``` - -2\. -```py -another_dict = {} -another_dict[True] = "JavaScript" -another_dict[1] = "Ruby" -another_dict[1.0] = "Python" -``` - -**Output:** -```py ->>> another_dict[True] -"Python" -``` - -3\. -```py ->>> some_bool = True ->>> "wtf"*some_bool -'wtf' ->>> some_bool = False ->>> "wtf"*some_bool -'' -``` - -#### 💡 Explanation: - -* Booleans are a subclass of `int` - ```py - >>> isinstance(True, int) - True - >>> isinstance(False, int) - True - ``` - -* The integer value of `True` is `1` and that of `False` is `0`. - ```py - >>> True == 1 == 1.0 and False == 0 == 0.0 - True - ``` - -* See this StackOverflow [answer](https://stackoverflow.com/a/8169049/4354153) for the rationale behind it. - ---- - -### ▶ Class attributes and instance attributes - -1\. -```py -class A: - x = 1 - -class B(A): - pass - -class C(A): - pass -``` - -**Output:** -```py ->>> A.x, B.x, C.x -(1, 1, 1) ->>> B.x = 2 ->>> A.x, B.x, C.x -(1, 2, 1) ->>> A.x = 3 ->>> A.x, B.x, C.x -(3, 2, 3) ->>> a = A() ->>> a.x, A.x -(3, 3) ->>> a.x += 1 ->>> a.x, A.x -(4, 3) -``` - -2\. -```py -class SomeClass: - some_var = 15 - some_list = [5] - another_list = [5] - def __init__(self, x): - self.some_var = x + 1 - self.some_list = self.some_list + [x] - self.another_list += [x] -``` - -**Output:** - -```py ->>> some_obj = SomeClass(420) ->>> some_obj.some_list -[5, 420] ->>> some_obj.another_list -[5, 420] ->>> another_obj = SomeClass(111) ->>> another_obj.some_list -[5, 111] ->>> another_obj.another_list -[5, 420, 111] ->>> another_obj.another_list is SomeClass.another_list -True ->>> another_obj.another_list is some_obj.another_list -True -``` - -#### 💡 Explanation: - -* Class variables and variables in class instances are internally handled as dictionaries of a class object. If a variable name is not found in the dictionary of the current class, the parent classes are searched for it. -* The `+=` operator modifies the mutable object in-place without creating a new object. So changing the attribute of one instance affects the other instances and the class attribute as well. - ---- - -### ▶ yielding None - -```py -some_iterable = ('a', 'b') - -def some_func(val): - return "something" -``` - -**Output:** -```py ->>> [x for x in some_iterable] -['a', 'b'] ->>> [(yield x) for x in some_iterable] - at 0x7f70b0a4ad58> ->>> list([(yield x) for x in some_iterable]) -['a', 'b'] ->>> list((yield x) for x in some_iterable) -['a', None, 'b', None] ->>> list(some_func((yield x)) for x in some_iterable) -['a', 'something', 'b', 'something'] -``` - -#### 💡 Explanation: -- Source and explanation can be found here: https://stackoverflow.com/questions/32139885/yield-in-list-comprehensions-and-generator-expressions -- Related bug report: http://bugs.python.org/issue10544 - ---- - -### ▶ Mutating the immutable! - -```py -some_tuple = ("A", "tuple", "with", "values") -another_tuple = ([1, 2], [3, 4], [5, 6]) -``` - -**Output:** -```py ->>> some_tuple[2] = "change this" -TypeError: 'tuple' object does not support item assignment ->>> another_tuple[2].append(1000) #This throws no error ->>> another_tuple -([1, 2], [3, 4], [5, 6, 1000]) ->>> another_tuple[2] += [99, 999] -TypeError: 'tuple' object does not support item assignment ->>> another_tuple -([1, 2], [3, 4], [5, 6, 1000, 99, 999]) -``` - -But I thought tuples were immutable... - -#### 💡 Explanation: - -* Quoting from https://docs.python.org/2/reference/datamodel.html - - > Immutable sequences - An object of an immutable sequence type cannot change once it is created. (If the object contains references to other objects, these other objects may be mutable and may be modified; however, the collection of objects directly referenced by an immutable object cannot change.) - -* `+=` operator changes the list in-place. The item assignment doesn't work, but when the exception occurs, the item has already been changed in place. - ---- - -### ▶ The disappearing variable from outer scope - -```py -e = 7 -try: - raise Exception() -except Exception as e: - pass -``` - -**Output (Python 2.x):** -```py ->>> print(e) -# prints nothing -``` - -**Output (Python 3.x):** -```py ->>> print(e) -NameError: name 'e' is not defined -``` - -#### 💡 Explanation: - -* Source: https://docs.python.org/3/reference/compound_stmts.html#except - - When an exception has been assigned using `as` target, it is cleared at the end of the except clause. This is as if - - ```py - except E as N: - foo - ``` - - was translated into - - ```py - except E as N: - try: - foo - finally: - del N - ``` - - This means the exception must be assigned to a different name to be able to refer to it after the except clause. Exceptions are cleared because, with the traceback attached to them, they form a reference cycle with the stack frame, keeping all locals in that frame alive until the next garbage collection occurs. - -* The clauses are not scoped in Python. Everything in the example is present in the same scope, and the variable `e` got removed due to the execution of the `except` clause. The same is not the case with functions which have their separate inner-scopes. The example below illustrates this: - - ```py - def f(x): - del(x) - print(x) - - x = 5 - y = [5, 4, 3] - ``` - - **Output:** - ```py - >>>f(x) - UnboundLocalError: local variable 'x' referenced before assignment - >>>f(y) - UnboundLocalError: local variable 'x' referenced before assignment - >>> x - 5 - >>> y - [5, 4, 3] - ``` - -* In Python 2.x the variable name `e` gets assigned to `Exception()` instance, so when you try to print, it prints nothing. - - **Output (Python 2.x):** - ```py - >>> e - Exception() - >>> print e - # Nothing is printed! - ``` - ---- - -### ▶ When True is actually False - -```py -True = False -if True == False: - print("I've lost faith in truth!") -``` - -**Output:** -``` -I've lost faith in truth! -``` - -#### 💡 Explanation: - -- Initially, Python used to have no `bool` type (people used 0 for false and non-zero value like 1 for true). Then they added `True`, `False`, and a `bool` type, but, for backward compatibility, they couldn't make `True` and `False` constants- they just were built-in variables. -- Python 3 was backward-incompatible, so it was now finally possible to fix that, and so this example won't work with Python 3.x! - ---- - -### ▶ From filled to None in one instruction... - -```py -some_list = [1, 2, 3] -some_dict = { - "key_1": 1, - "key_2": 2, - "key_3": 3 -} - -some_list = some_list.append(4) -some_dict = some_dict.update({"key_4": 4}) -``` - -**Output:** -```py ->>> print(some_list) -None ->>> print(some_dict) -None -``` - -#### 💡 Explanation - -Most methods that modify the items of sequence/mapping objects like `list.append`, `dict.update`, `list.sort`, etc. modify the objects in-place and return `None`. The rationale behind this is to improve performance by avoiding making a copy of the object if the operation can be done in-place (Referred from [here](http://docs.python.org/2/faq/design.html#why-doesn-t-list-sort-return-the-sorted-list)) - ---- - -### ▶ Subclass relationships * - -**Output:** -```py ->>> from collections import Hashable ->>> issubclass(list, object) -True ->>> issubclass(object, Hashable) -True ->>> issubclass(list, Hashable) -False -``` - -The Subclass relationships were expected to be transitive, right? (i.e., if `A` is a subclass of `B`, and `B` is a subclass of `C`, the `A` _should_ a subclass of `C`) - -#### 💡 Explanation: - -* Subclass relationships are not necessarily transitive in Python. Anyone is allowed to define their own, arbitrary `__subclasscheck__` in a metaclass. -* When `issubclass(cls, Hashable)` is called, it simply looks for non-Falsey "`__hash__`" method in `cls` or anything it inherits from. -* Since `object` is hashable, but `list` is non-hashable, it breaks the transitivity relation. -* More detailed explanation can be found [here](https://www.naftaliharris.com/blog/python-subclass-intransitivity/). - ---- - -### ▶ The mysterious key type conversion * - -```py -class SomeClass(str): - pass - -some_dict = {'s':42} -``` - -**Output:** -```py ->>> type(list(some_dict.keys())[0]) -str ->>> s = SomeClass('s') ->>> some_dict[s] = 40 ->>> some_dict # expected: Two different keys-value pairs -{'s': 40} ->>> type(list(some_dict.keys())[0]) -str -``` - -#### 💡 Explanation: - -* Both the object `s` and the string `"s"` hash to the same value because `SomeClass` inherits the `__hash__` method of `str` class. -* `SomeClass("s") == "s"` evaluates to `True` because `SomeClass` also inherits `__eq__` method from `str` class. -* Since both the objects hash to the same value and are equal, they are represented by the same key in the dictionary. -* For the desired behavior, we can redefine the `__eq__` method in `SomeClass` - ```py - class SomeClass(str): - def __eq__(self, other): - return ( - type(self) is SomeClass - and type(other) is SomeClass - and super().__eq__(other) - ) - - # When we define a custom __eq__, Python stops automatically inheriting the - # __hash__ method, so we need to define it as well - __hash__ = str.__hash__ - - some_dict = {'s':42} - ``` - - **Output:** - ```py - >>> s = SomeClass('s') - >>> some_dict[s] = 40 - >>> some_dict - {'s': 40, 's': 42} - >>> keys = list(some_dict.keys()) - >>> type(keys[0]), type(keys[1]) - (__main__.SomeClass, str) - ``` - ---- - -### ▶ Let's see if you can guess this? - -```py -a, b = a[b] = {}, 5 -``` - -**Output:** -```py ->>> a -{5: ({...}, 5)} -``` - -#### 💡 Explanation: - -* According to [Python language reference](https://docs.python.org/2/reference/simple_stmts.html#assignment-statements), assignment statements have the form - ``` - (target_list "=")+ (expression_list | yield_expression) - ``` - and - > An assignment statement evaluates the expression list (remember that this can be a single expression or a comma-separated list, the latter yielding a tuple) and assigns the single resulting object to each of the target lists, from left to right. - -* The `+` in `(target_list "=")+` means there can be **one or more** target lists. In this case, target lists are `a, b` and `a[b]` (note the expression list is exactly one, which in our case is `{}, 5`). - -* After the expression list is evaluated, it's value is unpacked to the target lists from **left to right**. So, in our case, first the `{}, 5` tuple is unpacked to `a, b` and we now have `a = {}` and `b = 5`. - -* `a` is now assigned to `{}` which is a mutable object. - -* The second target list is `a[b]` (you may expect this to throw an error because both `a` and `b` have not been defined in the statements before. But remember, we just assigned `a` to `{}` and `b` to `5`). - -* Now, we are setting the key `5` in the dictionary to the tuple `({}, 5)` creating a circular reference (the `{...}` in the output refers to the same object that `a` is already referencing). Another simpler example of circular reference could be - ```py - >>> some_list = some_list[0] = [0] - >>> some_list - [[...]] - >>> some_list[0] - [[...]] - >>> some_list is some_list[0] - True - >>> some_list[0][0][0][0][0][0] == some_list - True - ``` - Similar is the case in our example (`a[b][0]` is the same object as `a`) - -* So to sum it up, you can break the example down to - ```py - a, b = {}, 5 - a[b] = a, b - ``` - And the circular reference can be justified by the fact that `a[b][0]` is the same object as `a` - ```py - >>> a[b][0] is a - True - ``` - ---- - ---- - -## Section: Appearances are deceptive! - -### ▶ Skipping lines? - -**Output:** -```py ->>> value = 11 ->>> valuе = 32 ->>> value -11 -``` - -Wut? - -**Note:** The easiest way to reproduce this is to simply copy the statements from the above snippet and paste them into your file/shell. - -#### 💡 Explanation - -Some non-Western characters look identical to letters in the English alphabet but are considered distinct by the interpreter. - -```py ->>> ord('е') # cyrillic 'e' (Ye) -1077 ->>> ord('e') # latin 'e', as used in English and typed using standard keyboard -101 ->>> 'е' == 'e' -False - ->>> value = 42 # latin e ->>> valuе = 23 # cyrillic 'e', Python 2.x interpreter would raise a `SyntaxError` here ->>> value -42 -``` - -The built-in `ord()` function returns a character's Unicode [code point](https://en.wikipedia.org/wiki/Code_point), and different code positions of Cyrillic 'e' and Latin 'e' justify the behavior of the above example. - ---- - -### ▶ Teleportation * - -```py -import numpy as np - -def energy_send(x): - # Initializing a numpy array - np.array([float(x)]) - -def energy_receive(): - # Return an empty numpy array - return np.empty((), dtype=np.float).tolist() -``` - -**Output:** -```py ->>> energy_send(123.456) ->>> energy_receive() -123.456 -``` - -Where's the Nobel Prize? - -#### 💡 Explanation: - -* Notice that the numpy array created in the `energy_send` function is not returned, so that memory space is free to reallocate. -* `numpy.empty()` returns the next free memory slot without reinitializing it. This memory spot just happens to be the same one that was just freed (usually, but not always). - ---- - -### ▶ Well, something is fishy... - -```py -def square(x): - """ - A simple function to calculate the square of a number by addition. - """ - sum_so_far = 0 - for counter in range(x): - sum_so_far = sum_so_far + x - return sum_so_far -``` - -**Output (Python 2.x):** - -```py ->>> square(10) -10 -``` - -Shouldn't that be 100? - -**Note:** If you're not able to reproduce this, try running the file [mixed_tabs_and_spaces.py](/mixed_tabs_and_spaces.py) via the shell. - -#### 💡 Explanation - -* **Don't mix tabs and spaces!** The character just preceding return is a "tab", and the code is indented by multiple of "4 spaces" elsewhere in the example. -* This is how Python handles tabs: - > First, tabs are replaced (from left to right) by one to eight spaces such that the total number of characters up to and including the replacement is a multiple of eight <...> -* So the "tab" at the last line of `square` function is replaced with eight spaces, and it gets into the loop. -* Python 3 is kind enough to throw an error for such cases automatically. - - **Output (Python 3.x):** - ```py - TabError: inconsistent use of tabs and spaces in indentation - ``` - ---- - ---- - -## Section: Watch out for the landmines! - - -### ▶ Modifying a dictionary while iterating over it - -```py -x = {0: None} - -for i in x: - del x[i] - x[i+1] = None - print(i) -``` - -**Output (Python 2.7- Python 3.5):** - -``` -0 -1 -2 -3 -4 -5 -6 -7 -``` - -Yes, it runs for exactly **eight** times and stops. - -#### 💡 Explanation: - -* Iteration over a dictionary that you edit at the same time is not supported. -* It runs eight times because that's the point at which the dictionary resizes to hold more keys (we have eight deletion entries, so a resize is needed). This is actually an implementation detail. -* How deleted keys are handled and when the resize occurs might be different for different Python implementations. -* For more information, you may refer to this StackOverflow [thread](https://stackoverflow.com/questions/44763802/bug-in-python-dict) explaining a similar example in detail. - ---- - -### ▶ Stubborn `del` operator * - -```py -class SomeClass: - def __del__(self): - print("Deleted!") -``` - -**Output:** -1\. -```py ->>> x = SomeClass() ->>> y = x ->>> del x # this should print "Deleted!" ->>> del y -Deleted! -``` - -Phew, deleted at last. You might have guessed what saved from `__del__` being called in our first attempt to delete `x`. Let's add more twist to the example. - -2\. -```py ->>> x = SomeClass() ->>> y = x ->>> del x ->>> y # check if y exists -<__main__.SomeClass instance at 0x7f98a1a67fc8> ->>> del y # Like previously, this should print "Deleted!" ->>> globals() # oh, it didn't. Let's check all our global variables and confirm -Deleted! -{'__builtins__': , 'SomeClass': , '__package__': None, '__name__': '__main__', '__doc__': None} -``` - -Okay, now it's deleted :confused: - -#### 💡 Explanation: -+ `del x` doesn’t directly call `x.__del__()`. -+ Whenever `del x` is encountered, Python decrements the reference count for `x` by one, and `x.__del__()` when x’s reference count reaches zero. -+ In the second output snippet, `y.__del__()` was not called because the previous statement (`>>> y`) in the interactive interpreter created another reference to the same object, thus preventing the reference count to reach zero when `del y` was encountered. -+ Calling `globals` caused the existing reference to be destroyed and hence we can see "Deleted!" being printed (finally!). - ---- - -### ▶ Deleting a list item while iterating - -```py -list_1 = [1, 2, 3, 4] -list_2 = [1, 2, 3, 4] -list_3 = [1, 2, 3, 4] -list_4 = [1, 2, 3, 4] - -for idx, item in enumerate(list_1): - del item - -for idx, item in enumerate(list_2): - list_2.remove(item) - -for idx, item in enumerate(list_3[:]): - list_3.remove(item) - -for idx, item in enumerate(list_4): - list_4.pop(idx) -``` - -**Output:** -```py ->>> list_1 -[1, 2, 3, 4] ->>> list_2 -[2, 4] ->>> list_3 -[] ->>> list_4 -[2, 4] -``` - -Can you guess why the output is `[2, 4]`? - -#### 💡 Explanation: - -* It's never a good idea to change the object you're iterating over. The correct way to do so is to iterate over a copy of the object instead, and `list_3[:]` does just that. - - ```py - >>> some_list = [1, 2, 3, 4] - >>> id(some_list) - 139798789457608 - >>> id(some_list[:]) # Notice that python creates new object for sliced list. - 139798779601192 - ``` - -**Difference between `del`, `remove`, and `pop`:** -* `del var_name` just removes the binding of the `var_name` from the local or global namespace (That's why the `list_1` is unaffected). -* `remove` removes the first matching value, not a specific index, raises `ValueError` if the value is not found. -* `pop` removes the element at a specific index and returns it, raises `IndexError` if an invalid index is specified. - -**Why the output is `[2, 4]`?** -- The list iteration is done index by index, and when we remove `1` from `list_2` or `list_4`, the contents of the lists are now `[2, 3, 4]`. The remaining elements are shifted down, i.e., `2` is at index 0, and `3` is at index 1. Since the next iteration is going to look at index 1 (which is the `3`), the `2` gets skipped entirely. A similar thing will happen with every alternate element in the list sequence. - -* Refer to this StackOverflow [thread](https://stackoverflow.com/questions/45946228/what-happens-when-you-try-to-delete-a-list-element-while-iterating-over-it) explaining the example -* See also this nice StackOverflow [thread](https://stackoverflow.com/questions/45877614/how-to-change-all-the-dictionary-keys-in-a-for-loop-with-d-items) for a similar example related to dictionaries in Python. - ---- - -### ▶ Loop variables leaking out! - -1\. -```py -for x in range(7): - if x == 6: - print(x, ': for x inside loop') -print(x, ': x in global') -``` - -**Output:** -```py -6 : for x inside loop -6 : x in global -``` - -But `x` was never defined outside the scope of for loop... - -2\. -```py -# This time let's initialize x first -x = -1 -for x in range(7): - if x == 6: - print(x, ': for x inside loop') -print(x, ': x in global') -``` - -**Output:** -```py -6 : for x inside loop -6 : x in global -``` - -3\. -``` -x = 1 -print([x for x in range(5)]) -print(x, ': x in global') -``` - -**Output (on Python 2.x):** -``` -[0, 1, 2, 3, 4] -(4, ': x in global') -``` - -**Output (on Python 3.x):** -``` -[0, 1, 2, 3, 4] -1 : x in global -``` - -#### 💡 Explanation: - -- In Python, for-loops use the scope they exist in and leave their defined loop-variable behind. This also applies if we explicitly defined the for-loop variable in the global namespace before. In this case, it will rebind the existing variable. - -- The differences in the output of Python 2.x and Python 3.x interpreters for list comprehension example can be explained by following change documented in [What’s New In Python 3.0](https://docs.python.org/3/whatsnew/3.0.html) documentation: - - > "List comprehensions no longer support the syntactic form `[... for var in item1, item2, ...]`. Use `[... for var in (item1, item2, ...)]` instead. Also, note that list comprehensions have different semantics: they are closer to syntactic sugar for a generator expression inside a `list()` constructor, and in particular the loop control variables are no longer leaked into the surrounding scope." - ---- - -### ▶ Beware of default mutable arguments! - -```py -def some_func(default_arg=[]): - default_arg.append("some_string") - return default_arg -``` - -**Output:** -```py ->>> some_func() -['some_string'] ->>> some_func() -['some_string', 'some_string'] ->>> some_func([]) -['some_string'] ->>> some_func() -['some_string', 'some_string', 'some_string'] -``` - -#### 💡 Explanation: - -- The default mutable arguments of functions in Python aren't really initialized every time you call the function. Instead, the recently assigned value to them is used as the default value. When we explicitly passed `[]` to `some_func` as the argument, the default value of the `default_arg` variable was not used, so the function returned as expected. - - ```py - def some_func(default_arg=[]): - default_arg.append("some_string") - return default_arg - ``` - - **Output:** - ```py - >>> some_func.__defaults__ #This will show the default argument values for the function - ([],) - >>> some_func() - >>> some_func.__defaults__ - (['some_string'],) - >>> some_func() - >>> some_func.__defaults__ - (['some_string', 'some_string'],) - >>> some_func([]) - >>> some_func.__defaults__ - (['some_string', 'some_string'],) - ``` - -- A common practice to avoid bugs due to mutable arguments is to assign `None` as the default value and later check if any value is passed to the function corresponding to that argument. Example: - - ```py - def some_func(default_arg=None): - if not default_arg: - default_arg = [] - default_arg.append("some_string") - return default_arg - ``` - ---- - -### ▶ Catching the Exceptions - -```py -some_list = [1, 2, 3] -try: - # This should raise an ``IndexError`` - print(some_list[4]) -except IndexError, ValueError: - print("Caught!") - -try: - # This should raise a ``ValueError`` - some_list.remove(4) -except IndexError, ValueError: - print("Caught again!") -``` - -**Output (Python 2.x):** -```py -Caught! - -ValueError: list.remove(x): x not in list -``` - -**Output (Python 3.x):** -```py - File "", line 3 - except IndexError, ValueError: - ^ -SyntaxError: invalid syntax -``` - -#### 💡 Explanation - -* To add multiple Exceptions to the except clause, you need to pass them as parenthesized tuple as the first argument. The second argument is an optional name, which when supplied will bind the Exception instance that has been raised. Example, - ```py - some_list = [1, 2, 3] - try: - # This should raise a ``ValueError`` - some_list.remove(4) - except (IndexError, ValueError), e: - print("Caught again!") - print(e) - ``` - **Output (Python 2.x):** - ``` - Caught again! - list.remove(x): x not in list - ``` - **Output (Python 3.x):** - ```py - File "", line 4 - except (IndexError, ValueError), e: - ^ - IndentationError: unindent does not match any outer indentation level - ``` - -* Separating the exception from the variable with a comma is deprecated and does not work in Python 3; the correct way is to use `as`. Example, - ```py - some_list = [1, 2, 3] - try: - some_list.remove(4) - - except (IndexError, ValueError) as e: - print("Caught again!") - print(e) - ``` - **Output:** - ``` - Caught again! - list.remove(x): x not in list - ``` - ---- - -### ▶ Same operands, different story! - -1\. -```py -a = [1, 2, 3, 4] -b = a -a = a + [5, 6, 7, 8] -``` - -**Output:** -```py ->>> a -[1, 2, 3, 4, 5, 6, 7, 8] ->>> b -[1, 2, 3, 4] -``` - -2\. -```py -a = [1, 2, 3, 4] -b = a -a += [5, 6, 7, 8] -``` - -**Output:** -```py ->>> a -[1, 2, 3, 4, 5, 6, 7, 8] ->>> b -[1, 2, 3, 4, 5, 6, 7, 8] -``` - -#### 💡 Explanation: - -* `a += b` doesn't always behave the same way as `a = a + b`. Classes *may* implement the *`op=`* operators differently, and lists do this. - -* The expression `a = a + [5,6,7,8]` generates a new list and sets `a`'s reference to that new list, leaving `b` unchanged. - -* The expression `a += [5,6,7,8]` is actually mapped to an "extend" function that operates on the list such that `a` and `b` still point to the same list that has been modified in-place. - ---- - -### ▶ The out of scope variable - -```py -a = 1 -def some_func(): - return a - -def another_func(): - a += 1 - return a -``` - -**Output:** -```py ->>> some_func() -1 ->>> another_func() -UnboundLocalError: local variable 'a' referenced before assignment -``` - -#### 💡 Explanation: -* When you make an assignment to a variable in scope, it becomes local to that scope. So `a` becomes local to the scope of `another_func`, but it has not been initialized previously in the same scope which throws an error. -* Read [this](https://sebastianraschka.com/Articles/2014_python_scope_and_namespaces.html) short but an awesome guide to learn more about how namespaces and scope resolution works in Python. -* To modify the outer scope variable `a` in `another_func`, use `global` keyword. - ```py - def another_func() - global a - a += 1 - return a - ``` - - **Output:** - ```py - >>> another_func() - 2 - ``` - ---- - -### ▶ Be careful with chained operations - -```py ->>> (False == False) in [False] # makes sense -False ->>> False == (False in [False]) # makes sense -False ->>> False == False in [False] # now what? -True - ->>> True is False == False -False ->>> False is False is False -True - ->>> 1 > 0 < 1 -True ->>> (1 > 0) < 1 -False ->>> 1 > (0 < 1) -False -``` - -#### 💡 Explanation: - -As per https://docs.python.org/2/reference/expressions.html#not-in - -> Formally, if a, b, c, ..., y, z are expressions and op1, op2, ..., opN are comparison operators, then a op1 b op2 c ... y opN z is equivalent to a op1 b and b op2 c and ... y opN z, except that each expression is evaluated at most once. - -While such behavior might seem silly to you in the above examples, it's fantastic with stuff like `a == b == c` and `0 <= x <= 100`. - -* `False is False is False` is equivalent to `(False is False) and (False is False)` -* `True is False == False` is equivalent to `True is False and False == False` and since the first part of the statement (`True is False`) evaluates to `False`, the overall expression evaluates to `False`. -* `1 > 0 < 1` is equivalent to `1 > 0 and 0 < 1` which evaluates to `True`. -* The expression `(1 > 0) < 1` is equivalent to `True < 1` and - ```py - >>> int(True) - 1 - >>> True + 1 #not relevant for this example, but just for fun - 2 - ``` - So, `1 < 1` evaluates to `False` - ---- - -### ▶ Name resolution ignoring class scope - -1\. -```py -x = 5 -class SomeClass: - x = 17 - y = (x for i in range(10)) -``` - -**Output:** -```py ->>> list(SomeClass.y)[0] -5 -``` - -2\. -```py -x = 5 -class SomeClass: - x = 17 - y = [x for i in range(10)] -``` - -**Output (Python 2.x):** -```py ->>> SomeClass.y[0] -17 -``` - -**Output (Python 3.x):** -```py ->>> SomeClass.y[0] -5 -``` - -#### 💡 Explanation -- Scopes nested inside class definition ignore names bound at the class level. -- A generator expression has its own scope. -- Starting from Python 3.X, list comprehensions also have their own scope. - ---- - -### ▶ Needle in a Haystack - -1\. -```py -x, y = (0, 1) if True else None, None -``` - -**Output:** -``` ->>> x, y # expected (0, 1) -((0, 1), None) -``` - -Almost every Python programmer has faced a similar situation. - -2\. -```py -t = ('one', 'two') -for i in t: - print(i) - -t = ('one') -for i in t: - print(i) - -t = () -print(t) -``` - -**Output:** -```py -one -two -o -n -e -tuple() -``` - -#### 💡 Explanation: -* For 1, the correct statement for expected behavior is `x, y = (0, 1) if True else (None, None)`. -* For 2, the correct statement for expected behavior is `t = ('one',)` or `t = 'one',` (missing comma) otherwise the interpreter considers `t` to be a `str` and iterates over it character by character. -* `()` is a special token and denotes empty `tuple`. - ---- - ---- - - -## Section: The Hidden treasures! - -This section contains few of the lesser-known interesting things about Python that most beginners like me are unaware of (well, not anymore). - -### ▶ Okay Python, Can you make me fly? * - -Well, here you go - -```py -import antigravity -``` - -**Output:** -Sshh.. It's a super secret. - -#### 💡 Explanation: -+ `antigravity` module is one of the few easter eggs released by Python developers. -+ `import antigravity` opens up a web browser pointing to the [classic XKCD comic](http://xkcd.com/353/) about Python. -+ Well, there's more to it. There's **another easter egg inside the easter egg**. If you look at the [code](https://github.com/python/cpython/blob/master/Lib/antigravity.py#L7-L17), there's a function defined that purports to implement the [XKCD's geohashing algorithm](https://xkcd.com/426/). - ---- - -### ▶ `goto`, but why? * - -```py -from goto import goto, label -for i in range(9): - for j in range(9): - for k in range(9): - print("I'm trapped, please rescue!") - if k == 2: - goto .breakout # breaking out from a deeply nested loop -label .breakout -print("Freedom!") -``` - -**Output (Python 2.3):** -```py -I'm trapped, please rescue! -I'm trapped, please rescue! -Freedom! -``` - -#### 💡 Explanation: -- A working version of `goto` in Python was [announced](https://mail.python.org/pipermail/python-announce-list/2004-April/002982.html) as an April Fool's joke on 1st April 2004. -- Current versions of Python do not have this module. -- Although it works, but please don't use it. Here's the [reason](https://docs.python.org/3/faq/design.html#why-is-there-no-goto) to why `goto` is not present in Python. - ---- - -### ▶ Brace yourself! * - -If you are one of the people who doesn't like using whitespace in Python to denote scopes, you can use the C-style {} by importing, - -```py -from __future__ import braces -``` - -**Output:** -```py - File "some_file.py", line 1 - from __future__ import braces -SyntaxError: not a chance -``` - -Braces? No way! If you think that's disappointing, use Java. - -#### 💡 Explanation: -+ The `__future__` module is normally used to provide features from future versions of Python. The "future" here is however ironic. -+ This is an easter egg concerned with the community's feelings on this issue. - ---- - -### ▶ Let's meet Friendly Language Uncle For Life * - -**Output (Python 3.x)** -```py ->>> from __future__ import barry_as_FLUFL ->>> "Ruby" != "Python" # there's no doubt about it - File "some_file.py", line 1 - "Ruby" != "Python" - ^ -SyntaxError: invalid syntax - ->>> "Ruby" <> "Python" -True -``` - -There we go. - -#### 💡 Explanation: -- This is relevant to [PEP-401](https://www.python.org/dev/peps/pep-0401/) released on April 1, 2009 (now you know, what it means). -- Quoting from the PEP-401 - > Recognized that the != inequality operator in Python 3.0 was a horrible, finger pain inducing mistake, the FLUFL reinstates the <> diamond operator as the sole spelling. -- There were more things that Uncle Barry had to share in the PEP; you can read them [here](https://www.python.org/dev/peps/pep-0401/). - ---- - -### ▶ Even Python understands that love is complicated * - -```py -import this -``` - -Wait, what's **this**? `this` is love :heart: - -**Output:** -``` -The Zen of Python, by Tim Peters - -Beautiful is better than ugly. -Explicit is better than implicit. -Simple is better than complex. -Complex is better than complicated. -Flat is better than nested. -Sparse is better than dense. -Readability counts. -Special cases aren't special enough to break the rules. -Although practicality beats purity. -Errors should never pass silently. -Unless explicitly silenced. -In the face of ambiguity, refuse the temptation to guess. -There should be one-- and preferably only one --obvious way to do it. -Although that way may not be obvious at first unless you're Dutch. -Now is better than never. -Although never is often better than *right* now. -If the implementation is hard to explain, it's a bad idea. -If the implementation is easy to explain, it may be a good idea. -Namespaces are one honking great idea -- let's do more of those! -``` - -It's the Zen of Python! - -```py ->>> love = this ->>> this is love -True ->>> love is True -False ->>> love is False -False ->>> love is not True or False -True ->>> love is not True or False; love is love # Love is complicated -True -``` - -#### 💡 Explanation: - -* `this` module in Python is an easter egg for The Zen Of Python ([PEP 20](https://www.python.org/dev/peps/pep-0020)). -* And if you think that's already interesting enough, check out the implementation of [this.py](https://hg.python.org/cpython/file/c3896275c0f6/Lib/this.py). Interestingly, the code for the Zen violates itself (and that's probably the only place where this happens). -* Regarding the statement `love is not True or False; love is love`, ironic but it's self-explanatory. - ---- - -### ▶ Yes, it exists! - -**The `else` clause for loops.** One typical example might be: - -```py - def does_exists_num(l, to_find): - for num in l: - if num == to_find: - print("Exists!") - break - else: - print("Does not exist") -``` - -**Output:** -```py ->>> some_list = [1, 2, 3, 4, 5] ->>> does_exists_num(some_list, 4) -Exists! ->>> does_exists_num(some_list, -1) -Does not exist -``` - -**The `else` clause in exception handling.** An example, - -```py -try: - pass -except: - print("Exception occurred!!!") -else: - print("Try block executed successfully...") -``` - -**Output:** -```py -Try block executed successfully... -``` - -#### 💡 Explanation: -- The `else` clause after a loop is executed only when there's no explicit `break` after all the iterations. -- `else` clause after try block is also called "completion clause" as reaching the `else` clause in a `try` statement means that the try block actually completed successfully. - ---- - -### ▶ Inpinity * - -The spelling is intended. Please, don't submit a patch for this. - -**Output (Python 3.x):** -```py ->>> infinity = float('infinity') ->>> hash(infinity) -314159 ->>> hash(float('-inf')) --314159 -``` - -#### 💡 Explanation: -- Hash of infinity is 10⁵ x π. -- Interestingly, the hash of `float('-inf')` is "-10⁵ x π" in Python 3, whereas "-10⁵ x e" in Python 2. - ---- - -### ▶ Mangling time! * - -```py -class Yo(object): - def __init__(self): - self.__honey = True - self.bitch = True -``` - -**Output:** -```py ->>> Yo().bitch -True ->>> Yo().__honey -AttributeError: 'Yo' object has no attribute '__honey' ->>> Yo()._Yo__honey -True -``` - -Why did `Yo()._Yo__honey` work? Only Indian readers would understand. - -#### 💡 Explanation: - -* [Name Mangling](https://en.wikipedia.org/wiki/Name_mangling) is used to avoid naming collisions between different namespaces. -* In Python, the interpreter modifies (mangles) the class member names starting with `__` (double underscore) and not ending with more than one trailing underscore by adding `_NameOfTheClass` in front. -* So, to access `__honey` attribute, we are required to append `_Yo` to the front which would prevent conflicts with the same name attribute defined in any other class. - ---- - ---- - -## Section: Miscellaneous - - -### ▶ `+=` is faster - -```py -# using "+", three strings: ->>> timeit.timeit("s1 = s1 + s2 + s3", setup="s1 = ' ' * 100000; s2 = ' ' * 100000; s3 = ' ' * 100000", number=100) -0.25748300552368164 -# using "+=", three strings: ->>> timeit.timeit("s1 += s2 + s3", setup="s1 = ' ' * 100000; s2 = ' ' * 100000; s3 = ' ' * 100000", number=100) -0.012188911437988281 -``` - -#### 💡 Explanation: -+ `+=` is faster than `+` for concatenating more than two strings because the first string (example, `s1` for `s1 += s2 + s3`) is not destroyed while calculating the complete string. - ---- - -### ▶ Let's make a giant string! - -```py -def add_string_with_plus(iters): - s = "" - for i in range(iters): - s += "xyz" - assert len(s) == 3*iters - -def add_bytes_with_plus(iters): - s = b"" - for i in range(iters): - s += b"xyz" - assert len(s) == 3*iters - -def add_string_with_format(iters): - fs = "{}"*iters - s = fs.format(*(["xyz"]*iters)) - assert len(s) == 3*iters - -def add_string_with_join(iters): - l = [] - for i in range(iters): - l.append("xyz") - s = "".join(l) - assert len(s) == 3*iters - -def convert_list_to_string(l, iters): - s = "".join(l) - assert len(s) == 3*iters -``` - -**Output:** -```py ->>> timeit(add_string_with_plus(10000)) -1000 loops, best of 3: 972 µs per loop ->>> timeit(add_bytes_with_plus(10000)) -1000 loops, best of 3: 815 µs per loop ->>> timeit(add_string_with_format(10000)) -1000 loops, best of 3: 508 µs per loop ->>> timeit(add_string_with_join(10000)) -1000 loops, best of 3: 878 µs per loop ->>> l = ["xyz"]*10000 ->>> timeit(convert_list_to_string(l, 10000)) -10000 loops, best of 3: 80 µs per loop -``` - -Let's increase the number of iterations by a factor of 10. - -```py ->>> timeit(add_string_with_plus(100000)) # Linear increase in execution time -100 loops, best of 3: 9.75 ms per loop ->>> timeit(add_bytes_with_plus(100000)) # Quadratic increase -1000 loops, best of 3: 974 ms per loop ->>> timeit(add_string_with_format(100000)) # Linear increase -100 loops, best of 3: 5.25 ms per loop ->>> timeit(add_string_with_join(100000)) # Linear increase -100 loops, best of 3: 9.85 ms per loop ->>> l = ["xyz"]*100000 ->>> timeit(convert_list_to_string(l, 100000)) # Linear increase -1000 loops, best of 3: 723 µs per loop -``` - -#### 💡 Explanation -- You can read more about [timeit](https://docs.python.org/3/library/timeit.html) from here. It is generally used to measure the execution time of snippets. -- Don't use `+` for generating long strings — In Python, `str` is immutable, so the left and right strings have to be copied into the new string for every pair of concatenations. If you concatenate four strings of length 10, you'll be copying (10+10) + ((10+10)+10) + (((10+10)+10)+10) = 90 characters instead of just 40 characters. Things get quadratically worse as the number and size of the string increases (justified with the execution times of `add_bytes_with_plus` function) -- Therefore, it's advised to use `.format.` or `%` syntax (however, they are slightly slower than `+` for short strings). -- Or better, if already you've contents available in the form of an iterable object, then use `''.join(iterable_object)` which is much faster. -- `add_string_with_plus` didn't show a quadratic increase in execution time unlike `add_bytes_with_plus` because of the `+=` optimizations discussed in the previous example. Had the statement been `s = s + "x" + "y" + "z"` instead of `s += "xyz"`, the increase would have been quadratic. - ```py - def add_string_with_plus(iters): - s = "" - for i in range(iters): - s = s + "x" + "y" + "z" - assert len(s) == 3*iters - - >>> timeit(add_string_with_plus(10000)) - 100 loops, best of 3: 9.87 ms per loop - >>> timeit(add_string_with_plus(100000)) # Quadratic increase in execution time - 1 loops, best of 3: 1.09 s per loop - ``` - ---- - -### ▶ Explicit typecast of strings - -```py -a = float('inf') -b = float('nan') -c = float('-iNf') #These strings are case-insensitive -d = float('nan') -``` - -**Output:** -```py ->>> a -inf ->>> b -nan ->>> c --inf ->>> float('some_other_string') -ValueError: could not convert string to float: some_other_string ->>> a == -c #inf==inf -True ->>> None == None # None==None -True ->>> b == d #but nan!=nan -False ->>> 50/a -0.0 ->>> a/a -nan ->>> 23 + b -nan -``` - -#### 💡 Explanation: - -`'inf'` and `'nan'` are special strings (case-insensitive), which when explicitly typecasted to `float` type, are used to represent mathematical "infinity" and "not a number" respectively. - ---- - -### ▶ Minor Ones - -* `join()` is a string operation instead of list operation. (sort of counter-intuitive at first usage) - - **💡 Explanation:** - If `join()` is a method on a string then it can operate on any iterable (list, tuple, iterators). If it were a method on a list, it'd have to be implemented separately by every type. Also, it doesn't make much sense to put a string-specific method on a generic `list` object API. - -* Few weird looking but semantically correct statements: - + `[] = ()` is a semantically correct statement (unpacking an empty `tuple` into an empty `list`) - + `'a'[0][0][0][0][0]` is also a semantically correct statement as strings are [sequences](https://docs.python.org/3/glossary.html#term-sequence)(iterables supporting element access using integer indices) in Python. - + `3 --0-- 5 == 8` and `--5 == 5` are both semantically correct statements and evaluate to `True`. - -* Given that `a` is a number, `++a` and `--a` are both valid Python statements but don't behave the same way as compared with similar statements in languages like C, C++ or Java. - ```py - >>> a = 5 - >>> a - 5 - >>> ++a - 5 - >>> --a - 5 - ``` - - **💡 Explanation:** - + There is no `++` operator in Python grammar. It is actually two `+` operators. - + `++a` parses as `+(+a)` which translates to `a`. Similarly, the output of the statement `--a` can be justified. - + This StackOverflow [thread](https://stackoverflow.com/questions/3654830/why-are-there-no-and-operators-in-python) discusses the rationale behind the absence of increment and decrement operators in Python. - -* Python uses 2 bytes for local variable storage in functions. In theory, this means that only 65536 variables can be defined in a function. However, python has a handy solution built in that can be used to store more than 2^16 variable names. The following code demonstrates what happens in the stack when more than 65536 local variables are defined (Warning: This code prints around 2^18 lines of text, so be prepared!): - ```py - import dis - exec(""" - def f(): - """ + """ - """.join(["X"+str(x)+"=" + str(x) for x in range(65539)])) - - f() - - print(dis.dis(f)) - ``` - -* Multiple Python threads won't run your *Python code* concurrently (yes you heard it right!). It may seem intuitive to spawn several threads and let them execute your Python code concurrently, but, because of the [Global Interpreter Lock](https://wiki.python.org/moin/GlobalInterpreterLock) in Python, all you're doing is making your threads execute on the same core turn by turn. Python threads are good for IO-bound tasks, but to achieve actual parallelization in Python for CPU-bound tasks, you might want to use the Python [multiprocessing](https://docs.python.org/2/library/multiprocessing.html) module. - -* List slicing with out of the bounds indices throws no errors - ```py - >>> some_list = [1, 2, 3, 4, 5] - >>> some_list[111:] - [] - ``` - -* `int('١٢٣٤٥٦٧٨٩')` returns `123456789` in Python 3. In Python, Decimal characters include digit characters, and all characters that can be used to form decimal-radix numbers, e.g. U+0660, ARABIC-INDIC DIGIT ZERO. Here's an [interesting story](http://chris.improbable.org/2014/8/25/adventures-in-unicode-digits/) related to this behavior of Python. - -* `'abc'.count('') == 4`. Here's an approximate implementation of `count` method, which would make the things more clear - ```py - def count(s, sub): - result = 0 - for i in range(len(s) + 1 - len(sub)): - result += (s[i:i + len(sub)] == sub) - return result - ``` - The behavior is due to the matching of empty substring(`''`) with slices of length 0 in the original string. - ---- - -# Contributing - -All patches are Welcome! Please see [CONTRIBUTING.md](/CONTRIBUTING.md) for further details. - -For discussions, you can either create a new [issue](https://github.com/satwikkansal/wtfpython/issues/new) or ping on the Gitter [channel](https://gitter.im/wtfpython/Lobby) - -# Acknowledgements - -The idea and design for this collection were initially inspired by Denys Dovhan's awesome project [wtfjs](https://github.com/denysdovhan/wtfjs). The overwhelming support by the community gave it the shape it is in right now. - -#### Some nice Links! -* https://www.youtube.com/watch?v=sH4XF6pKKmk -* https://www.reddit.com/r/Python/comments/3cu6ej/what_are_some_wtf_things_about_python -* https://sopython.com/wiki/Common_Gotchas_In_Python -* https://stackoverflow.com/questions/530530/python-2-x-gotchas-and-landmines -* https://stackoverflow.com/questions/1011431/common-pitfalls-in-python -* https://www.python.org/doc/humor/ -* https://www.codementor.io/satwikkansal/python-practices-for-efficient-code-performance-memory-and-usability-aze6oiq65 - -# 🎓 License - -[![CC 4.0][license-image]][license-url] - -© [Satwik Kansal](https://satwikkansal.xyz) - -[license-url]: http://www.wtfpl.net -[license-image]: https://img.shields.io/badge/License-WTFPL%202.0-lightgrey.svg?style=flat-square - -## Help - -If you have any wtfs, ideas or suggestions, please share. - -## Surprise your geeky pythonist friends? - -You can use these quick links to recommend wtfpython to your friends, - -[Twitter](https://twitter.com/intent/tweet?url=https://github.com/satwikkansal/wtfpython&hastags=python,wtfpython) - | [Linkedin](https://www.linkedin.com/shareArticle?url=https://github.com/satwikkansal&title=What%20the%20f*ck%20Python!&summary=An%20interesting%20collection%20of%20subtle%20and%20tricky%20Python%20snippets.) - -## Need a pdf version? - -I've received a few requests for the pdf version of wtfpython. You can add your details [here](https://satwikkansal.xyz/wtfpython-pdf/) to get the pdf as soon as it is finished. diff --git a/wtfpython-pypi/setup.py b/wtfpython-pypi/setup.py deleted file mode 100644 index 030c6a2..0000000 --- a/wtfpython-pypi/setup.py +++ /dev/null @@ -1,41 +0,0 @@ -from setuptools import setup, find_packages - -if __name__ == "__main__": - setup(name='wtfpython', - version='0.2', - description='What the f*ck Python!', - author="Satwik Kansal", - maintainer="Satwik Kansal", - maintainer_email='satwikkansal@gmail.com', - url='https://github.com/satwikkansal/wtfpython', - platforms='any', - license="WTFPL 2.0", - long_description="An interesting collection of subtle & tricky Python Snippets" - " and features.", - keywords="wtfpython gotchas snippets tricky", - packages=find_packages(), - entry_points = { - 'console_scripts': ['wtfpython = wtf_python.main:load_and_read'] - }, - classifiers=[ - 'Development Status :: 4 - Beta', - - 'Environment :: Console', - 'Environment :: MacOS X', - 'Environment :: Win32 (MS Windows)', - - 'Intended Audience :: Science/Research', - 'Intended Audience :: Developers', - 'Intended Audience :: Education', - 'Intended Audience :: End Users/Desktop', - - 'Operating System :: OS Independent', - - 'Programming Language :: Python :: 3', - 'Programming Language :: Python :: 2', - - 'Topic :: Documentation', - 'Topic :: Education', - 'Topic :: Scientific/Engineering', - 'Topic :: Software Development'], - ) diff --git a/wtfpython-pypi/wtf_python/__init__.py b/wtfpython-pypi/wtf_python/__init__.py deleted file mode 100644 index e69de29..0000000 diff --git a/wtfpython-pypi/wtf_python/main.py b/wtfpython-pypi/wtf_python/main.py deleted file mode 100644 index bf76815..0000000 --- a/wtfpython-pypi/wtf_python/main.py +++ /dev/null @@ -1,38 +0,0 @@ -from os.path import dirname, join, realpath - -import pydoc -try: - from urllib.request import urlretrieve -except ImportError: - from urllib import urlretrieve - -url = ("http://raw.githubusercontent.com/satwikkansal/" - "wtfpython/master/README.md") - -file_path = join(dirname(dirname(realpath(__file__))), "content.md") - - -def fetch_updated_doc(): - try: - print("Fetching the latest version...") - urlretrieve(url, file_path) - print("Done!") - except Exception as e: - print(e) - print("Uh oh, failed to check for the latest version, " - "using the local version for now.") - - -def render_doc(): - with open(file_path, 'r', encoding="utf-8") as f: - content = f.read() - pydoc.pager(content) - - -def load_and_read(): - fetch_updated_doc() - render_doc() - - -if __name__== "__main__": - load_and_read() diff --git a/wtfpython-pypi/wtfpython b/wtfpython-pypi/wtfpython deleted file mode 100644 index d20a5e0..0000000 --- a/wtfpython-pypi/wtfpython +++ /dev/null @@ -1,8 +0,0 @@ -#!/usr/bin/env python3 - -import sys - -from wtf_python.main import load_and_read - -if __name__ == "__main__": - sys.exit(load_and_read())